摘要
藏文文本分类是藏文自然语言处理中的基础任务,具有基础性和重要性。大规模预训练模型加微调的方式是当前的主流文本分类方法。然而藏文缺少开源的大规模文本和预训练语言模型,未能在藏文文本分类任务上进行验证。针对上述问题,该文抓取了一个较大规模的藏文文本数据集,并在该数据集的基础上训练一个藏文预训练语言模型(BERT-base-Tibetan)。将该方法应用到多种基于神经网络的文本分类模型上的实验结果表明,预训练语言模型能够显著提升藏文文本分类的性能(F 1值平均提升9.3%),验证了预训练语言模型在藏文文本分类任务中的价值。
Tibetan text classification is a fundamental task in Tibetan natural language processing.The current mainstream text classification model is a large-scale pre-training model plus fine-tuning.However,Tibetan lacks open source large-scale text and pre-training language model,and cannot be verified on Tibetan text classification task.This paper crawls a large Tibetan text dataset to solve the above problems and trains a Tibetan pre-training language model(BERT-base-Tibetan)based on this dataset.Experimental results show that the pre-training language model can significantly improve the performance of Tibetan text classification(F 1 value increases by 9.3%on average)and verify the value of the pre-training language model in Tibetan text classification tasks.
作者
安波
龙从军
AN Bo;LONG Congjun(Institute of Ethnology and Anthropology,Chinese Academy of Social Sciences,Beijing 100081,China)
出处
《中文信息学报》
CSCD
北大核心
2022年第12期85-93,共9页
Journal of Chinese Information Processing
基金
国家自然科学基金(62076233)
中国社会科学院民族学与人类学研究所2022创新工程青年学者资助计划项目(2022MZSQN001)
国家社会科学基金冷门绝学研究专项(20VJXG036)
国家社会科学基金(22BTQ010)。
关键词
藏文文本分类
预训练语言模型
深度学习
Tibetan text classification,pre-trained language model
deep learning
