基于对比学习的临床领域意图识别算法研究

曹天甲, 程龙龙, 李世锋, 曹琉, 崔丙剑, 倪广健

天津大学学报(自然科学与工程技术版) ›› 2024, Vol. 57 ›› Issue (08) : 821-827.

基于对比学习的临床领域意图识别算法研究

  • 曹天甲, 程龙龙, 李世锋, 曹琉, 崔丙剑, 倪广健
作者信息 +
History +

摘要

随着电子信息化的发展,智能搜索、知识问答等应用被越来越多地应用在临床领域中.意图识别作为其中重要的一部分,随着这类应用的逐渐兴起,受到越来越多的关注.意图识别即理解用户问句的意图.在自然语言处理中,意图识别的本质是文本分类问题.针对意图识别工作,大量的研究和探索用以理解用户的文本输入,并将其映射到预先给定的意图类别中.本文提出一种基于对比学习的意图识别算法,根据文本的长度和意图类别的数量,将意图识别定义为短文本多分类问题.通过将对比学习引入到分类模型的训练中,提高模型的最终效果.在有监督学习场景中,采用R-drop对比学习方法.该方法选择dropout作为数据增强的方式,同时通过增加一个正则项来强化模型对dropout的鲁棒性.同时,对数据进行无监督训练,作为预训练阶段.并在预训练过程中选择SimCSE对比学习方法.最终将无监督学习与有监督学习结合,形成基于半监督学习的R-SimCSE模型.实验选取textCNN、textRNN、textRCNN、BERT-base、prompt等多种分类模型进行对比.实验结果显示,基于对比学习的分类模型效果优于文中选择的其他分类算法模型,在CHIP-QIC数据集上,准确率提升了0.009 7~0.049 3.

关键词

意图识别 / 文本分类 / 对比学习

中图分类号

R319 / TP391.1

引用本文

导出引用
曹天甲, 程龙龙, 李世锋, 曹琉, 崔丙剑, 倪广健. 基于对比学习的临床领域意图识别算法研究. 天津大学学报(自然科学与工程技术版). 2024, 57(08): 821-827

基金

国家重点研发计划资助项目(2022YFF1202400); 天津市自然科学基金资助项目(20JCZDJC00810)

评论

Accesses

Citation

Detail

段落导航
相关文章

/