PCP-tuning:面向小样本学习的个性化连续提示调优

刘汀, 蔡少填, 陈小军, 章秦

新疆大学学报(自然科学版中英文) ›› 2024, Vol. 41 ›› Issue (01) : 59-68. DOI: 10.13568/j.cnki.651094.651316.2023.09.17.0001

PCP-tuning:面向小样本学习的个性化连续提示调优

  • 刘汀, 蔡少填, 陈小军, 章秦
作者信息 +
History +

摘要

随着“提示学习”的兴起,预训练语言模型在少样本学习中取得了显著的表现,其中的关键问题是如何为每个训练样本构建合适的提示.近年来研究人员提出了一系列提示构造方法,有的构造离散型的提示,有的构造连续型的提示,但通常都是将一个提示应用到整个数据集上.然而,实验结果表明,很难找到一个能够适用于任务中所有样本的提示.为此,提出了一种用于小样本学习的个性化连续型提示调优方法(PCP-tuning),其目的是根据数据集中每个样本的语义来生成个性化的连续型提示.同时,还提出了两种校准技术来控制生成的连续型提示的分布,以获得更好的下游任务表现.最后在10个基准任务上进行大量实验,证明了新方法的优越性能.

关键词

自然语言处理 / 大型预训练模型 / 提示学习 / 文本分类

中图分类号

TP391.1 / TP18

引用本文

导出引用
刘汀, 蔡少填, 陈小军, 章秦. PCP-tuning:面向小样本学习的个性化连续提示调优. 新疆大学学报(自然科学版中英文). 2024, 41(01): 59-68 https://doi.org/10.13568/j.cnki.651094.651316.2023.09.17.0001

基金

国家自然科学基金“数据知识双驱动的小样本学习理论、方法及应用研究”(92270122); 广东省自然科学基金面上项目“自监督聚类方法及理论研究”(2023A1515012584); 深圳市基础研究面上项目“深度聚类算法及应用研究”(JCYJ20210324093000002)

评论

Accesses

Citation

Detail

段落导航
相关文章

/