基于Transformer构建处理非线性纵向测量数据的深度学习预测模型

祖昊, 龚亚涵, 王晨旭, 张驰, 刘佳

中国卫生统计 ›› 2025, Vol. 42 ›› Issue (03) : 409-413.

基于Transformer构建处理非线性纵向测量数据的深度学习预测模型

  • 祖昊, 龚亚涵, 王晨旭, 张驰, 刘佳
作者信息 +
History +

摘要

目的 针对多次测量的纵向非线性数据建立基于Transformer的深度学习预测模型。方法 首先建立基于Transformer模型的深度学习方案,引入个人识别码作为随机效应因子并基于词嵌入的原理提出伴生编码机制,处理多次测量的非线性时序问题。随后考虑了两种数据结构,即带有随机效应假设的线性与非线性的模拟数据,将基于Transformer的深度学习预测模型与传统的广义估计方程(generalized estimating equation, GEE)、人工神经网络方法(artificial neural network, ANN)构建的预测模型进行对比测试。应用阿尔茨海默病神经影像学计划研究(Alzheimer′s disease neuroimaging initiative, ADNI)数据进行了实例研究,探究认知功能预测模型的建立策略。结果 在线性与非线性的模拟数据中,该模型在模拟数据测试中均方误差(mean squared error, MSE)与平均绝对误差(mean absolute error, MAE)均远低于GEE和ANN方法。在ADNI数据中检验结果为:训练集的MSE值为0.0391,测试集的MSE值为1.1835,表现稳定。结论 基于Transformer的深度学习预测模型在模拟数据中拟合能力与稳定性在三者中表现最优,在实际应用中表现良好。

关键词

纵向非线性数据 / 深度学习 / 预测模型 / 随机效应

中图分类号

TP18 / R319

引用本文

导出引用
祖昊, 龚亚涵, 王晨旭, 张驰, 刘佳. 基于Transformer构建处理非线性纵向测量数据的深度学习预测模型. 中国卫生统计. 2025, 42(03): 409-413

基金

国家自然科学基金(82304244;82173617)

评论

Accesses

Citation

Detail

段落导航
相关文章

/