2. 结果

2.3. 机器学习模型预测效能

训练集中机器学习模型对3年预测的AUC值分别为：XGBoost（AUC=0.913）、RF（AUC=0.997）、SVM（AUC=0.954）、MLP（AUC=0.701）；5年预测的AUC值分别为：XGBoost（AUC=0.922）、RF（AUC=0.999）、SVM（AUC=0.953）、MLP（AUC=0.784）。验证集对模型予以验证，3年的预测AUC值分别为：XGBoost（AUC=0.901）、RF（AUC=0.791）、SVM（AUC=0.832）、MLP（AUC=0.725）；5年的预测AUC值分别为：XGBoost（AUC=0.916）、RF（AUC=0.758）、SVM（AUC=0.905）、MLP（AUC=0.737）（ 表 4 ）。4种ML模型基于全部样本独立划分训练集，预测所有时间段生存率结果如下：XGBoost（AUC=0.900）、RF（AUC= 0.999）、SVM（AUC=0.928）、MLP（AUC=0.781）；验证集对模型予以验证，生存率结果如下：XGBoost（AUC= 0.818）、RF（AUC=0.772）、SVM（AUC=0.804）、MLP（AUC=0.745）（ 表 5 ）。通过绘制4种模型验证集预测的临床决策曲线（ 图 8 ），4种ML模型验证集ROC分析中模型的最佳截断值分别为XGBoost（cutoff=38.5%）、RF（cutoff=50.7%）、MLP（cutoff=46.1%）、SVM（cutoff= 46.0%），在该阈值下，XGBoost和SVM模型的决策曲线位于None线和All线的上方，MLP和RF模型的决策曲线没有或不完全位于None线和All线的上方，故XGBoost和SVM模型具有临床实用性。综合4种ML模型验证集预测的AUC得分森林图、校准曲线（ 图 5 、 6 ）和临床决策曲线。可以看出XGBoost模型稳定性较好；SVM预测效能其次；RF模型的预测概率与实际观察值的一致性较差，可能出现过拟合，即训练集中变现出色，但在验证集中变现不佳；MLPL模型的预测概率和实际观察值均不理想。

Open in a separate window

图 5

4种ML模型预测训练集和验证集生存率的ROC曲线

Survival prediction ROC curves of the 4 machine learning models for the training and validation sets. In the training set, the predictive performance of survival outcomes for each independent model was: XGBoost (AUC=0.900), RF (AUC=0.999), SVM (AUC=0.928), and MLP (AUC=0.781) while for the validation set, the predictive performance was: XGBoost (AUC=0.818), RF (AUC=0.772), SVM (AUC=0.804), MLP (AUC=0.781). RF (AUC=0.772), SVM (AUC=0.804), and MLP (AUC=0.745).

Open in a separate window

图 6

验证集中4种ML模型生存预测的AUC得分森林图和校准曲线

AUC score forest plots and calibration curves for survival prediction using the 4 machine learning models in the validation set.

表 4

各机器学习模型在训练集及验证集中3年和5年预测表现的对比

Comparison of predictive performance of the 4 machine learning models for 3-year and 5-year survival of the patients in the training and validation sets

Model	Training set					Validation set
	AUC	AC	SE	SP		AUC	AC	SE	SP
XGB: eXtreme gradient boosting; RF: Random forests; SVM: Support vector machines; MLP: Multi- layer perceptron; AC: Accuracy; SE: Sensitivity; SP: Specificity.
XGB
3 years	0.913	0.810	0.852	0.795		0.901	0.772	0.900	0.710
5 years	0.922	0.845	0.848	0.855		0.916	0.872	0.957	0.853
RF
3 years	0.997	0.965	1.000	0.944		0.791	0.672	0.667	0.800
5 years	0.999	0.979	1.000	0.963		0.758	0.623	1.000	0.455
SVM
3 years	0.954	0.873	0.944	0.841		0.832	0.801	0.780	0.610
5 years	0.953	0.894	0.984	0.838		0.905	0.821	0.926	0.588
MLP
3 years	0.701	0.606	0.255	0.813		0.725	0.541	0.348	0.684
5 years	0.784	0.711	0.763	0.699		0.737	0.656	0.900	0.548

Open in a separate window

表 5

各ML模型在训练集及验证集的预测表现

Prediction performance of each machine learning model in the training and validation sets

Model	Training Set						Validation Set
	AUC	Cutoff	AC	SE	SP		AUC	Cutoff	AC	SE	SP
XGB	0.9	0.453	0.812	0.883	0.76		0.818	0.385	0.727	0.85	0.764
RF	0.999	0.503	0.977	1	0.959		0.772	0.507	0.689	0.791	0.755
MLP	0.781	0.459	0.721	0.705	0.743		0.745	0.461	0.658	0.818	0.709
SVM	0.928	0.464	0.85	0.865	0.848		0.804	0.46	0.733	0.828	0.755

Open in a separate window

Open in a separate window

图 8

4种ML模型预测的临床决策曲线（DCA）

Clinical decision curves (DCA) for predictions by the 4 machine learning models. The optimal cutoff values of XGBoost, RF, MLP, and SVM in ROC analysis of the validation set were 38.5%, 50.7%, 46.1%, and 46.0%, respectively. At these thresholds, the decision curves of XGBoost and SVM models lie above the None and All lines, while the decision curves of the MLP and RF models did not (or not completely) lie above the None and All lines.

3. 讨论

AEG早期确诊率低，绝大部分就诊时已有淋巴结转移 ^{[ 15 , 16 ]} ，且由于其解剖部位特殊，与传统的远端胃癌的比较，AEG的总体预后较差。根据文献报道，手术根治率平均在80%左右，根治术后的5年生存率也仅为30% 左右 ^{[ 17 , 18 ]} 。本研究资料显示AEG术后3年生存率为43.8%，5年生存率为37.0%，其5年生存率略低于他人报道的贲门癌5年生存率40% ^{[ 19 ]} ，近似于研究报道的AEG5年生存率38.5% ^{[ 20 ]} ，因此本研究为预测AEG术后生存率提供了新的参考。

精准预测手术预后对AEG患者的后续治疗决策具有重要意义。目前，对于肿瘤术后的预后预测主要是基于Logistic回归模型和Cox回归建模 ^{[ 21 , 22 ]} ，Logistic回归模型缺少生存时间，对生存预测不及Cox回归模型，本次研究使用了Cox-PH对AEG生存率进行建模预测，获得了较好的预测结果。Cox-PH的构建需要满足等比例假设，因此在构建该模型时，需要舍弃部分重要预后影响因素。Cox-PH属于线性回归，其预测需满足线性回归方程，无法捕捉特征之间的交互关系，相比之下，机器学习技术可以更好地捕捉到特征之间的复杂关联 ^{[ 23 ]} ，从而提高模型的准确性。

本研究利用了性别、年龄、Borrmann分型、分化程度、浸润深度（T分期）、淋巴结转移数量（N分期）、病理TNM分期、肿瘤最大直径、术后化疗、Fibr、D-dimer、手术方式、术后住院时间、PNI、NLR、WBR、CEA、AFP、CA199共19项临床工作中易于获取的临床观察指标，构建了预测AEG 3年和5年生存状态的Cox-PH和4种机器学习模型。在最终建模的19项临床观察指标中，Fibr和D-dimer术前血液指标与胃癌生存率的相关性研究较少，故本次研究纳入以上两种临床观察指标，通过5种生存预测模型予以验证其与AEG预后具有相关性。Borrmann分型、分化程度、浸润深度（T分期）、淋巴结转移数量（N分期）、病理TNM分期、肿瘤最大直径是公认的影响AEG患者预后的因素 ^{[ 24 - 27 ]} 。浸润深度（T分期）、淋巴结转移数量（N分期）、病理TNM分期3种临床观察指标具有高度重叠，为防止机器学习模型的过拟合，本研究在构建5种模型时排除了浸润深度和淋巴结转移数量两种指标。在机器学习模型的构建中，对训练集应用交叉验证进行超参数调优，各模型均充分表达出其预测效能。综合各个模型在训练集和测试集ROC曲线的AUC值、校准曲线及DCA曲线表现，XGBoost模型在机器模型中表现最佳，其在训练集和测试集内的AUC值均≥0.80，Cox回归模型也具有较高的预测效能，但其算法的局限性和丢失重要临床观察指标的特性，使其不能与XGBoost相比。因此，本研究构建的XGBoost模型具有较高的实用性和可靠性。

本研究的局限性：本研究为单中心研究，纳入患者数量有限，机器学习模型在大数据集上应用可获得更加稳定的结果 ^{[ 28 ]} 。本次研究中MLP为深度学习模型，是ML模型的子集，为人工神经网络，具有较高的非线性特征数据学习模拟的能力，但在本研究中未表现出其应有的预测效能，可能原因是研究中，未有效提取变量特征，数据量较少。因此在后续的研究中，可加入多中心的数据进行训练和外部验证，从而得到更加可靠的预测模型。其次，家族史、吸烟、饮酒等可能影响AEG患者远期预后的因素未纳入本研究收集的19项临床观察指标，在后续的模型优化中，可加入更多可能影响AEG远期预后的因素，以不断完善预测模型。最后，本研究是利用回顾性数据开发和验证的，在正式临床实践前，还应进行前瞻性验证研究以确认模型的可靠性。

综上所述，本研究基于临床工作常见的19个临床病理特征构建了预测AEG术后生存风险的Cox-PH和机器学习模型，其中XGBoost模型效能最佳。可为AEG的预后评估、术后治疗决策提供重要参考，进而推动AEG的个体化诊治。

Biography

Funding Statement

蚌埠医学院512人才培育计划（by51202207）

References