基于改进LightGBM集成模型的胃癌存活性预测方法

doi:10.16381/j.cnki.issn1003-207x.2020.1628

摘要/Abstract

摘要：

胃癌存活性预测是胃癌预后的一项重要工作，通过挖掘影响胃癌患者存活性的重要特征以及准确地对存活性进行预测，能为医生诊疗提供决策支持。针对目前胃癌存活性预测研究中存在的准确性不足及缺乏模型可解释性等问题，本文提出一种基于改进LightGBM的集成分类方法（SGPL-LightGBM）进行胃癌存活性预测和预测模型事后解释。首先，借助基于稳定性的特征选择（stability feature selection）方法确定了最佳特征子集，在减少计算开销的同时提升了预测准确性。之后，引入智能优化算法（genetic algorithm）对SGPL-LightGBM模型中的重要超参数进行优化，进一步提升胃癌存活性预测模型性能。结合部分依赖图分析方法（partial dependence plot）和LIME（local interpretable model-agnostic explanations）技术，对重要特征给模型预测响应带来的影响进行解释。对在真实胃癌数据集进行了验证实验，结果表明，所提出的SGPL-LightGBM集成分类预测方法在胃癌存活性预测上有着更高的准确性及可解释性，能为医生治疗方案的制订提供有效地决策支持。

关键词: 胃癌存活性预测, 特征选择, 集成学习, 智能优化算法, 可解释性

Abstract:

The prediction of gastric cancer survivability is one of the important works in the gastric cancer prognosis， which can provide decision-making support for the doctor by mining important features affecting the survivability of gastric cancer patients and accurately predicting survivability. So far， the accuracy of survivability prediction of gastric cancer is insufficient， and the interpretability of prediction models is lack. Therefore， a gastric survivability prediction method called SGPL-LightGBM based on improved LightGBM is proposed to predict the survivability of patients with gastric cancer and interpret the prediction model. The stability-based feature selection method is carried out to determine the optimal feature subset， thereby reducing the computational overhead and improving the accuracy of the prediction. After that， the intelligent optimization algorithm （Genetic algorithm） is adopted to optimize the important hyperparameters in LightGBM （Light gradient boosting machine） to further improves the performance of gastric cancer survivability prediction model. The important features of gastric survivability prediction model are analyzed by PDP （Partial dependence plot） and LIME （Local interpretable model-agnostic explanations）， which explain the effect of influencing features on the predicted response of SGPL-LightGBM. Finally， the numeral experiments are conducted on real gastric dataset， and the experimental results indicate that the proposed ensemble classification prediction method SGPL-LightGBM has better accuracy and interpretability in gastric cancer survivability prediction， which can provide effective decision support for doctors to develop a treatment plan.

Key words: gastric cancer survival prediction, feature selection, ensemble learning, intelligence algorithm, interpretability

中图分类号:

F830.9

冯易,王杜娟,胡知能,崔少泽. 基于改进LightGBM集成模型的胃癌存活性预测方法[J]. 中国管理科学, 2023, 31(10): 234-244.

Yi FENG,Du-juan WANG,Zhi-neng HU,Shao-ze CUI. Prediction Method for Gastric Cancer Survivability Based on an Improved LightGBM Ensemble Model[J]. Chinese Journal of Management Science, 2023, 31(10): 234-244.

图/表 6

图1

表1

表2

表3

图2

图3

参考文献 30

1	曲卫华，颜志军. 环境污染、经济增长与医疗卫生服务对公共健康的影响分析——基于中国省际面板数据的研究［J］. 中国管理科学， 2015，23（7）： 166-176.
	Qu Weihua， Yan Zhijun. The influence of environmental pollution， economic growth and healthcare services to public health based on China’s provincial panel data［J］. Chinese Journal of Management Science，2015，23（7）：166-176.
2	Ferlay J， Colombet M， Soerjomataram I， et al. Estimating the global cancer incidence and mortality in 2018： GLOBOCAN sources and method［J］. International Journal of Cancer， 2019， 144（8）：1941-1953.
3	Park K， Ali A， Kim D， et al. Robust predictive model for evaluating breast cancer survivability［J］. Engineering Applications of Artificial Intelligence， 2013， 26（9）： 2194-2205.
4	曾照芳，安琳，王济明. Cox回归模型在肝癌病人生存分析中应用的研究［J］. 生物数学学报， 2004， 19（1）： 93-97.
	Zeng Zhaofang， An Lin， Wang Jiming. The application of Cox regression model in the survival analysis of liver cancer［J］. Journal of Biomathematics，2004，19（1）：93-97.
5	梁而慷，曹子昂，郑家豪，等. 全肺切除术后辅助化疗的5年生存分析［J］. 中国癌症杂志， 2013， 23（5）： 375-381.
	Liang Erkang， Cao Ziang， Zheng Jiahao， et al. An analysis of 5-year survival after pneumonectomy and adjuvant chemotherapy in lung cancer［J］. China Oncology，2013，23（5）：375-381.
6	王宇燕，王杜娟，王延章，等. 改进随机森林的集成分类方法预测结直肠癌存活性［J］. 管理科学， 2017， 30（1）： 95-106.
	Wang Yuyan， Wang Dujuan， Wang Yanzhang， et al. Predicting survivability of colorectal cancer by an ensemble classification method improved on random forest［J］. Journal of Management Science，2017，30（1）：95-106.
7	Shukla N， Hagenbuchner M， Win K T， et al. Breast cancer data analysis for survivability studies and prediction［J］. Computer Methods and Programs in Biomedicine， 2018， 155： 199-208.
8	Tapak L， Shirmohammadi K N， Amini P， et al. Prediction of survival and metastasis in breast cancer patients using machine learning classifiers［J］. Clinical Epidemiology and Global Health， 2019， 7（3）： 293-299.
9	Delen D， Walker G， Kadam A. Predicting breast cancer survivability： a comparison of three data mining methods［J］. Artificial Intelligence in Medicine， 2005， 34（2）： 113-127.
10	Chen Zhi， Duan Jiang， Yang Cheng， et al. SMLBoost-adopting a soft-margin like strategy in boosting［J］. Knowledge-Based Systems， 2020，195： 105705-105718.
11	雷雪梅，谢依彤. 用于高血压菜谱识别的基于遗传算法的改进XGBoost模型［J］. 计算机科学， 2018， 45（6A）： 476-481.
	Lei Xuemei， Xie Yitong. Improved XGBoost model based on genetic algorithm for hypertension recipe recognition［J］. Computer Science，2018，45（6A）：476-481.
12	张涛，郝晓玲，张玥杰. 基于BP-AsymBoost的医疗诊断模型［J］. 系统工程理论与实践， 2017， 37（6）： 1654-1664.
	Zhao Tao， Hao Xiaoling， Zhang Yuejie. A medical diagnosis model based on BP-AsymBoost algorithm［J］. System Engineering Theory and Practice，2017，37（6）：1654-1664.
13	蒋艳霞，徐程兴. 基于集成支持向量机的企业财务业绩分类模型研究［J］. 中国管理科学， 2009， 17（2）： 42-51.
	Jiang Yanxia， Xu Chengxing. Analysis of classification model of companies’ financial performance based on integrated support vector machine［J］. Chinese Journal of Management Science，2009，17（2）：42-51.
14	Ke Guolin， Meng Qi， Finely T， et al. LightGBM ：a highly efficient gradient boosting decision tree［C］//Proceedings of the 31st Conference on the Neural Information Processing Systems， Long Beach， California， USA， December 4-9， 2017.
15	谢勇，项薇，季孟忠，等. 基于Xgboost和LightGBM算法预测住房月租金的应用分析［J］. 计算机应用与软件， 2019， 36（9）：1-10.
	Xie Yong， Xiang Wei， Ji Mengzhong， et al. An application and analysis of forecast housing rental based on XGBoost and LightGBM algorithms［J］. Computer applications and software，2019，36（9）：1-10.
16	Ma Xiaojun， Sha Jinglan， Wang Dehua， et al. Study on a prediction of P2P network loan default based on the machine learning LightGBM and XGboost algorithms according to different high dimensional data cleaning［J］. Electronic Commerce Research and Applications， 2018， 31： 24-39.
17	Sun Xiaolei， Liu Mingxi， Sima Z. A novel cryptocurrency price trend forecasting model based on LightGBM［J］. Finance Research Letters， 2020， 32： 101084.
18	张渊，张聪，李开源，等. ICU患者急性肾损伤发生风险的LightGBM预测模型［J］. 解放军医学院学报， 2019， 40（3）：316-320.
	Zhang Yuan， Zhang Cong， Li Kaiyuan， et al. LightGBM model for predicting acute kidney injury risk in ICU patients［J］. Academic Journal of Chinese Pla Medical School，2019，40（3）：316-320.
19	陈荣，梁昌勇，陆文星，等.面向旅游突发事件的客流量混合预测方法研究［J］. 中国管理科学， 2017， 25（5）： 167-174.
	Chen Rong， Liang Changyong， Lu Wenxing， et al. The research of tourist flow hybrid forecasting model for tourism emergency events［J］. Chinese Journal of Management Science，2017，25（5）：167-174.
20	Cui Shaoze， Wang Dujuan， Wang Yanzhang， et al. An improved support vector machine-based diabetic readmission prediction［J］. Computer Methods and Programs in Biomedicine， 2018， 166： 123-135.
21	Zhu You， Zhou Li， Xie Chi， et al. Forecasting SMEs’ credit risk in supply chain finance with an enhanced hybrid ensemble machine learning approach［J］. International Journal of Production Economics， 2019， 211： 22-33.
22	Wang Chenshuo， Chen Xianxiang， Du Lidong， et al. Comparison of machine learning algorithms for the identification of acute exacerbations in chronic obstructive pulmonary disease［J］. Computer Methods and Programs in Biomedicine， 2020， 188： 105267-105275.
23	郭海湘，黄媛玥，顾明赟，等. 基于自适应多分类器系统的甲状腺疾病诊断方法研究［J］. 系统工程理论与实践， 2018， 38（8）： 2123-2134.
	Guo Haixiang， Huang Yuanyue， Gu Mingbin， et al. Thyroid disease diagnosis method research based on adaptive multiple classifier system［J］. System Engineering Theory and Practice， 2018， 38（8）：2123-2134.
24	Ramirez G S， Mourino T H， Martinez R D， et al. An information theory-based feature selection framework for big data under apache spark［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2018， 48（9）： 1441-1453.
25	Kalousis A， Prados J， Hilario M. Stability of feature selection algorithms： a study on high-dimensional spaces［J］. Knowledge and Information Systems， 2007， 12（1）： 95-116.
26	Meinshausen N， Buhlmann P. Stability selection ［J］. Journal of the Royal Statistical Society： Series B （Statistical Methodology）， 2010， 72（4）： 417-473.
27	肖进，刘潇潇，谢玲，等.代价敏感的目标客户选择半监督集成模型研究［J］. 中国管理科学， 2018， 26（11）： 186-196.
	Xiao Jin， Liu Xiaoxiao， Xie Ling， et al. A cost-sensitive semi-supervised ensemble model for customer targeting［J］. Chinese Journal of Management Science，2018，26（11）：186-196.
28	钟震亚. 年轻人早期胃癌恶性度的探讨［J］. 黑龙江医药科学， 1979， 4（4）： 85-86.
	Zhong Zhenya. Exploration of the malignancy of early gastric cancer in young people［J］. Heilongjiang Medicine and Pharmacy，1979，4（4）：85-86.
29	Kim H J， Chang W K， Mi K K， et al. Dietary factors and gastric cancer in Korea： a case‐control study［J］. International Journal of Cancer， 2002， 97（4）：531-5.
30	Kim E J， Yoon S J， Jo M W， et al. Measuring the burden of chronic diseases in Korea in 2007［J］. Public Health， 2013， 127（9）：806-813.

方法	准确率	敏感性	精确率	F1指标	AUC	个数
本文算法	0.802	0.800	0.814	0.807	0.803	20
过滤式	0.784	0.776	0.798	0.787	0.785	113
封装式	0.778	0.775	0.806	0.790	0.779	20
嵌入式	0.775	0.747	0.803	0.774	0.776	20
遗传算法	0.712	0.732	0.777	0.754	0.724	19
无特征选择	0.795	0.783	0.810	0.798	0.792	126

方法	准确率	敏感性	精确率	F1指标	AUC
超参数默认	0.777	0.768	0.763	0.765	0.777
网格搜索算法	0.781	0.764	0.775	0.770	0.788
随机搜索算法	0.775	0.694	0.804	0.745	0.757
人工经验法	0.764	0.708	0.809	0.756	0.766
贝叶斯优化算法	0.795	0.764	0.792	0.778	0.793
SGPL-LightGBM	0.802	0.800	0.814	0.807	0.803

模型	准确率	敏感性	精确率	F1指标	AUC
决策树	0.712	0.572	0.713	0.634	0.728
逻辑回归	0.771	0.744	0.797	0.770	0.770
支持向量机	0.770	0.739	0.792	0.765	0.770
遗传支持向量机	0.789	0.771	0.802	0.786	0.790
朴素贝叶斯	0.753	0.678	0.814	0.740	0.755
k近邻	0.742	0.708	0.756	0.756	0.748
随机森林	0.758	0.755	0.787	0.770	0.755
Adaboost	0.774	0.750	0.789	0.770	0.775
XGBoost	0.789	0.761	0.785	0.773	0.785
LightGBM	0.795	0.764	0.792	0.778	0.793
SGPL-LightGBM	0.802	0.800	0.814	0.807	0.803

[1]	刘祥官, 郜传厚, 罗世华, 王义康, 吴武林. 华罗庚管理科学与工业大数据分析的系统工程[J]. 中国管理科学, 2022, 30(11): 8-19.
[2]	封晓斌, 汤易兵, 吴增源, 徐明江. 基于SRFML-Lift的流程制造产品质量状态监测[J]. 中国管理科学, 2021, 29(12): 227-236.
[3]	董路安, 叶鑫. 基于改进教学式方法的可解释信用风险评价模型构建[J]. 中国管理科学, 2020, 28(9): 45-53.
[4]	宋鹏, 梁吉业, 钱宇华, 李常洪. 区间数分级决策的特征选择方法研究[J]. 中国管理科学, 2017, 25(7): 141-152.
[5]	肖进, 唐静, 刘敦虎, 谢玲, 汪寿阳. 基于改进GMDH的目标客户选择模型研究[J]. 中国管理科学, 2015, 23(10): 162-169.
[6]	赵宇, 黄思明, 陈锐. 数据分类中的特征选择算法研究[J]. 中国管理科学, 2013, 21(6): 38-46.