面向不平衡数据的SMOTE-BO-XGBoost集成信用评分模型研究

doi:10.16381/j.cnki.issn1003-207x.2023.0635

摘要/Abstract

摘要：

信用评估研究中，有两类问题经常会遇到：一是数据不平衡会对模型的准确率有很大的影响；二是对非平衡数据处理较好但准确率不理想。为了同时解决这两方面的问题，本文构建了一种新的集成学习模型来解决数据类别不平衡下的信用风险评估问题——基于SMOTE-BO-XGBoost集成算法的类别非平衡信用评分模型。利用SMOTE方法处理样本不平衡问题，使用贝叶斯优化方法获取最优模型参数，进而构建优化后的集成分类模型。实验分析中，以准确率、AUC值、F1得分和第一类错误为评估指标，先后训练XGBoost、BO-XGBoost、SMOTE-XGBoost、SMOTE-BO-XGBoost四种集成模型，同时将SMOTE-BO-XGBoost模型与传统信用评分模型比较。实验结果表明：集成是有效的，其中SMOTE-BO-XGBoost模型具有最优的性能，优于一般的集成学习模型与传统分类算法，能够有效解决非平衡样本问题，为银行部门提供了一种有效的个人信用风险评估方法。

关键词: 信用评分, 集成学习, 非平衡数据, XGBoost

Abstract:

To handle the issues of some high-accuracy models neglecting data imbalance and other studies effectively handling imbalanced data but not achieving satisfactory accuracy， a novel ensemble learning model is constructed for credit risk assessment under imbalanced data categories—a class-imbalanced credit scoring model based on the SMOTE-BO-XGBoost ensemble algorithm. Firstly， the model tackles the sample imbalance problem through the Synthetic Minority Over-sampling Technique （SMOTE）. Secondly， Bayesian optimization （BO） is employed to obtain optimal model parameters. Finally， an optimized XGBoost ensemble classification model is constructed. Based on the home-credit-default-risk dataset， four different ensemble models are sequentially trained， and the SMOTE-BO-XGBoost model is compared with traditional models. The experimental results demonstrate that： ① Ensembling is effective， and the multi-angle fused SMOTE-BO-XGBoost model exhibits the best model performance， outperforming general ensemble learning models and traditional classification algorithms； ② It can effectively overcome the problem of imbalanced samples. This model addresses individual credit risk issues of financial institution customers from two perspectives： data augmentation and model performance enhancement， providing an effective personal credit risk assessment method for banking sectors.

Key words: credit scoring, ensemble learning, class-imbalance, XGBoost

中图分类号:

F832.4

李爱华,刘婉昕,陈思帆, 等. 面向不平衡数据的SMOTE-BO-XGBoost集成信用评分模型研究[J]. 中国管理科学, 2026, 34(9): 21-28.

Aihua Li,Wanxin Liu,Sifan Chen, et al. Research on SMOTE-BO-XGBoost Ensemble Credit Scoring Model for Unbalanced Data[J]. Chinese Journal of Management Science, 2026, 34(9): 21-28.

图/表 5

图1

表1

表2

表3

表4

参考文献 29

[1]	Orgler Y E. A credit scoring model for commercial loans［J］. Journal of Money， Credit and Banking， 1970，2（4）： 435-445.
[2]	Wiginton J C. A note on the comparison of logit and discriminant models of consumer credit behavior［J］. The Journal of Financial and Quantitative Analysis， 1980， 15（3）： 757-770.
[3]	Steenackers A， Goovaerts M J. A credit scoring model for personal loans［J］. Insurance： Mathematics and Economics， 1989， 8（1）： 31-34.
[4]	Shi Y， Peng Y， Xu W， et al. Data mining via multiple criteria linear programming： Applications in credit card portfolio management［J］. International Journal of Information Technology & Decision Making， 2002， 1（1）： 131-151.
[5]	石庆焱，靳云汇. 个人信用评分的主要模型与方法综述［J］. 统计研究， 2003， 20（8）： 36-39.
	Shi Q Y， Jin Y H. Consumer credit scoring model： A survey［J］. Statistical Research， 2003， 20（8）： 36-39.
[6]	洪文洲，王旭霞，冯海旗. 基于Logistic回归模型的上市公司财务报告舞弊识别研究［J］. 中国管理科学， 2014， 22（S1）： 351-356.
	Hong W Z， Wang X X， Feng H Q. Research on the financial report fraud detection of listed companies based on logistic regression model［J］. Chinese Journal of Management Science， 2014， 22（S1）： 351-356.
[7]	庞素琳，何毅舟，汪寿阳，等. 基于风险环境的企业多层交叉信用评分模型与应用［J］. 管理科学学报， 2017， 20（10）： 57-69.
	Pang S L， He Y Z， Wang S Y， et al. Multilayer crossing credit scoring models for enterprise and application based on risk environment［J］. Journal of Management Sciences in China， 2017， 20（10）： 57-69.
[8]	Olaru C， Wehenkel L. A complete fuzzy decision tree technique［J］. Fuzzy Sets and Systems， 2003， 138（2）： 221-254.
[9]	庞素琳，巩吉璋. C5.0分类算法及在银行个人信用评级中的应用［J］. 系统工程理论与实践， 2009， 29（12）： 94-104.
	Pang S L， Gong J Z. C5.0 classification algorithm and its application on individual credit score for banks［J］. Systems Engineering —theory & Practice， 2009， 29（12）： 94-104.
[10]	Nie G， Rowe W， Zhang L， et al. Credit card churn forecasting by logistic regression and decision tree［J］. Expert Systems with Applications， 2011， 38（12）： 15273-15285.
[11]	West D. Neural network credit scoring models［J］. Computers & Operations Research， 2000， 27（11-12）： 1131-1152.
[12]	肖斌卿，杨旸，李心丹，等. 基于模糊神经网络的小微企业信用评级研究［J］. 管理科学学报， 2016， 19（11）： 114-126.
	Xiao B Q， Yang Y， Li X D， et al. Research on the credit rating of small and micro enterprises based on fuzzy neural network［J］. Journal of Management Sciences in China， 2016， 19（11）： 114-126.
[13]	Baesens B， Van Gestel T， Viaene S， et al. Benchmarking state-of-the-art classification algorithms for credit scoring［J］. Journal of the Operational Research Society， 2003， 54（6）： 627-635.
[14]	姚潇，余乐安. 模糊近似支持向量机模型及其在信用风险评估中的应用［J］. 系统工程理论与实践， 2012， 32（3）： 549-554.
	Yao X， Yu L A. A fuzzy proximal support vector machine model and its application to credit risk analysis［J］. Systems Engineering-Theory & Practice， 2012， 32（3）： 549-554.
[15]	陈耸，于秀运，邱涌钦，等. 基于半监督支持向量机的信用评分模型［J］.中国管理科学，2024， 32（3）： 1-8.
	Chen S， Yu X Y， Qiu Y Q， et al. Credit scoring based on semi-supervised support vector machine［J］. Chinese Journal of Management Science， 2024， 32（3）： 1-8.
[16]	Liu Y， Yang M， Wang Y， et al. Applying machine learning algorithms to predict default probability in the online credit market： Evidence from China［J］. International Review of Financial Analysis， 2022， 79： 101971.
[17]	蒋翠清，梁坤，丁勇，等. 基于改进Adaboost的信用评价方法［J］. 运筹与管理， 2017， 26（2）： 135-139.
	Jiang C Q， Liang K， Ding Y， et al. Credit assessment model based on the improved adaboost［J］. Operations Research and Management Science， 2017， 26（2）： 135-139.
[18]	任婷婷，鲁统宇，崔俊. 基于改进AdaBoost算法的动态不平衡财务预警模型［J］. 数量经济技术经济研究， 2021， 38（11）： 182-196+F0003.
	Ren T T， Lu T Y， Cui J. Dynamic imbalanced financial distress prediction model based on improved AdaBoost algorithm［J］. Journal of Quantitative & Technological Economics， 2021， 38（11）： 182-196+F0003.
[19]	Breiman L. Random forests［J］. Machine Learning， 2001， 45（1）： 5-32.
[20]	肖连杰，郜梦蕊，苏新宁. 一种基于模糊C-均值聚类的欠采样集成不平衡数据分类算法［J］. 数据分析与知识发现， 2019， 3（4）： 90-96.
	Xiao L J， Gao M R， Su X N. An under-sampling ensemble classification algorithm based on fuzzy C-means clustering for imbalanced data［J］. Data Analysis and Knowledge Discovery， 2019， 3（4）： 90-96.
[21]	莫赞，张灿凤，魏伟，等. 基于Bagging集成的个人信用风险评估方法研究［J］. 系统工程， 2019， 37（1）： 143-151.
	Mo Z， Zhang C F， Wei W， et al. Research on personal credit risk assessment method based on bagging integration［J］. Systems Engineering， 2019， 37（1）： 143-151.
[22]	严晴，徐海燕. 基于混合式SMOTE和RF模型的小额贷款公司客户信用风险研究［J］. 运筹与管理， 2024， 33（1）： 191-197.
	Yan Q， Xu H Y. Research on customer credit risk of small loan companies based on mixed SMOTE and RF model［J］. Operations Research and Management Science， 2024， 33（1）： 191-197.
[23]	Chen T， Guestrin C. XGBoost： A scalable tree boosting system［C］//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining， San Francisco， CA， USA， August 13-17， ACM， 2016： 785-794.
[24]	Gunnarsson B R， vanden Broucke S， Baesens B， et al. Deep learning for credit scoring： Do or don’t？［J］. European Journal of Operational Research， 2021， 295（1）： 292-305.
[25]	张鹏，党世力，黄梅雨，等. 基于机器学习预测股票收益率的两步骤M-SV投资组合优化［J］. 中国管理科学， 2023， 31（12）： 96-106.
	Zhang P， Dang S L， Huang M Y， et al. Two-stage mean semi-variance portfolio optimization with stock return prediction using machine learning［J］. Chinese Journal of Management Science，2023，31（12）： 96-106.
[26]	Chawla N V， Bowyer K W， Hall L O， et al. SMOTE： Synthetic minority over-sampling technique［J］. Journal of Artificial Intelligence Research， 2002， 16： 321-357.
[27]	迟国泰，章彤，张志鹏. 基于非平衡数据处理的上市公司ST预警混合模型［J］. 管理评论， 2020， 32（3）： 3-20.
	Chi G T， Zhang T， Zhang Z P. Special treatment warning hybrid model dealing with imbalanced data of Chinese listed companies［J］. Management Review， 2020， 32（3）： 3-20.
[28]	吴增源，金灵敏，韩香丽，等. 基于SMOTE-XGBoost的外贸企业财务危机预警模型［J］. 计算机工程与应用， 2024， 60（11）： 281-289.
	Wu Z Y， Jin L M， Han X L， et al. Research on financial crisis early warning model for foreign trade listed companies based on SMOTE-XGBoost algorithm［J］. Computer Engineering and Applications， 2024， 60（11）： 281-289.
[29]	何龙. 深入理解XGBoost——高效机器学习算法与进阶［M］. 北京：机械工业出版社， 2020.
	He L. Understanding XGBoost： Efficient machine learning algorithm and advanced［M］. Beijing： China Machine Press， 2020.

参数	参数含义	参数空间	结果
max_depth	树的最大深度	(3, 10)int	11
n_estimators	树的数量	(50, 500)int	410
min_child_weight	最小叶子节点的样本权重	(0, 20)int	9
learning_rate	学习速率	(0.05, 0.4)	0.26
subsample	随机采样比例	(0.01, 1)	0.86
colsample_bytree	随机采样的列数的比例	(0.01, 1)	0.72
reg_alpha	正则化项L1	(0.001, 20)	3.07
gamma	最小损失函数下降值	(0.001, 10)	0.62

参数	参数含义	参数空间	结果
max_depth	树的最大深度	(5, 25)int	6
n_estimators	树的数量	(1, 300)int	265
min_child_weight	最小叶子节点样本权重	(0, 20)int	7
learning_rate	学习速率	(0.01, 0.3)	0.3
subsample	随机采样的比例	(0.001, 1)	0.8
colsample_bytree	随机采样的列数的比例	(0.01, 1)	0.3
reg_alpha	正则化项L1	(0.001, 20)	4.5
gamma	最小损失函数下降值	(0.001, 10)	0.5

模型	准确率（%）	AUC值	F1-Score	TypeⅠ-error（%）	备注
XGBoost	91.81	0.505	0.88	98.87	实验类别1
BO-XGBoost	92.01	0.509	0.88	98.20	实验类别1
RandomSearch-XGBoost	92.03	0.5	0.88	99.99	消融对比模型
SMOTE-XGBoost	89.43	0.894	0.89	12.78	实验类别1
ADASYN-XGBoost	88.13	0.881	0.88	14.00	消融对比模型
SMOTE-RandomSearch-XGBoost	89.87	0.899	0.90	12.40	消融对比模型
ADASYN-BO-XGBoost	93.34	0.933	0.93	8.13	消融对比模型
SMOTE-BO-XGBoost	93.67	0.937	0.94	8.43	实验类别1

模型	准确率（%）	AUC值	F1-Score	TypeⅠ-error（%）
Logistic回归	91.91	0.499	0.88	100.00
BP神经网络	91.92	0.510	0.88	97.69
随机森林RF	91.94	0.503	0.88	99.32
SMOTE-BO-XGBoost	93.67	0.937	0.94	8.43