基于相对熵的质量异常模式识别研究

doi:10.16381/j.cnki.issn1003-207x.2023.0396

摘要/Abstract

摘要：

连续大规模生产不仅要求企业能更准确高效地识别生产过程状态，还需要识别生产过程中潜在的质量问题，从而提前规避质量风险。现有控制图方法能监测短期内生产过程是否处于异常状态，但难以对长期生产过程潜在的质量问题进行识别和分析。为了突破这一局限，本文提出在过程控制中运用基于相对熵的方法对质量数据分布形态进行识别，通过识别质量异常模式来分析潜在的质量问题。首先，通过仿真生成五种分布模式训练集和测试集；其次，将测试集样本质量特性值的概率分布或经核密度估计拟合后的概率密度作为模型输入；最后，通过构建的相对熵函数来量化抽样样本分布与各典型质量异常模式分布的相似性和差异性，输出生产状态分类指标，并通过两个质量模式判断准则完成模式识别。仿真结果表明，本文提出的方法在质量特性值为离散和连续情况下均能对质量异常分布模式进行有效识别。通过与同类方法进行对比，发现本文方法具有更高的识别精度，可以更有效地监控和识别生产过程的质量异常。

关键词: 相对熵, 核密度估计, 异常模式识别, 质量控制

Abstract:

Continuous mass production not only requires enterprises to identify the state of the production process more accurately and efficiently， but also needs to identify potential quality problems in the production process， so as to avoid quality risks in advance. The existing control chart abnormal pattern recognition method can monitor whether the production process is abnormal in the short term， but it is difficult to identify and analyze the potential quality problems in the long-term production process. In order to overcome this limitation， this study proposes a method， using relative entropy to identify the quality problems through distribution pattern. Firstly， five training sets and test sets of distribution anomaly patterns are generated by simulation. Then， the probability distribution of the mass characteristic values of the samples under the test set or the probability density after fitting by kernel density estimation is used as the input of the model. Finally， the relative entropy is used to quantify the similarity and divergences between the distribution of the actual production sample and each distribution of the estimated abnormal pattern， the production state classification index is output， and further pattern recognition is completed by constructing two quality pattern judgement criteria. It is shown that the proposed method in this paper can accurately identify the abnormal quality patterns in both the discrete and continuous states of the quality characteristic parameters. Through comparative analysis with the correlation method， it is found that our method has a higher classification accuracy， and thus it can recognition the quality abnormal pattern of the process more effectively.

Key words: relative entropy, kernel density estimation, quality abnormal pattern recognition, quality control

中图分类号:

O213.1

鲁惠文,方兴华,宋明顺,邓钰佳,黄佳. 基于相对熵的质量异常模式识别研究[J]. 中国管理科学, 2024, 32(3): 299-312.

Huiwen Lu,Xinghua Fang,Mingshun Song,Yujia Deng,Jia Huang. Quality Abnormal Pattern Recognition Based on Relative Entropy[J]. Chinese Journal of Management Science, 2024, 32(3): 299-312.

图/表 18

图1

图2

图3

图4

图5

图6

图7

表1

离散情况下各异常分布模式概率分布"

组号	区间	$F 0$	$F 1$	$F 2$	$F 3$	$F 4$
1	(663.65,663.75]	0.025	0.075	0.025	0.1125	0.025
2	(663.75,663.85]	0.0625	0.1	0.05	0.175	0.0375
3	(663.85,663.95]	0.1125	0.1125	0.0875	0.2125	0.05
4	(663.95,664.05]	0.1875	0.1375	0.125	0.1875	0.075
5	(664.05,664.15]	0.225	0.15	0.1625	0.125	0.125
6	(664.15,664.25]	0.1875	0.1375	0.1125	0.075	0.1875
7	(664.25,664.35]	0.1125	0.1125	0.1375	0.05	0.2125
8	(664.35,664.45]	0.0625	0.1	0.175	0.0375	0.175
9	(664.45,664.55]	0.025	0.075	0.125	0.025	0.1125

表1

表2

图8

表3

离散情况下质量异常模式识别结果"

实际生产状态	各异常分布模式参考的概率分布
	$F 0$	$F 1$	$F 2$	$F 3$	$F 4$	$c$
	$D K L (P, Q)$	$D K L (P, Q)$	$D K L (P, Q)$	$D K L (P, Q)$	$D K L (P, Q)$	$c$
正常型	0.0122	0.1843	0.3005	0.5656	0.4613	$F 0$
平顶型	0.2729	0.0062	0.1819	0.3576	0.3576	$F 1$
双峰型	0.2315	0.2361	0.1187	0.9144	0.2525	$F 2$
偏左峰型	0.4611	0.3152	0.8550	0.0071	1.2912	$F 3$
偏右峰型	0.5505	0.3625	0.1642	1.3837	0.0038	$F 4$

表3

图9

表4

连续情况下本文方法质量异常模式识别结果（前三组数据）"

实际生产状态	组别	各异常分布模式下参考概率密度函数
		$F 0$	$F 1$	$F 2$	$F 3$	$F 4$	$c$
		$D K L (P, Q)$	$D K L (P, Q)$	$D K L (P, Q)$	$D K L (P, Q)$	$D K L (P, Q)$	$c$
正常型	1	0.1471	3.0491	0.5426	0.7555	0.5717	$F 0$
	2	0.0676	3.5682	0.4536	0.9082	0.6138	$F 0$
	3	0.6173	3.2701	0.8085	1.9990	0.3854	$F 4$
平顶型	1	10.9016	0.4409	8.1541	5.9751	4.5511	$F 1$
	2	6.9010	0.1209	4.9365	3.9987	3.2251	$F 1$
	3	6.9487	0.1534	5.4575	4.0236	2.5367	$F 1$
双峰型	1	12.8379	4.4870	0.0592	2.5017	2.2468	$F 2$
	2	12.5993	4.2614	0.0616	2.5801	2.1333	$F 2$
	3	15.2103	4.3650	0.1749	2.7952	2.8101	$F 2$
偏左峰型	1	1.1832	3.6800	1.2999	0.5131	2.1266	$F 3$
	2	1.3484	3.8035	1.4694	0.6042	2.3609	$F 3$
	3	0.9237	4.6595	1.1970	0.4783	2.0006	$F 3$
偏右峰型	1	0.9931	2.3243	1.3585	2.1843	0.3822	$F 4$
	2	1.2937	2.3823	1.1193	2.6115	0.4612	$F 4$
	3	0.7496	4.3715	0.9244	2.6061	0.3126	$F 4$

表4

表5

连续情况下本文方法质量异常模式识别结果的混淆矩阵"

实际生产状态	$F 0$	$F 1$	$F 2$	$F 3$	$F 4$	识别精度（%）
正常型	26	0	0	0	4	86.67
平顶型	0	30	0	0	0	100
双峰型	0	0	30	0	0	100
偏左型	2	0	0	28	0	93.33
偏右型	1	0	0	0	29	96.67

表5

表6

离散情况下各对比方法的质量异常模式识别结果"

典型实际生产状态	对比方法	$F 0$	$F 1$	$F 2$	$F 3$	$F 4$	$c$
正常型	相关系数	0.9899	0.9710	0.4943	0.2696	0.3411	$F 0$
	余弦相似度	0.9970	0.9462	0.8884	0.8090	0.8276	$F 0$
	欧式距离	0.0306	0.1287	0.1794	0.2398	0.2278	$F 0$
平顶型	相关系数	0.9742	0.9687	0.4873	0.2921	0.2921	$F 0$
	余弦相似度	0.9215	0.9974	0.9408	0.8750	0.8750	$F 1$
	欧式距离	0.1551	0.0250	0.1225	0.1871	0.1871	$F 1$
双峰型	相关系数	0.6885	0.7208	0.8289	-0.1686	0.5839	$F 2$
	余弦相似度	0.9144	0.9188	0.9559	0.6962	0.8918	$F 2$
	欧式距离	0.1620	0.1541	0.1146	0.3021	0.1803	$F 2$
偏左峰型	相关系数	0.3826	0.4019	-0.3754	0.9877	-0.6469	$F 3$
	余弦相似度	0.8337	0.8876	0.7241	0.9969	0.5807	$F 3$
	欧式距离	0.2250	0.1777	0.2784	0.0306	0.3536	$F 3$
偏右峰型	相关系数	0.2955	0.3125	0.6811	-0.6993	0.9929	$F 4$
	余弦相似度	0.8041	0.8684	0.9244	0.5518	0.9980	$F 4$
	欧式距离	0.2456	0.1936	0.1490	0.3678	0.0250	$F 4$

表6

表7

连续情况下基于欧式距离的质量异常模式识别结果的混淆矩阵"

实际生产状态	$F 0$	$F 1$	$F 2$	$F 3$	$F 4$	识别精度（%）
正常型	25	0	2	0	3	83.33
平顶型	0	30	0	0	0	100
双峰型	0	0	30	0	0	100
偏左型	1	0	1	28	0	93.33
偏右型	1	0	2	0	27	90

表7

表8

连续情况下基于相关系数的质量异常模式识别结果的混淆矩阵"

实际生产状态	$F 0$	$F 1$	$F 2$	$F 3$	$F 4$	识别精度（%）
正常型	17	0	4	6	3	56.67
平顶型	0	29	0	0	1	96.67
双峰型	0	0	30	0	0	100
偏左型	0	1	1	28	0	93.33
偏右型	0	1	3	0	26	86.67

表8

表9

连续情况下基于余弦相似度的质量异常模式识别结果的混淆矩阵"

实际生产状态	$F 0$	$F 1$	$F 2$	$F 3$	$F 4$	识别精度（%）
正常型	16	0	11	0	3	46.67
平顶型	0	30	0	0	0	100
双峰型	0	0	30	0	0	100
偏左型	0	0	1	29	0	96.67
偏右型	0	0	6	0	24	80

表9

参考文献 34

1	刘玉敏，刘莉. 基于统计特征的动态过程质量异常模式识别［J］. 统计与决策， 2017， 19： 32-36.
	Liu Y M， Liu L. Dynamic process of quality abnormal pattern recognition based on statistical features［J］. Statistics & Decision， 2017， 19： 32-36.
2	Bakir S T. Distribution-free quality control charts based on signed-rank-like statistics［J］. Communications in Statistics， 2006， 35（4）： 743-757.
3	Page E S. Continuous inspection scheme［J］. Biometrika， 1954， 41（1）： 100-104.
4	Roberts S W. Control chart tests based on geometric moving averages［J］. Technometrics， 1959， 1： 239-250.
5	Park S H， Kim S B. Multivariate control charts that combine the Hotelling T 2 and classification algorithms ［J］. Journal of the Operational Research Society， 2019， 70（6）： 889-897.
6	杨铭，宋明顺，方兴华. 基于经济性原则的控制图构建及仿真［J］. 统计与决策， 2020， 36（2）： 29-33.
	Yang M， Song M S， Fang X H. Construction and simulation of control chart based on economic principle［J］. Statistics & Decision， 2020， 36（2）： 29-33.
7	Haghtalab S， Xanthopoulos P， Madani K. A robust unsupervised consensus control chart pattern recognition framework［J］. Expert Systems with Applications， 2015， 42： 6767-6776.
8	Ünlü R. A robust data simulation technique to improve early detection performance of a classifier in control chart pattern recognition［J］. Information Sciences， 2021， 548： 18-36.
9	Maged A， Xie M. Recognition of abnormal patterns in industrial processes with variable window size via convolutional neural networks and AdaBoost［J］. Journal of Intelligent Manufacturing， 2022， 34（4）： 1-23.
10	Fuqua D， Razzaghi T. A cost-sensitive convolution neural network learning for control chart pattern recognition［J］. Expert Systems with Applications， 2020， 150： 113275.
11	李丽丽，陈琨，高建民，等. 采用优化概率神经网络的质量异常识别方法［J］. 计算机集成制造系统， 2021， 27（10）： 2813-2820.
	Li L L， Chen K， Gao J M， et al. Quality anomaly recognition method based on optimized probabilistic neural network［J］. Computer Integrated Manufacturing Systems， 2021， 27（10）： 2813-2820.
12	Cuentas S， Garcia E， Peñabaena-Niebles R. An SVM-GA based monitoring system for pattern recognition of autocorrelated processes［J］. Soft Computing， 2022， 26： 5159-5178.
13	Ünlü R. Cost-oriented LSTM method for possible expansion of control charting signals［J］. Computers & Industrial Engineering， 2021， 154： 107163.
14	Zaman M， Hassan A. Improved statistical features-based control chart patterns recognition using ANFIS with fuzzy clustering［J］. Neural Computing and Applications， 2019， 31： 5935-5949.
15	万育微，朱波，伍常亮，等.利用随机森林识别二元自相关过程异常［J］.制造业自动化， 2020， 42（2）： 60-64.
	Wan Y W， Zhu B， Wu C L， et al. Using random forest for out-of-control patterns recognition in bivariate autocorrelated process［J］. Manufacturing Automation， 2020， 42（2）： 60-64.
16	Zan T， Liu Z H， Su Z F， et al. Statistical process control with intelligence based on the deep learning model［J］. Applied Sciences， 2019， 10（1）： 308.
17	Wang M， Zan T， Fei R Y. Statistical process control with intelligence using fuzzy ART neural networks［J］. Frontiers of Mechanical Engineering in China， 2010， 5（2）： 149-156.
18	Lu Z Y， Wang M Q， Dai W. A condition monitoring approach for machining process based on control chart pattern recognition with dynamically-sized observation windows［J］. Computer & Industrial Engineering， 2020， 142： 106360.
19	Zaman M， Hassan A. Improved statistical features-based control chart patterns recognition using ANFIS with fuzzy clustering［J］. Neural Computing and Applications， 2019， 31： 5935-5949.
20	Ferracuti F， Giantomassi A， Iarlori S， et al. Electric motor defects diagnosis based on kernel density estimation and Kullback-Leibler divergence in quality control scenario［J］. Engineering Applications of Artificial Intelligence， 2015， 44： 25-32.
21	Zhou X J， Dennis L， Hu X L， et al. Robust parameter design based on Kullback-Leibler divergence［J］. Computer & Industry Engineering， 2019， 135： 913-921.
22	田晟，曾莉莉. 基于改进核密度估计的电动出租车快速充电行为研究［J］.交通运输系统工程与信息， 2021， 21（4）： 221-229.
	Tian S， Zeng L L. Fast charging behavior of electric taxi based on improved kernel density estimation［J］. Journal of Transportation Systems Engineering and Information Technology， 2021， 21（4）： 221-229.
23	宋平凡，谭常春，祁毓. 基于相对熵方法的长寿债券定价研究［J］. 中国管理科学， 2019， 27（5）： 32-41.
	Song P F， Tan C C， Qi Y. Pricing longevity bond with relative entropy approach［J］. Chinese Journal of Management Science， 2019， 27（5）： 32-41.
24	崔东虎，赵亚慧，崔荣一.基于相对熵的KNN文本分类方法的研究［J］.延边大学学报（自然科学版）， 2021， 47（2）： 175-179.
	Cui D H， Zhao Y H， Cui R Y. Research on text classification of K-nearest neighbor algorithm based on relative entropy［J］. Journal of Yanbian University（Natural Science Edition）， 2021， 47（2）： 175-179.
25	王印松，丁梦婷，孙天舒，等.基于改进相对熵的控制系统性能评价方法［J］.控制工程， 2023，30（4）：577-582.
	Wang Y S， Ding M T， Sun T S， et al. Relative entropy based approach to performance assessment of control systems［J］. Control Engineering of China， 2021， 30（4）：577-582.
26	何会民. 基于随机游走模型和KL-divergence的聚类算法［J］. 计算机工程， 2008（16）： 224-226.
	He H M. Clustering algorithm based on random walk model and KL-divergence［J］. Computer Engineering， 2008（16）： 224-226.
27	高效，敬东，陈钢.采用相对熵评价雷达相对系统误差估值［J］.雷达科学与技术， 2020， 18（4）： 443-446.
	Gao X， Jing D， Chen G. Application of relative entropy to evaluation of relative system error of radar［J］. Radar Science and Technology， 2020， 18（4）： 443-446.
28	Rosnani G， Aulia I， Dyah P. Application of quality function deployment （QFD） method in meeting customer satisfaction in the bookshelf industry［J］. IOP Conference Series： Materials Science and Engineering， 2020， 1003（1）： 012005.
29	Abramson I S. On bandwidth variation in kernel estimates-a square root law［J］. The Annals of Statistics， 1982， 10（4）： 1217-1223.
30	晁宇晴. 利用频率（频数）直方图分析零件关键尺寸质量特性［J］.机械工业标准化与质量， 2006（3）： 17-19+28.
	Chao Y Q. Analysis of critical dimension and quality characteristics of parts using frequency （frequency） histogram［J］. Machinery Industry Standardization & Quality， 2006（3）： 17-19+28.
31	Yang J W， Yang M S. A control chart pattern recognition system using a statistical correlation coefficient method［J］. Computers & Industrial Engineering， 2005， 48（2）： 205-221.
32	郭远晶，魏燕定，金晓航，等. 频谱密度函数相似性比较的齿轮箱故障诊断［J］. 振动工程学报， 2018， 31（1）： 157-164.
	Guo Y J， Wei Y D， Jin X H， et al. Gearbox fault diagnosis using similarity comparision of frequency spectrum density function［J］. Journal of Vibration Engineering， 2018， 31（1）： 157-164.
33	张文豪，施展.基于欧式距离与灰色预测模型的机床主轴剩余寿命研究［J］.制造业自动化，2019， 41（3）： 93-96.
	Zhang W H， Shi Z. Research on residual life of machine tool spindle based on euclidean distance and grey prediction model［J］. Manufacturing Automation， 2019， 41（3）： 93-96.
34	周伟，潘海鹏，吴平，等. 基于DPCA和KL散度的微小故障检测方法［J］. 传感器与微系统， 2020， 39（3）： 135-138.
	Zhou W， Pan H P， Wu P， et al. Tiny fault detection method based on DPCA and KL divergence［J］. Transducer and Microsystem Technologies， 2020， 39（3）： 135-138.

[1]	张巧可, 陈洪转. 基于质量意识的复杂产品质量控制激励策略[J]. 中国管理科学, 2021, 29(6): 105-114.
[2]	王道平, 赵超, 程延平. 考虑零售商质量控制和风险规避的供应链网络均衡研究[J]. 中国管理科学, 2019, 27(6): 76-87.
[3]	宋平凡, 谭常春, 祁毓. 基于相对熵方法的长寿债券定价研究[J]. 中国管理科学, 2019, 27(5): 32-41.
[4]	申强, 徐莉莉, 杨为民, 刘笑冰, 侯云先. 需求不确定下双渠道供应链产品质量控制研究[J]. 中国管理科学, 2019, 27(3): 128-136.
[5]	彭子衿, 徐维军. 基于股价预测的泛证券投资组合策略[J]. 中国管理科学, 2018, 26(9): 1-10.
[6]	朱立龙, 郭鹏菲, 孙淑慧. 三种混合分销渠道条件下供应链产品质量控制策略研究[J]. 中国管理科学, 2017, 25(3): 111-120.
[7]	陈占夺, 秦学志. 基于博弈的“外包内做”型制造外包违规控制研究[J]. 中国管理科学, 2016, 24(6): 78-89.
[8]	洪江涛, 黄沛. 基于微分博弈的供应链质量协调研究[J]. 中国管理科学, 2016, 24(2): 100-107.
[9]	申强, 杨为民, 刘笑冰, 侯云先. 基于两种策略的四级供应链质量控制优化研究[J]. 中国管理科学, 2016, 24(10): 52-59.
[10]	刘小弟, 朱建军, 刘思峰. 方案有不确定偏好的区间数相对熵群决策方法[J]. 中国管理科学, 2014, 22(6): 134-140.
[11]	申强, 侯云先, 杨为民. 双边道德风险下供应链质量协调契约研究[J]. 中国管理科学, 2014, 22(3): 90-95.
[12]	刘卓军, 李晓明. 一种基于客户行为时序分析的反洗钱异常交易识别方法[J]. 中国管理科学, 2014, 22(12): 102-108.
[13]	肖迪, 袁敬霞, 鲁其辉. 决策者过度自信视角下考虑质量控制的供应链库存策略[J]. 中国管理科学, 2014, 22(10): 59-65.
[14]	朱立龙, 于涛, 夏同水. 两级供应链产品质量控制契约模型分析[J]. 中国管理科学, 2013, (1): 71-79.
[15]	朱立龙, 于涛, 夏同水 . 两种激励条件下三级供应链产品质量控制策略研究[J]. 中国管理科学, 2012, 20(5): 112-121.