基于数据挖掘的电力装备企业多价值链协同数据预处理方法研究及应用

doi:10.16381/j.cnki.issn1003-207x.2022.0286

摘要/Abstract

摘要：

在电力装备制造企业的数字化转型中，需要对数据空间中多价值链协同的高维数据进行挖掘与分析，本文针对电力装备制造业进销存大数据的预处理问题展开了研究。首先，给出了变点法和局部异常因子算法（local outlier factor method，LOF）组合的数据异常值检验校正预处理方法；其次，提出了基于LASSO（least absolute shrinkage and selection operator，LASSO）算法的栈式稀疏自编码器（stack sparse auto-encoder，SSAE）数据降噪降维组合机器学习处理方法（SSAE-LASSO），对特征进行压缩降维提取，去除严重干扰数据回归分析的噪声信息，并过滤影响度低的冗余数据，从而实现数据的降噪降维处理。最后，将本文提出的方法应用于不同的算法进行检验，通过对两种预处理的数据对比发现，本文提出的方法有效提高了电力产品销售量智能预测的精度。

关键词: 电力装备企业, 多价值链协同, 数据挖掘预处理方法, 机器学习

Abstract:

In the digital transformation of power equipment manufacturing enterprises， it is necessary to mine and analyze the high-dimensional data of multi-value chain collaboration in the data space. The preprocessing of purchase， sales and inventory big data in power equipment manufacturing industry is studied. Firstly， the preprocessing method of data outlier checking and correction based on the combination of change point method and Local Outlier Factor method （LOF method） is given. Secondly， the data dimensionality reduction processing method of Stack Sparse Auto Encoder （SSAE） based on LASSO （Least Absolute Shrinkage and Selection Operator） deep learning algorithm is proposed （SSAE-LASSO）， which can compress and reduce the features， remove the noise information that seriously interferes with the data regression analysis， and filter the fault-tolerant redundant data with low influence， so as to realize the denoising and dimensionality reduction processing of the data. Finally， the method proposed in this paper is applied to different algorithms to test. By comparing the two preprocessed data， it is found that the method proposed in this paper can effectively improve the accuracy of the intelligent prediction of the sales volume of electric power products.

Key words: power equipment enterprises, multi value chain collaboration, data mining preprocessing method, deep learning

中图分类号:

F8332

牛东晓,斯琴卓娅,王董禹,许晓敏,张焕粉. 基于数据挖掘的电力装备企业多价值链协同数据预处理方法研究及应用[J]. 中国管理科学, 2023, 31(11): 321-331.

Dong-xiao NIU,Zhuo-ya SIQIN,Dong-yu WANG,Xiao-min XU,Huan-fen ZHANG. Method and Application of Multi-value Chain Collaborative Data Mining in Power Equipment Enterprises Based on Deep Learning[J]. Chinese Journal of Management Science, 2023, 31(11): 321-331.

图/表 15

图1

图2

图3

图4

表1

图5

图6

图7

表2

表3

图8

图9

表4

图10

图11

参考文献 22

1	李凌，崔强，陈曦，等. 面向电工装备智慧物联的边缘计算技术研究与应用［J］. 自动化与仪器仪表，2021（11）：45-51.
	Li Ling， Cui Qiang， Chen Xi， et al. Research and application of edge computing technology for electrical equipment intelligent IOT［J］. Automation & Instrumentation， 2021（11）：45-51.
2	Kara M E， Fırat S Ü O， Ghadge A. A data mining-based framework for supply chain risk management［J］. Computers & Industrial Engineering， 2020， 139（1）： 105-117.
3	Lu Jingfu， Xu Chen. Risk model of financial supply chain of Internet of Thingsenterprises： a research based on convolutional neural network［J］. Computer Communications， 2022， 183 （1）： 96-106.
4	Blackhurst J， Rungtusanatham M J， Scheibe K， et al. Supply chain vulnerability assessment： a network based visualization and clustering analysis approach［J］. Journal of Purchasing and Supply Management， 2018， 24（1）： 21-30.
5	Yin Xiaofeng， Fu Xiuju， Ponnambalam L， et al. A network connectivity embedded clustering approach for supply chain risk assessment［C］//Proceedings of the 18th Asia Pacific Symposium on Intelligent and Evolutionary Systems， Springer， Cham， 2015： 389-396.
6	张存禄，黄培清. 数据挖掘在供应链风险控制中的应用研究［J］. 科学学与科学技术管理，2004（1）：12-14.
	Zhang Cunlu， Huang Peiqing. Application of data mining in supply chain risk control［J］. Science of Science and Management of S.&T，2004（1）：12-14.
7	Gao Wenyou， Su Chang. Analysis on block chain financial transaction under artificial neural network of deep learning［J］. Journal of Computational and Applied Mathematics， 2020， 380 （12）： 1-13.
8	Huber J， Stuckenschmidt H. Daily retail demand forecasting using machine learning with emphasis on calendric special days［J］. International Journal of Forecasting， 2020， 36：1420-1438.
9	李琼，陈佳，徐斌.多产品相互制约条件下的制造业产品需求预测研究［J］.计算机应用与软件，2021，38（3）： 59-69.
	Li Qiong， Chen Jia， Xu Bin. Demand forecasting of manufacturing products under the condition of multi product mutual restriction［J］. Computer Applications and Software， 2021， 38（3）： 59-69.
10	方雪清，吴春胤，俞守华，等.基于 EEMD-LSTM 的农产品价格短期预测模型研究［J］. 中国管理科学，2021，29 （11）： 68-77.
	Fang Xueqing， Wu Chunyin， Yu Shouhua， et al. Research on short-team forecast model of agricultural product price based on EEMD-LSTM［J］. Chinese Journal of Management Science， 2021， 29（11）： 68-77.
11	Feng Bo， Chen Bo， Liu Hongwei. Radar HRRP target recognition with deep networks［J］. Pattern Recognition， 2017， 61（10）： 379-393.
12	Kang Miao， Ji Kefang， Leng Xiangguang， et al. Synthetic aperture radar target recognition with feature fusion based on a stacked autoencoder［J］. Sensors， 2017， 17（1）： 1-16.
13	张鹏，杨涛，刘亚楠，等.基于CNN-LSTM的QAR数据特征提取与预测［J］.计算机应用研究，2019，36 （10）： 2958-2961.
	Zhang Peng， Yang Tao， Liu Yanan， et al. Featureextractionanf prediction of QAR databased on CNN-LSTM. Application Research of Computers， 2019， 36（10）：2958-2961.
14	Weng Suchang， Li Wenbo， Zhang Yi， et al. Dual-stream CNN for structured time series classification［C］//ICASSP 2019-2019 IEEE international Conference on Acoustics， Speech and Signal Processing（ICASSP）， IEEE， 2019： 3187-3191.
15	王茜，田慕琴，宋建成. 基于经验小波变换的振动信号特征量提取［J］.振动与冲击，2021，40（16）： 261-266.
	Wang Qian， Tian Muqin， Song jiancheng.Feature extraction of vibration signals based on empirical wavelet transform［J］. Journal of Vibration and Shock， 2021，40（16）： 261-266.
16	刘胜昔，程春玲.改进的Gabor小波变换特征提取算法［J］.计算机应用研究，2020，37（2）：606-610.
	Liu Shengxi， Cheng Chunling. Feature extraction algorithm based on improved Cabor wavelet transform［J］. Application Research of Computers， 2020，37（2）：606-610.
17	徐洲常，王林军，刘晋玮，等.基于多层降噪处理的轴承故障特征提取方法［J］.机床与液压，2021，49（16）： 174-179.
	Xu Changzhou， Wang Linjun， Liu Jinwei， et al.. Bearing fault feature extraction method based on multi-layer noise reduction［J］. Machine Tool & Hydraulics， 2021， 49 （16）： 174-179.
18	石永芳，章翔峰，郑恒.预筛选PCA法在特征分类中的应用［J］.机床与压，2021，49（19）： 178-182.
	Shi Yongfan， Zhang Xiangfeng， Zheng Heng. Application of pre-screening PCA in feature classification［J］. Machine Tool & Hydraulics， 2021， 49（19）： 178-182.
19	符垚慧梅，徐强，陈学振.基于PCA特征提取和驱动电流的数控机床进给轴状态检测［J］. 制造技术与机床，2021（2）： 32-35.
	Fu Yaohuimei， Xu Qiang， Chen Xuezhen. The state detection of CNC machine tool’s feed axis based on PCA feature extraction and drive current［J］. Manufacturing Technology & Machine Tool， 2021（2）： 32-35.
20	张泽宇，任余，惠记庄，等.基于主成分分析理论的装载机多源数据特征提取［J］.现代制造工程，2021（9）： 40-46.
	Zhang Zeyu， Ren Yu， Hui Jizhuang， et al. Feature extraction of loaders multi-source data based on principal component analysis theory［J］. Modern Manufacturing Engineering， 2021（9）： 40-46.
21	陈强. 基于堆栈式自编码器的金融理财风险控制应用研究［J］. 信息系统工程，2020 （6）： 150-153.
	Chen Qiang. Application research on financial risk control based on stack self encoder［J］. China CIO News， 2020（6）： 150-153.
22	韩海辉，高婷，易欢，等. 基于变点分析法提取地势起伏度——以青藏高原为例［J］. 地理科学，2012，32 （1）： 101-104.
	Han Haihui， Gao Ting， Yi Huan， et al. Extraction of relief amplitude based on change point method： a case study on the Tibetan Plateau［J］. Geographical Science， 2012， 32（1）： 101-104.

后续建模选取的变量
变量名称	字段类型	文字描述
sale_qtty	int64	销售数量
sale_dsc	float64	折扣
befoe_prefr_unit_price	float64	优惠前单价
after_prefr_unit_price	float64	优惠后单价
produ_cost	float64	成本
ord_cycle	int64	循环周期
retu_qtty	int64	退货数量
retn_reasn	varchar	退货原因
retn_price	float64	退货价格
pottil_demd	int64	潜在客户需求
new_custmr	int64	新客户
weekdays	int64	工作日
weekend	int64	双休日
holiday	int64	节假日

算法名称	参数	参数值
SSAE	Hiddensize1（隐藏层1）	100
SSAE	Hiddensize1（隐藏层2）	50
PCA	K（降维后的特征数）	10
LASSO	CV（交叉验证函数）	8
SVM	径向基核参数	24
RF	决策树个数	300
LSTM	-	-

预测方法/评估标准	MAE	MAPE	CC
SVM	3.6183	0.41465	1.7261s
RF	2.9812	0.33565	1.6842s
LSTM	6.2739	0.5226	42.657s
SSAE-PCA-RF	1.2420	0.28191	5.569s
SSAE-PCA-LSTM	1.6875	0.39916	11.32s
SSAE-LASSO-RF	0.80075	0.14221	171.32s
SSAE-LASSO-LSTM	1.08213	0.28772	245.254s

预测方法/评估标准	MAE	MAPE	CC
SVM	1.3645	0.37263	1.7261s
RF	0.7318	0.26237	1.6842s
LSTM	1.1908	0.34961	42.657s
SSAE-PCA-RF	0.7889	0.18882	5.569s
SSAE-PCA-LSTM	1.1908	0.34961	11.32s
SSAE-LASSO-RF	0.63271	0.12189	171.32s
SSAE-LASSO-LSTM	0.8994	0.2686	245.254s

[1]	梁墨, 李鸿翔, 张顺明. 基于ST预测的财务困境测度与股票横截面收益[J]. 中国管理科学, 2023, 31(2): 138-149.
[2]	刘德文, 高维和, 闵凉宇. 可读性和吸引性对商品销量的影响——基于电影简介的文本分析[J]. 中国管理科学, 2022, 30(6): 167-177.
[3]	梁超, 魏宇, 马锋, 李霞飞. 我国黄金期货价格波动率预测研究：来自模型缩减方法的新证据[J]. 中国管理科学, 2022, 30(4): 30-41.
[4]	李建斌, 雷鸣颢, 戴宾, 蔡学媛. 考虑促销因素的医药电商平台需求预测研究[J]. 中国管理科学, 2022, 30(12): 120-130.
[5]	袁先智, 赵旻, 刘海洋, 周云鹏, 严诚幸, 石宝峰, 柴娜娜, 林健武, 何诚颖, 马胜, 张千友, 丁晓蔚. 乡村农户贫困状态特征因子筛选与分析框架：兼论我国乡村振兴路径选择[J]. 中国管理科学, 2022, 30(12): 234-244.
[6]	陈凯杰, 唐振鹏, 吴俊传, 张婷婷, 杜晓旭. 贵金属期货价格预测方法及实证研究[J]. 中国管理科学, 2022, 30(12): 245-253.
[7]	董路安, 叶鑫. 基于改进教学式方法的可解释信用风险评价模型构建[J]. 中国管理科学, 2020, 28(9): 45-53.