基于LSTM网络和文本情感分析的股票指数预测

doi:10.16381/j.cnki.issn1003-207x.2021.0084

摘要/Abstract

摘要：

投资决策受投资者行为偏好的影响，因此合理地捕捉投资者情绪有助于预测股票市场未来变化趋势。结合机器学习算法，分析金融市场投资者情绪，利用SVM情感分类算法，对股吧个股评论中的文本数据进行分析，从而构建出反映投资者情绪的市场情绪指标。进一步使用LSTM深度学习网络，提取市场情绪指标特征，对上证50指数进行短期预测，并对比多种传统时间序列分析模型和机器学习模型。研究结果表明，LSTM神经网络在金融时间序列预测上具有更高的准确率和精确度；加入市场情绪特征后，能进一步提升LSTM模型预测结果的准确率和精确度，说明了投资者市场情绪对于市场指数预测的有效性和适用性；此外，对LSTM模型预测结果进行误差修正，能够有效优化LSTM模型的预测结果。

关键词: LSTM神经网络, SVM分类器, 金融文本, 市场情绪指标, 股票指数预测

Abstract:

Investment decision-making can be a complex process， influenced by various factors， including investor behavior preferences. Therefore， it's important to understand and capture investor sentiment for predicting future changes in the stock market trend. In this regard， machine learning algorithms can be helpful in analyzing investor sentiment in the financial market. It aims to construct a predictive model for stock indices using an LSTM network and text sentiment analysis in this paper.To begin with， a web crawler program is used to collect text comments on individual stocks in the East Money Stock Bar. The text data are analyzed using the SVM sentiment classification algorithm to construct a market sentiment index that reflects investor sentiment. Additionally， the LSTM deep learning network is used to extract the features of the market sentiment index and make short-term predictions on the SSE 50 index.Various traditional time series analysis models and machine learning models are compared. The results show that the LSTM neural network has higher accuracy and precision in financial time series prediction. After incorporating market sentiment features， the accuracy and precision of the LSTM network prediction results can be improved. This indicates that investor market sentiment is highly effective and applicable for market index prediction. It is also found that error correction of the LSTM network prediction results can effectively optimize the prediction results.Overall， a new method is provided for understanding investor sentiment and predicting future changes in the stock market trend. It is hoped that our research results can provide useful reference and guidance for financial investors and analysts.

Key words: LSTM neural network, SVM classifier, financial text, market sentiment index, stock index prediction

中图分类号:

F830.91

于孝建,刘国鹏,刘建林, 等. 基于LSTM网络和文本情感分析的股票指数预测[J]. 中国管理科学, 2024, 32(8): 25-35.

Xiaojian Yu,Guopeng Liu,Jianlin Liu, et al. Stock Index Prediction Based on LSTM Network and Text Sentiment Analysis[J]. Chinese Journal of Management Science, 2024, 32(8): 25-35.

图/表 16

图1

图2

图3

图4

图5

表1

表2

图6

图7

表3

表4

表5

表6

表7

表8

表9

参考文献 19

1	张贵生，张信东.基于近邻互信息的SVM-GARCH股票价格预测模型研究［J］. 中国管理科学， 2016， 24（9）：11-20.
	Zhang G S， Zhang X D. A SVM-GARCH model for stock price forecasting based on neighborhood mutual information［J］. Chinese Journal of Management Science， 2016， 24（9）：11-20.
2	王燕，郭元凯.改进的XGBoost模型在股票预测中的应用［J］. 计算机工程与应用， 2019，55 （20）： 202-207.
	Wang Y， Guo Y K. Application of improved XGBoost model in stock forecasting［J］. Computer Engineering and Applications， 2019， 55（20）：202-207.
3	乔若羽.基于神经网络的股票预测模型［J］.运筹与管理，2019，28（10）：132-140.
	Qiao R Y. Stock prediction model based on neural network［J］. Operations Research and Management Science， 2019， 28（10）：132-140.
4	Baek Y， Kim H Y. ModAugNet： A new forecasting framework for stock market index value with an overfitting prevention LSTM module and a prediction LSTM module［J］. Expert Systems with Applications， 2018， 113（15）： 457-480.
5	欧阳红兵，黄亢，闫洪举. 基于LSTM神经网络的金融时间序列预测［J］.中国管理科学，2020，28（4）：27-35.
	Ouyang H B， Huang K， Yan H J. Prediction of financial time series based on LSTM neural network［J］. Chinese Journal of Management Science， 2020， 28（4）：27-35.
6	Lin Y， Yan Y， Xu J， et al. Forecasting stock index price using the CEEMDAN-LSTM model［J］. The North American Journal of Economics and Finance， 2021， 57： 101421.
7	方雪清，吴春胤，俞守华，等.基于EEMD-LSTM的农产品价格短期预测模型研究［J］.中国管理科学，2021，29（11）：68-77.
	Fang X Q， Wu C Y， Yu S H， et al.Research on short-term forecast model of agricultural product price based on EEMD-LSTM［J］.Chinese Journal of Management Science， 2021，29（11）：68-77.
8	Frank M Z， Sanati A. How does the stock market absorb shocks？［J］. Journal of Financial Economics， 2018， 129（1）：136-153.
9	Chen H， De P， Hu Y J， et al. H Wisdom of crowds： The value of stock opinions transmitted through social media［J］. Review of Financial Studies， 2014， 27（5）：1367-1403.
10	Bollen J， Mao H， Zeng X. Twitter mood predicts the stock market［J］. Journal of Computational Science， 2011， 2（1）：1-8.
11	孙书娜，孙谦.投资者关注和股市表现——基于雪球关注度的研究［J］. 管理科学学报， 2018， 21（6）：60-71.
	Sun S N， Sun Q. Investor attention and market performance： Evidence based on “Xueqiu attention”［J］. Journal of Management Sciences in China， 2018， 21（6）：60-71.
12	石善冲，朱颖楠，赵志刚，等.基于微信文本挖掘的投资者情绪与股票市场表现［J］.系统工程理论与实践，2018，38（6）：1404-1412.
	Shi S C， Zhu Y N， Zhao Z G， et al. The investor sentiment mined from WeChat text and stock market performance［J］. Systems Engineering-Theory & Practice， 2018， 38（6）：1404-1412.
13	姜富伟，孟令超，唐国豪.媒体文本情绪与股票回报预测［J］.经济学（季刊），2021，21（4）：1323-1344.
	Jiang F W， Meng L C， Tang G H. Media textual sentiment and Chinese stock return predictability［J］. China Economic Quarterly， 2021， 21（4）：1323-1344.
14	Loughran T， McDonald B. When is a liability not a liability？ Textual analysis， dictionaries， and 10-Ks［J］. The Journal of finance， 2011， 66（1）： 35-65.
15	尹海员，寇文娟.基于朴素贝叶斯法的投资者情绪度量及其对股票特质风险的影响［J］.中国管理科学， 2024， 32（4）： 38-47.
	Yi H Y， Kou W J. Investor sentiment based on naive bayes method and its impact on stock idiosyncratic Risk［J］. Chinese Journal of Management Science， 2024， 32（4）： 38-47.
16	Kumbure M M， Lohrmann C， Luukka P， et al. Machine learning techniques and data for stock market forecasting： A literature review［J］. Expert Systems with Applications， 2022，197： 116659.
17	杨青，王晨蔚.基于深度学习LSTM神经网络的全球股票指数预测研究［J］.统计研究， 2019， 36（3）：65-77.
	Yang Q， Wang C W. A study on forecast of global stock indices based on deep LSTM neural network［J］. Statistical Research， 2019， 36（3）：65-77.
18	Diebold F， Mariano R. Comparing predictive accuracy ［J］. Journal of Business and Economic Statistics 1995， 13（3）：253-263.
19	Niu H， Xu K， Wang W. A hybrid stock price index forecasting model based on variational mode decomposition and LSTM network［J］. Applied Intelligence， 2020， 50： 4296-4309.

股票代码	发布时间	评论内容
600519	2022-06-06	震荡中下探可能性不大了，现在入场酒ETF512690性价比不错，估值都很有吸引力了
600031	2021-11-04	中国兴起挖山填沟造新城，在建新城面积庞大，完全不占用耕地，这是山区城建的典范。三一新能源建机助力推山造城
601318	2019-04-12	2018年度，燕塘乳业公司最坏、最差、最艰难的业绩和岁月已经过去，将一去不复返。炒股炒未来，2019年度，燕塘乳业将大腾飞、财源广进、势不可挡
601899	2016-07-07	中报业绩预测最高0.06到0.1元/股？黄金增产20%左右，金价上涨10%左右；锌增产40%左右，锌价下跌10%左右，锌产生的增利基本可以对冲铜价下跌的损失。中报业绩预测基本与去年相当，应该有所增加
600010	2017-05-23	一斤苹果6块，一股包钢股份还不足3块！转增后才两块多！慧眼者应该投点！别犹豫了

	SVM-SGD	一般SVM	Logistic	贝叶斯	KNN	决策树	随机森林	AdaBoost
Accuracy	88.235%	88.159%	88.083%	87.964%	82.092%	79.510%	84.751%	77.166%
Precision	88.239%	88.054%	87.902%	88.214%	80.825%	81.337%	86.943%	79.713%
Recall	88.172%	88.248%	88.294%	87.602%	84.090%	76.516%	81.759%	79.865%
F1_Sccore	88.203%	88.148%	88.090%	87.904%	82.420%	78.848%	84.265%	76.520%

特征	具体所特征向量
收益率特征	收益率
基本特征	开盘价、收盘价、最高价、最低价、成交量、前一期收益率
技术特征	移动平均指标、乖离率指标、相对强弱指标、随机指标、变动率指标、动量指标、布林带指标
混合特征	包含基本特征与技术特征

模型	涨跌预测准确率	皮尔森相关系数	RMSE	MAE	Theil
收益率特征LSTM	0.484	-0.0215	0.0211	0.0165	1.65E-07
加入基本特征LSTM	0.554	0.1071	0.0208	0.0162	8.42E-06
加入技术特征LSTM	0.514	0.1100	0.0210	0.0164	2.35E-05
加入混合特征LSTM	0.526	0.1348	0.0208	0.0162	1.97E-05
线性回归	0.484	-0.0658	0.0211	0.0165	5.47E-07
Huber回归	0.484	0.0658	0.0211	0.0165	5.26E-10
SVM回归	0.450	-0.0565	0.0213	0.0167	8.93E-05
随机森林回归	0.506	0.0189	0.0282	0.0218	5.35E-03
XGBoost回归	0.510	0.0239	0.0245	0.0188	2.63E-03
LightGBM回归	0.490	-0.0386	0.0225	0.0179	7.82E-04
Logistic回归	0.484	—	—	—	—
SVM分类器	0.484	—	—	—	—
决策树分类器	0.498	—	—	—	—
随机森林分类器	0.508	—	—	—	—
XGBoost分类器	0.514	—	—	—	—

模型一模型二	加入混合特征LSTM	加入技术特征LSTM	加入基本特征LSTM	XGBoost回归模型	SVM回归模型	随机森林回归模型	线性回归模型	LightGBM回归模型	Huber回归模型
收益率特征LSTM	2.6986(0.9965)	1.8429(0.9673)	2.3730(0.9912)	-3.3873(0.0004)^***	-1.8999(0.0287)^**	-6.3101(0.0000)^***	2.2757(0.9886)	-4.3255(0.0000)^***	2.7277(0.9968)
加入混合特征LSTM	—	-1.7251(0.0423)^**	-0.5420(0.2939)	-3.6702(0.0001)^***	-3.6888(0.0001)^***	-6.6030(0.0000)^***	-2.6535(0.0040)^**	-5.2861(0.0000)^***	-2.6239(0.0043)^**
加入技术特征LSTM	—	—	1.0927(0.8627)	-3.5220(0.0002)^***	-2.8833(0.0020)^**	-6.4358(0.0000)^***	-1.2573(0.1043)	-4.7491(0.0000)^***	-1.2374(0.1080)
加入基本特征LSTM	—	—		-3.6534(0.0001)^***	-3.5010(0.0002)^***	-6.6063(0.0000)^***	-2.3205(0.0102)^**	-5.1009(0.0000)^***	-2.2692(0.0116)^**
XGBoost回归	—	—	—	—	3.1911(0.9993)	-5.9527(0.0000)^***	3.4345(0.9997)	2.1551(0.9844)	3.4382(0.9997)
SVM回归	—	—	—	—	—	-6.1227(0.0000)^***	2.6597(0.9961)	-3.7022(0.0001)^***	2.5736(0.9950)
随机森林回归	—	—	—	—	—	—	6.3572(1.0000)	5.6786(1.0000)	6.3628(1.0000)
线性回归	—	—	—	—	—	—	—	-4.5052(0.0000)^***	0.2852(0.6123)
LightGBM回归	—	—	—	—	—	—	—	—	4.5355(1.0000)