考虑文本结构特征的产品召回监督主题模型及应用研究

doi:10.16381/j.cnki.issn1003-207x.2023.1637

摘要/Abstract

摘要：

产品召回是社会重大的公共安全问题，如何能及时地制定正确的召回决策一直是政府和企业工作的目标。海量的在线缺陷信息投诉文本已成为产品召回的重要线索，为解决该问题提供了契机。考虑到缺陷投诉具有短文本并带有辅助信息的特点，本文构建了一个全新的考虑缺陷投诉辅助信息及针对短文本的四层段落监督主题模型（MsSTM），该模型能在大规模的在线缺陷投诉中结合辅助信息提取出潜在的缺陷主题，并据此估计召回发生的概率。利用国内投诉量前20的汽车制造商的166096条缺陷投诉数据和对应的319次召回数据分析发现：MsSTM能从缺陷投诉中提取出有关核心部件、车身附件和售后服务的关键主题，且主题强度与投诉数量、制造商特征等有关联；MsSTM能为不同品牌的制造商识别其缺陷突出程度，其中国内合资品牌的问题主要集中于车内异味、导航系统和悬挂系统，而自主品牌售后服务问题最为突出。最后，MsSTM对于汽车召回的预测稳定性明显优于众多对比模型，ROC-AUC值达到了82.74%，相比于对比模型中最优的ROC-AUC值提升了10.42%。该研究为制造商和政府部门召回管理提供决策依据。

关键词: 产品召回, 在线缺陷投诉, 辅助信息, 段落监督主题模型

Abstract:

Product recalls are a growing concern for public safety， leading governments and businesses to prioritize timely and accurate recall decisions. While recalling defective vehicles is crucial for consumer safety and property rights， it can also have significant financial and reputational consequences for automobile manufacturers. To mitigate these risks， companies are shifting focus towards proactive defect detection and prevention measures. The rise of online defect complaints， facilitated by advances in internet and social media， presents an opportunity to address this issue. However， existing research on product recalls has primarily focused on their causes and consequences， neglecting recall prediction. Similarly， research on defect complaints has centered on categorization， factors influencing complaints， and organizational strategies， often overlooking important auxiliary information within complaint narratives. Thus， there is a need to explore effective approaches for utilizing online defect complaint data to predict automobile recalls.

A novel four-layer metadata-based supervised segmented topic model （abbreviated MsSTM） is proposed， which integrates auxiliary information from defect complaints and addresses the challenges associated with analyzing short texts. This model facilitates the extraction of latent defect topics and estimation of recall probabilities using a large-scale dataset comprising online defect complaints. Experimental findings demonstrate that MsSTM successfully extracts topics about core components， body accessories and after-sales service from defect complaints. Furthermore， the intensity of these topics exhibits correlations with complaint quantity and manufacturer characteristics. The domestic automakers should pay more attention to the after-sales service， while the joint ventures should care more about the odor， navigation and suspension system. Finally， the predictive stability of MsSTM for automobile recalls surpasses that of various comparative models， achieving an impressive ROC-AUC value of 82.74%， reflecting a notable 10.42% enhancement compared to the best ROC-AUC value among the comparative models. The findings carry important implications for relevant automobile manufacturers and government agencies in devising recall strategies， promoting timely enhancements in automotive safety， mitigating the occurrence of traffic accidents， and safeguarding consumer safety and property rights.

Key words: recall prediction, online defect complaints, auxiliary information, supervised segmented topic model

中图分类号:

TP391.1

施文,渠玉杰,王小双. 考虑文本结构特征的产品召回监督主题模型及应用研究[J]. 中国管理科学, 2026, 34(2): 103-119.

Wen Shi,Yujie Qu,Xiaoshuang Wang. Supervised Topic Modeling and Application Research on Product Recall Considering Textual Structural Features[J]. Chinese Journal of Management Science, 2026, 34(2): 103-119.

图/表 13

图1

图2

表1

表2

表3

表4

本研究选取的辅助信息描述"

辅助信息类型	辅助信息	描述	变量类型	取值范围
投诉页面	网友评论	网友是否对投诉进行评论	指示变量	$0,1$
投诉页面	图片数量	投诉内容中包含的图片数量	离散变量	$Z +$
汽车制造商	汽车制造商（见表2）	投诉的制造商指示变量，共20个字段	指示变量	$0,1$
MMY相关性质	投诉数量	文档中的投诉数量	离散变量	$Z +$
	平均投诉间隔时间	文档中相邻两条投诉的平均间隔时间	连续变量	$R +$
	历史召回次数	任一MMY发生过召回的次数	离散变量	$Z +$

表4

图3

图4

表5

消费者缺陷投诉主题"

类型	主题	主题标签	关键缺陷词	均值 $μ ¯$
核心部件	Topic 1	燃油和发动机	燃油、发动机、泄漏、燃料、气体、烧伤、汽缸、泵、密封、水箱、量油尺、乳化、防冻液、电机、冷却	0.097
	Topic 3	变速器和离合器	齿轮、变速器、离合器、发动机、油门、抖动、怠速、踏板、共振、堵塞、顿挫、脱挡、换挡、声响、变速	0.107
	Topic 4	异常噪音	噪音、异响、声音、制动、大声、车轮、转向、发动机、减震器、金属、离合器、安全带、刺耳、轴承、摩擦	0.120
	Topic 5	故障灯	故障、灯、转向、变速器、发动机、制动、修理、电池、电脑、制动、点火、警报、传感器、停车、代码	0.123
	Topic 6	前后桥及悬挂系统	悬架、梁、制动、断裂、碰撞、寿命、钢、性能、臂、钥匙、型号、事故、保险杠、设计、安装	0.081
	Topic 10	轮胎和中控台	胎、车轮、开裂、起皮、脱落、胶、变形、部件、老化、中控台、面板、仪表盘、磨损、气囊、压强	0.082
车身附件及电器	Topic 7	异味和导航系统	气味、臭味、导航、控制、屏幕、中央、味道、头晕、空气、材料、健康、系统、地图、橡胶、升级、	0.071
	Topic 8	车身附件	门、水、锈、漆、玻璃、管道、排气、座椅、后备箱、大灯、气囊、挡风玻璃、天窗、锁、雨刮器	0.098
	Topic 9	空调系统	空调、压缩机、温度、凉、度、转向、排气口、冷藏、风、排水量、功率、过滤、冷却、循环、扇	0.066
服务	Topic 2	售后服务	销售、服务、修理、问、职员、等待、联系、消费者、态度、保修、测试、保险、经理、回答、部门	0.154

表5

表6

图5

表7

表8

参考文献 68

[1]	孙莹，杜建刚，李文忠，等. 产品召回中的负面情绪和感知风险对消费者购买意愿的影响——基于汽车产品召回的实证研究［J］. 管理评论， 2014， 26（2）： 104-110.
	Sun Y， Du J G， Li W Z， et al. Influence of the negative emotions and perceived risk of product recall on cosumer’s purchase intention—Empirical research based on automobile products recall［J］. Management Review， 2014， 26（2）： 104-110.
[2]	Shah R， Ball G P， Netessine S. Plant operations and product recalls in the automotive industry： An empirical investigation［J］. Management Science， 2017， 63（8）： 2439-2459.
[3]	市场监管总局. 市场监管总局关于2022年全国汽车和消费品召回情况的通告［EB/OL］. （2023-03-02）［2023-03-10］. .
[4]	Kalaignanam K， Kushwaha T， Eilert M. The impact of product recalls on future product reliability and future accidents： Evidence from the automobile industry［J］. Journal of Marketing， 2013， 77（2）： 41-57.
[5]	Gao H， Xie J， Wang Q， et al. Should ad spending increase or decrease before a recall announcement？ the marketing–finance interface in product-harm crisis management［J］. Journal of Marketing， 2015， 79（5）： 80-99.
[6]	Fong T H Y， Sarkani S， Fossaceca J. Auto defect detection using customer reviews for product recall insurance analysis［J］. Frontiers in Applied Mathematics and Statistics， 2021， 7： 632847.
[7]	Aragon A， Huber U， Möller T， et al. Return to sender： Resolving the automotive-recall resurgence［EB/OL］. （2019-02-13）［2023-03-15］. .
[8]	Ball G， Siemsen E， Shah R. Do plant inspections predict future quality？ the role of investigator experience［J］. Manufacturing & Service Operations Management， 2017， 19（4）： 534-550.
[9]	Deloitte. Big data and analytics in the automotive industry［EB/OL］. （2023-01-06）［2023-03-05］. .
[10]	Shah R， Ball G P， Netessine S. Plant operations and product recalls in the automotive industry： An empirical investigation［J］. Management Science， 2016， 63（8）： 2439-2459.
[11]	Wowak K D， Ball G P， Post C. The influence of female directors on product recall decisions［J］. Manufacturing & Service Operations Management， 2021， 23（4）： 895-913.
[12]	Blogs P. Can cognitive predictive analytics prevent automobile recalls？［EB/OL］. （2017-06-08）［2023-03-05］. .
[13]	Fong T H Y， Sarkani S， Fossaceca J. Auto defect detection using customer reviews for product recall insurance analysis［J］. Frontiers in Applied Mathematics and Statistics， 2021， 7： 632847.
[14]	Zhang X， Niu S， Zhang D， et al. Predicting vehicle recalls with user-generated contents： A text mining approach［C］//Proceedings of Intelligence and Security Informatics， Ho Chi Minh City， Vietnam， May 19， Springer， 2015： 41-50.
[15]	Lentz S. How to meet the challenge of auto recalls［EB/OL］. （2020-09-10）［2023-03-05］ .
[16]	王光辉，刘怡君，迟钰雪. 舆论危机的异化极化效应研究［J］. 管理科学学报， 2017， 20（3）： 149-161.
	Wang G H， Liu Y J， Chi Y X. Alienation mechanism and polarization effect of public opinion crisis［J］. Journal of Management Sciences in China， 2017， 20（3）： 149-161.
[17]	国家市场监督管理总局缺陷产品管理中心. 市场监管总局2018年上半年缺陷产品召回工作情况［J］. 中国质量与标准导报， 2018 （8）： 10-11.
	SAMR Defective Product Administrative Center. State administration for market regulation’s recall of defective products in the first half of 2018［J］. China Quality and Standards Review， 2018（8）： 10-11.
[18]	Colak A.， Bray R. Why do automakers initiate recalls？ A structural econometric game［R］. Working Paper， Clemson University， 2016.
[19]	Zheng L， He Z， He S. A novel probabilistic graphic model to detect product defects from social media data［J］. Decision Support Systems， 2020， 137： 113369.
[20]	Feng J， Li X， Zhang X. Online product reviews-triggered dynamic pricing： Theory and evidence［J］. Information Systems Research， 2019， 30（4）： 1107-1123.
[21]	Chen J， Yang Y， Liu H. Mining bilateral reviews for online transaction prediction： A relational topic modeling approach［J］. Information Systems Research， 2021， 32（2）： 541-560.
[22]	Liu J， Toubia O. A semantic approach for estimating consumer content preferences from online search queries［J］. Marketing Science， 2018， 37（6）： 930-952.
[23]	Liu J， Toubia O， Hill S. Content-based model of web search behavior： An application to TV show search［J］. Management Science， 2021， 67（10）： 6378-6398.
[24]	Mimno D M， McCallum A. Topic models conditioned on arbitrary features with Dirichlet-multinomial regression［C］//Proceedings of the Twenty-Fourth Conference on Uncertainty in Artificial Intelligence， Helsinki， Finland， July 9 - 12， ACM，2008： 411-418.
[25]	Law D， Gruss R， Abrahams A S. Automated defect discovery for dishwasher appliances from online consumer reviews［J］. Expert Systems with Applications， 2017， 67： 84-94.
[26]	Abrahams A S， Fan W， Wang G A， et al. An integrated text analytic framework for product defect discovery［J］. Production and Operations Management， 2015， 24（6）： 975-990.
[27]	蒋翠清，王齐林，刘士喜，等. 中文社会媒体环境下半监督学习的汽车缺陷识别方法［J］. 中国管理科学， 2014， 22（S1）： 677-685.
	Jiang C Q， Wang Q L， Liu S X， et al. Semi-supervised learning for automobile defect identification in the context of Chinese social media［J］. Chinese Journal of Management Science， 2014， 22（S1）： 677-685.
[28]	王余行，党延忠，徐照光. 针对论坛数据特点的汽车质量问题挖掘［J］. 中国管理科学， 2021， 29（9）： 201-212.
	Wang Y H， Dang Y Z， Xu Z G. Mining automobile quality problems based on the characteristics of forum data［J］. Chinese Journal of Management Science， 2021， 29（9）： 201-212.
[29]	Sun B， Mao H， Yin C. How to identify product defects and segment consumer groups on an online auto forum［J］. International Journal of Consumer Studies， 2022， 46（6）： 2270-2287.
[30]	McGraw A P， Warren C， Kan C. Humorous complaining［J］. Journal of Consumer Research， 2015， 41（5）： 1153-1171.
[31]	Yilmaz C， Varnali K， Kasnakoglu B T. How do firms benefit from customer complaints？［J］. Journal of Business Research， 2016， 69（2）： 944-955.
[32]	Zhao X， Li Y， Flynn B B. The financial impact of product recall announcements in China［J］. International Journal of Production Economics， 2013， 142（1）： 115-123.
[33]	Ball G P， Shah R， Donohue K. The decision to recall： A behavioral investigation in the medical device industry［J］. Journal of Operations Management， 2018， 62： 1-15.
[34]	Gao Y， Duan W， Rui H. Does social media accelerate product recalls？evidence from the pharmaceutical industry［J］. Information Systems Research， 2022， 33（3）： 954-977.
[35]	Mao W， Dong Z， Lee H H. Before it’s too late：： Product recall delays and policy design［J］. Manufacturing & Service Operations Management， 2022， 24（4）： 1926-1938.
[36]	Liu Y， Shankar V， Yun W. Crisis management strategies and the long-term effects of product recalls on firm value［J］. Journal of Marketing， 2017， 81（5）： 30-48.
[37]	Lian L， Hu C， Zeng L. Modeling a probability prediction of automobile recall［C］//Proceedings of the 35th Chinese Control Conference （CCC）， Chengdu， China， July 27-29， IEEE，2016： 3804-3808.
[38]	曹丽娜，唐锡晋. 基于主题模型的BBS话题演化趋势分析［J］. 管理科学学报， 2014， 17（11）： 109-121.
	Cao L N， Tang X J. Trends of BBS topics based on dynamic topic model［J］. Journal of Management Sciences in China， 2014， 17（11）： 109-121.
[39]	Blei D. M.， Ng A. Y.， Jordan M. I. Latent Dirichlet allocation［J］. Journal of Machine Learning Research， 2003， 3（4-5）： 993-1022.
[40]	韩亚楠，刘建伟，罗雄麟. 概率主题模型综述［J］. 计算机学报， 2021， 44（6）： 1095-1139.
	Han Y N， Liu J W， Luo X L. A survey on probabilistic topic model［J］. Chinese Journal of Computers， 2021， 44（6）： 1095-1139.
[41]	Blei D M， Lafferty J D. Dynamic topic models［C］//Proceedings of the 23rd International Conference on Machine Learning， Pittsburgh， Pennsylvania， June 25-29， ACM，2006： 113-120.
[42]	Wang X， McCallum A. Topics over time： A non-markov continuous-time model of topical trends［C］//Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining， Philadelphia PA， USA， August 20-23，ACM， 2006： 424-433.
[43]	Du L， Buntine W， Jin H. A segmented topic model based on the two-parameter Poisson-Dirichlet process［J］. Machine Learning， 2010， 81（1）： 5-19.
[44]	Du L， Buntine W， Jin H， et al. Sequential latent dirichletallocation［J］. Knowledge and Information Systems， 2012， 31（3）： 475-503.
[45]	Du L， Buntine W， Jin H. Modelling sequential text with an adaptive topic model［C］//Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning， Jeju Island， Korea， July 12-14 ，ACL， 2012： 535-545.
[46]	Lin C， He Y. Joint sentiment/topic model for sentiment analysis［C］//Proceedings of the 18th ACM Conference on Information and Knowledge Management， Hong Kong， China， November 2-6， ACM， 2009： 375-384.
[47]	Mei Q， Ling X， Wondra M， et al. Topic sentiment mixture： Modeling facets and opinions in weblogs［C］//Proceedings of the 16th International Conference on World Wide Web， Alberta， Canada， May 8-12，ACM， 2007： 171-180.
[48]	冯坤，杨强，常馨怡，等. 基于在线评论和随机占优准则的生鲜电商顾客满意度测评［J］. 中国管理科学， 2021， 29（2）： 205-216.
	Feng K， Yang Q， Chang X Y， et al. Customer satisfaction evaluation method for fresh E-commerce based on online reviewsand stochastic dominance rules［J］. Chinese Journal of Management Science， 2021， 29（2）： 205-216.
[49]	俞红海，范思妤，吴良钰，等. 科创板注册制下的审核问询与IPO信息披露——基于LDA主题模型的文本分析［J］. 管理科学学报， 2022， 25（8）： 45-62.
	Yu H H， Fan S Y， Wu L Y， et al. Registration system review inquiry and IPO information disclosure on STAR market： Textual analysis based on LDA topic model［J］. Journal of Management Sciences in China， 2022， 25（8）： 45-62.
[50]	何佳讯，葛佳烨，张凡. 中国学者管理学研究的世界贡献：国际合作、前沿热点与贡献路径——基于世界千种管理学英文期刊论文（2013—2019年）的定量分析［J］. 管理世界， 2021， 37（9）： 36-67.
	He J X， Ge J Y， Zhang F. The world contribution of Chinese scholars to management research from the perspective of international collaborations， frontier hotspots and contribution approaches： A quantitative analysis based on a thousand of international English management journals［J］. Journal of Management World， 2021， 37（9）： 36-67.
[51]	Bao Y， Datta A. Simultaneously discovering and quantifying risk types from textual risk disclosures［J］. Management Science， 2014， 60（6）： 1371-1391.
[52]	Pu J， Chen Y， Qiu L， et al. Does identity disclosure help or hurt user content generation？ social presence， inhibition， and displacement effects［J］. Information Systems Research， 2020， 31（2）： 297-322.
[53]	Guo Y， Barnes S J， Jia Q. Mining meaning from online ratings and reviews： Tourist satisfaction analysis using latent dirichlet allocation［J］. Tourism Management， 2017， 59： 467-483.
[54]	Tirunillai S， Tellis G J. Mining marketing meaning from online chatter： Strategic brand analysis of big data using latent dirichlet allocation［J］. Journal of Marketing Research， 2014， 51（4）： 463-479.
[55]	Zhong N， Schweidel D A. Capturing changes in social media content： A multiple latent changepoint topic model［J］. Marketing Science， 2020， 39（4）： 827-846.
[56]	Puranam D， Narayan V， Kadiyali V. The effect of calorie posting regulation on consumer opinion： A flexible latent dirichlet allocation model with informative priors［J］. Marketing Science， 2017， 36（5）： 726-746.
[57]	Ansari A， Li Y， Zhang J Z. Probabilistic topic model for hybrid recommender systems： A stochastic variational Bayesian approach［J］. Marketing Science， 2018， 37（6）： 987-1008.
[58]	Jacobs B J D， Donkers B， Fok D. Model-based purchase predictions for large assortments［J］. Marketing Science， 2016， 35（3）： 389-404.
[59]	Büschken J， Allenby G M. Sentence-based text analysis for customer reviews［J］. Marketing Science， 2016， 35（6）： 953-975.
[60]	Huang A H， Lehavy R， Zang A Y， et al. Analyst information discovery and interpretation roles： A topic modeling approach［J］. Management Science， 2018， 64（6）： 2833-2855.
[61]	Büschken J， Allenby G M. Improving text analysis using sentence conjunctions and punctuation［J］. Marketing Science， 2020， 39（4）： 727-742.
[62]	Mankad S， Han H”， Goh J， et al. Understanding online hotel reviews through automated text analysis［J］. Service Science， 2016， 8（2）： 124-138.
[63]	Kim E， Ding M A， Wang X S， et al. Does topic consistency matter？ A study of critic and user reviews in the movie industry［J］. Journal of Marketing， 2023， 87（3）： 428-450.
[64]	Jacobi C， van Atteveldt W， Welbers K. Quantitative analysis of large amounts of journalistic texts using topic modelling［J］. Digital Journalism， 2016， 4（1）： 89-106.
[65]	张文，王强，杜宇航，等. 在线商品评论有用性主题分析及预测研究［J］. 系统工程理论与实践， 2022， 42（10）： 2757-2768.
	Zhang W， Wang Q， Du Y H， et al. Online product reviews helpfulness prediction based on topic analysis［J］. Systems Engineering-Theory & Practice， 2022， 42（10）： 2757-2768.
[66]	Abrahams A S， Jiao J， Wang G A， et al. Vehicle defect discovery from social media［J］. Decision Support Systems， 2012， 54（1）： 87-97.
[67]	Wang L， Gopal R， Shankar R， et al. On the brink： Predicting business failure with mobile location-based checkins［J］. Decision Support Systems， 2015， 76： 3-13.
[68]	Naumzik C， Feuerriegel S， Weinmann M. I will survive： Predicting business failures from customer ratings［J］. Marketing Science， 2021， 41（1）： 188-207.

投诉信息		召回信息
投诉时间	2020-07-08 21:08	召回公告时间	2020-11-27
投诉品牌	上汽通用别克	汽车制造商	上汽通用别克
投诉车系	昂科威	召回车型	昂科威
投诉车型	2017款 20T 双离合两驱领先型	型号及年款	20T 前驱领先型（2015-2018）
投诉内容	18年11月份买的车才开19000公里，制动系统软管破裂导致制动失灵差点出事，还好是行驶在县道上，要是在高速上可想而知，希望有关部门跟进，这是拿别人的生命在开玩笑。	缺陷情况	由于制动软管接头部位的密封性与整车制动压力不匹配，长期使用后，可能导致密封性能下降。极端情况下可能造成制动液渗漏，制动压力减少，影响车辆制动性能。
投诉来源	https://www.12365auto.com/zlts/20200708/493385.shtml	召回公告来源	https://www.qiche365.org.cn/index/recall/bulletin/id/2303.html

序号	汽车制造商	企业性质	投诉数量	涉及的MMY数量	投诉间隔时间（天）	图片数量
1	上汽通用别克	合资	17465	72	0.031	15014
2	上汽通用雪佛兰	合资	13884	60	0.035	11222
3	一汽-大众	合资	13798	72	0.046	6821
4	长安福特	合资	13457	56	0.053	9114
5	东风标致	合资	11796	52	0.058	5609
6	东风日产	合资	9915	74	0.106	5368
7	上汽大众	合资	9408	76	0.073	5023
8	北京现代	合资	7112	66	0.168	4127
9	上汽斯柯达	合资	6759	42	0.161	2783
10	东风雪铁龙	合资	6726	55	0.167	2491
11	东风本田	合资	5639	37	0.332	4004
12	一汽-大众奥迪	合资	4408	51	0.334	2135
13	上汽通用五菱	合资	4274	56	0.345	3483
14	广汽本田	合资	4141	57	0.388	2447
15	东风悦达起亚	合资	3437	54	0.48	2313
16	长安汽车	自主	11905	98	0.08	9854
17	长城汽车	自主	6819	96	0.15	4236
18	奇瑞汽车	自主	5645	83	0.22	4399
19	上汽集团	自主	5376	70	0.277	2976
20	江淮汽车	自主	4132	85	0.395	2642

	有召回的投诉	无召回的投诉
MMY数量	204	819
投诉数量（段落数）	54731	109605
MMY平均投诉量	268	133
总单词数	2922579	5511952
平均投诉单词数	53	50
投诉图片数量	31383	73325

辅助信息	λ估计值	辅助信息	λ估计值
投诉页面		一汽-大众奥迪	-0.059
网友评论	0.426^*	上汽通用五菱	0.097
图片数量	0.440^***	广汽本田	0.249^**
汽车制造商		东风悦达起亚	0.168
上汽通用别克	—	长安汽车	0.131
上汽通用雪佛兰	0.066	长城汽车	0.143
一汽-大众	-0.118	奇瑞汽车	-0.004
长安福特	0.183^*	上汽集团	-0.067
东风标致	0.105	江淮汽车	-0.090
东风日产	0.282^**	MMY相关性质
上汽大众	0.264^**	投诉数量	2.552^***
北京现代	0.185^**	平均投诉间隔时间	1.318^***
上汽斯柯达	-0.029	召回次数	0.267^***
东风雪铁龙	0.320^***	截距项	4.818^***
东风本田	0.800^***

算法	模型	总体指标		分类指标
算法	模型	AUC(%)	Accuracy(%)	预测分类	F1 Score(%)	Precision(%)	Recall(%)
	MsSTM	82.74	81.56	召回	63.89	50.00	88.46
	MsSTM	82.74	81.56	不召回	87.62	96.84	80.00
NB	LDA	63.05	58.83	召回	56.37	44.53	76.79
	LDA	63.05	58.83	不召回	61.02	80.03	49.31
	STM	67.89	52.48	召回	41.74	26.97	92.31
	STM	67.89	52.48	不召回	59.88	96.15	43.48
DT	LDA	54.59	58.03	召回	41.73	40.20	43.38
	LDA	54.59	58.03	不召回	67.20	68.68	65.79
	STM	69.03	73.76	召回	46.38	37.21	61.54
	STM	69.03	73.76	不召回	82.63	89.80	76.52
RF	LDA	57.76	64.19	召回	41.61	47.81	36.83
	LDA	57.76	64.19	不召回	74.18	70.15	78.70
	STM	72.32	81.56	召回	53.57	50.00	57.69
	STM	72.32	81.56	不召回	88.50	90.09	86.96
SVM	LDA	62.12	63.30	召回	53.13	49.06	57.94
	LDA	62.12	63.30	不召回	69.84	73.78	66.30
	STM	69.33	64.54	召回	44.44	31.25	76.92
	STM	69.33	64.54	不召回	73.96	92.21	61.74
KNN	LDA	56.49	57.95	召回	45.97	41.42	51.65
	LDA	56.49	57.95	不召回	65.58	70.52	61.29
	STM	64.00	63.12	召回	39.53	28.33	65.38
	STM	64.00	63.12	不召回	73.47	88.89	62.61