龙源期刊网httpwwwqika
comc
网络舆情中的大数据分析方法研究
作者：常卫东刘完芳来源：《求知导刊》2017年第28期
摘要：网络舆情是指在网络空间中对网民和生活中的社会事件尤其是一些突发事件的看法和态度。网络舆情通常涉及社会的热点事件，因而经常在网络中快速传播，成为人们谈论的焦点。因而，对网络舆情进行分析和正确的引导显得尤为重要。文章采用大数据分析方法分析网络数据，通过聚类的方法发掘网络舆情中的热点问题。实验证明该分析方法具有较高的热点挖掘能力和及时的能力。
关键词：网络舆情大数据分析统计方法
一、舆情信息的获取
舆情分析的第一步是要对网页中的信息进行抓取，第二步是对抓取的网页的信息进行预处理。
对网页信息抓取主要采用网络爬虫，爬虫的主要作用是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。它既可以爬取网页链接，又可以爬取网页的文本信息和图像信息。它通过关键字的搜索将对应的统一资源定位为相关的网页页面进行抓取，通过对其进行文本和图像的解析，提取对应网页的文本和图像信息并进行保存。本文中主要提取的是网页的文本信息。
而中文分词是把中文中的汉字系列分割为一个个独立的中文词汇。由于中文词汇与词汇之间的界限远不如英文单词那样清晰，因此，中文分词也是一个技术难点。当前中文分词主要是从主要包括字符串匹配分词方法和机器学习的统计分词方法。字符串匹配分词方法是事先通过一定的方法建立一个庞大的数据库字典，按照一定的方法把待分词的词汇与数据库字典中的词进行匹配从而实现分词的方法。机器学习的统计分词方法是通过词汇出现的频率和在文中的含义等信息对汉字的这些特征进行训练，从而实现分词。字符串匹配分词方法比较准确，但缺乏灵活性，机器学习的统计分词方法能对词的语意进行识别，但由于算法的不完善，准确率不高，因此，在实际中通常是将这两种结合来实现分词。
中文分词的词性主要包括名词、动词、形容词和副词等，形容词和副词常表示事物的状态和特征，因而经常能表明作者对事件的喜怒哀乐之情动词一般就是用来表示动作或状态，它是对事物采取的动作的直接体现。这些词在舆情分析中就显得尤为重要。
二、文档特征的提取
f龙源期刊网httpwwwqika
comc
一个网页的文本通过分词后会有成百上千个中文词汇，如果直接对其分类会影响分类的效率和准确性。因此，在分类前要去除一些无关的词语，留下最能代表文档特征的一些分词作为文档的特征。文档特r