旅游研究院大数据挖掘与分析科研平台建设方案
118
f一背景
11数据挖掘和大数据分析行业背景和发展趋势
移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据IDC《数字宇宙》DigitalU
iverse研究报告显示，2020年全球新建和复制的信息量已经超过40ZB，是2015年的12倍而中国的数据量则会在2020年超过8ZB，比2015年增长22倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区不含日本最新关于大数据和分析BDA领域的市场研究表明，大数据技术和服务市场规模将会从2012年的548亿美元增加到2017年的238亿美元，未来5年的复合增长率达到341。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。
据IDC分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。
最新调研结果显示，提高竞争优势，降低成本以及吸引新的客户是中国用户对大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以及提高客户满意度方面的应用。IDC发现很多用户希望大数据能够为企业带来业务创新，并且开始使用高级分析的解决方案以管理复杂的数据环境。过去一年中用户对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾向于数据中心相关的基础架构的投资。
218
f在传统的数据分析与商业数据挖掘中，人们通常遵循二八原则。也就是任务20的用户提供了80的价值，因此利用优势资源用户对于少数用户的服务。随着互联网的发展，越来越多的低价值用户进入到商业体系中，这部分用户成为商业企业竞争的目标。比如电商行业，大量顾客都是传统意义上的低价值客户，数据表明对于这部分用户价值的挖掘可以改变二八原则，甚至可达到价值的几乎r