计算技术的发展,对于大数据的分析也成为了可能。旅游行业开展大数据分析及应用的意义
旅游行业有行业广、规模大、移动性强的特点,因此更加依赖大数据。当前,旅
游业也在“新常态”下迎来了升级的挑战和变革的机遇,新常态对于一般的经济
部门是经济速度放慢、人均GDP增速减小,很多传统行业在调整结构,但新常态对
旅游行业却是速度加快的。旅游大数据的解决之道,在于整合国内多途径的大数
据源,形成旅游大数据生态,为国内旅游业提供大数据解决方案,促进旅游业的
转型升级。
数据挖掘与大数据分析科研平台建设的必要性数据挖掘与大数据分析是以计算机基础为基础,以挖掘算法为核心,紧密面向行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、并行计算等多个专业方向,因此该学科对于科研平台具有较高的专业要求。科研平台不仅要提供基础的编程环境,还要提供大数据的运算环境以及用于科学研究的实战大数据案例。这些素材的准备均需完整的科研平台作为支撑。目前,在我国高校的专业设置上与数据挖掘与大数据分析相关的学科专业包括:计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息、旅游以及公共卫生等。这些专业的在使用科研平台时的侧重点各不相同,使用
f人员层次水平也不相同,对算法的使用也不相同,因此,需要建设一个便利、操作简易、算法全面、可视化的大数据科研平台是非常有必要的。
数据挖掘与大数据分析科研平台总体规划
科研平台规划
科研平台建设的基本原则是科研为主,同时为教学实验提供部分计算资源及安
全资源,系统在授权范围内共享科研系统的计算资源,提高教学实验的真实性。
项目的总体架构如图1所示。
图1总体架构图
系统整体由千兆核心交换机作为核心节点,并以两个千兆接入交换机作为科研与
实验环境的交换节点。科研环境由我司开发的商业Hadoop集群为基础,上层集成
便于操作的大数据科研应用系统,集成10TB大数据案例集及可拖拽的数据算法和
可视化算法。
科研平台功能规划本科研平台针对数据挖掘有大数据分析研究内容,兼顾科研与教学的需求,既能满足科研工作中对大数据分析高性能平台要求也具有教学实验平台简单易用的特点。
1)大数据资源规划内置商业级数据资源,按常见科研分类规划数据资源,可以直接用于科学研究,具有数据资源授权管控功能。2)大数据分析功能规划建设以商业版Hadoop为核心的大数据分析平台,系统提r