龙源期刊网httpwwwqika
comc
浅谈联通大数据平台
作者：刘博来源：《科学与财富》2018年第15期
摘要：本文主要对联通大数据平台的概述、系统架构、系统功能以及河北省大数据的现状进行了介绍。
关键词：大数据、互联网、采集、分析、处理；
河北联通是河北省最大的互联网接入提供商，任何个人、企业的上网的行为都以数据的形式流淌在河北联通的网络里，网络覆盖的广、接入方式丰富是河北联通得天独厚的优势。
运营商大数据的全面性、多维性、中立性、完整性是其它企业很难比拟的，而且通过这些不同维度数据的交叉关联，可以创造更多的新数据和新价值。
一、系统概述
依据河北省业务发展需求及河北联通集成公司集成公司IT系统的实际情况，本期工程建设为新建河北联通集成公司数据开放平台，初步完成大数据支撑平台搭建，具备对各类数据源的采集、分析、处理能力；具备数据聚合和数据标准化能力，具备数据服务和数据管控能力，增强对外服务及支撑水平。
二、系统功能
本次系统平台分采集层、基础平台层、服务层、应用层、系统管控功能五层功能架构，同时包括系统所需的全部系统软件、功能组件。
采集层：主要采集同步河北联通信息化部的大数据平台数据和外部合作数据。
数据基础层：构建分层分域的数据存储及运算体系，实现对海量的结构化、非结构化、流数据的加工和存储。
数据开放层：将系统加工存储的数据通过API、租户等方式向各类应用进行能力开放，实现对应用和业务的统一支撑和管理。提供各类可视化报表加工、模型开发工具。
应用层：本期项目重点支撑对金融和公安行业，为外脑合作、外部应用以租户的方式实现资源共享。
f龙源期刊网httpwwwqika
comc
管控功能：实现系统元数据、ETL、数据质量、生命周期、数据安全、数据资产的管理功能。
三、系统架构
31数据基础层
大数据基础平台是稳定、可靠的企业级大数据基础平台产品，满足如下企业级产品的特征：
统一资源管理分配：改进的YARN资源管理框架，可在同一份数据集上运行多种计算框架（Storm，Docker等），动态创建SQL统计、数据挖掘、机器学习、流数据处理等计算集。
多租户业务支持：在组织内部，当多部门使用统一平台统一数据集运行不同业务时，通过租户的方式实现对数据和计算资源管理和分配。各业务在相对独立的环境中运行，实现了数据与资源的逻辑隔离。
五维安全功能方案：当多源异构数据汇入整合时，系统安全风险陡然增加。需要通过安全规则引擎，用户集成认证，权限管理分配，安全r