操作审计和数据加密保护五个维度来提供大数据基础平台安全整体功能,保护数据在访问和处理过程中的安全。
自动化部署配置:大数据基础平台由数十个组件构成,这些组件相互交织又分工不同,对管理人员要求较高,技术难度较大。通过图形化的界面实现大数据基础平台的自动化安装部署和优化配置,不仅可以减轻管理人员的部署压力,还能保证平台的优化配置。
标准运维服务:针对以往遇到问题只能从网络搜集零散的知识,且陷入缺乏标准解决方案这样的困境,团队提出由驻场,售后和研发三级人员组成的运维体系,使用运维案例中沉淀下来的最佳实践经验,高效解决生产过程中遇到的问题。
开放集成接口:通过一系列WebService,Java,Thrift等形式的接口将大数据基础平台的管控,资源分配,安全审核等能力开放出来,方便和各类系统进行融合以及在平台上的二次开发。
32基础组件Hadoop
Hadoop是数据操作平台基础核心,其基于Hadoop生态圈系统,支持多种核心功能和组件,主要包括:
分布式文件系统HDFS
f龙源期刊网httpwwwqika
comc
资源管理与调度YARN
安全组件及能力Ra
ger
分布式列数据库Hbase
数据加载处理Sqoop,Flume,Kafka等
服务管理与YARN集成Slider
数据仓库Hive
通过整合先进云计算技术并集成优化封装,支持对海量结构化、半结构化和非结构化数据的存储与高速处理,同时完全支持对数据的高并发读写访问以及快速的SQL查询操作,我们对交付版本在服务期内提供高效、全面且专业的技术支持和保障。Hadoop在集成开源发布版本的同时,还从社区中精选出核心且优先级高的Patch集成到Hadoop中,确保产品的健壮性,保障其在商用项目应用时更加稳定、可靠的运行,提升客户体验度和满意度。Hadoop的研发团队中有众多开源社区Co
tributor,通过对开源组件的不断研究并结合项目实施过程中出现的问题,在开源组件原有基础上进行了重构与优化,使我们的产品具有更强的数据处理、更快的处理速度以及更加便捷的实施优势。
33内存计算Spark
为数据的分析计算提供了基于内存计算的且高效稳定的spark计算框架,需要支持三种模式的处理能力:批处理、流式处理以及基于SQL操作的数据分析查询,分别支撑各种业务场景和客户需求。
34平台管控管理
该模块是在Hadoop之上的一站式界面管理系统,提供如下功能模块,管理员可通过界面的简单操作,完成数据平台的部署,管理,监控告警及日常管理的工作:
导航式部署:以便捷易用的方式实现了大数据基础平台软件的一键式自动安装部署,并且支持用户自r