口和嵌入式应用服务于业务系统。
生态系统图大数据处理平台担负着为BI系统提供语义层OLAP引擎等底层技术支撑、BI及ERP系统的性能提升、以及数据挖掘、非结构化数据处理等系列数据整合与处理的解决方案。具体模块包括:语义层:为统一的查询建模平台和数据访问接口。除提供标准的查询建模能力外,还有语义驱动、语义规则、语义函数、描述器等等扩展方式,满足不同层面的扩展要求。OLAP引擎:OLAP引擎提供全面的多维建模与分析能力。多维模型包括维度、层次、级别、属性、指标、计算成员等;同时预置系列分析函数,包括同比环比期比基比等时间序列分析、占比排名方差等统计分析、指数回归和线性回归分析等;提供标准的MDX解析与执行,与数据仓库等模块结合,提供针对海量数据的实时分析和处理能力。
f数据集成:能够胜任在大数据量、高并发、多维分析等环境背景下的实时分析。通过实时数据集成(RDI)提供的数据实时复制与DW的列式存储引擎,解决了以往在传统架构模式下,普通行式存储引擎无法实现的业务场景。
数据挖掘:支持运行于分布式文件系统和分布式计算平台之上的分布式数据挖掘算法,具体包括:逻辑斯特回归、朴素贝叶斯分类算法及其分布式实现;K均值、谱聚类算法及其分布式实现;潜在狄利克雷分配语义挖掘算法及其分布式实现;频繁模式挖掘分析算法及其分布式实现;协同过滤、概率矩阵分解推荐算法及其分布式实现;提供分布式挖掘算法的统一操作原语和执行引擎。
数据仓库:数据仓库提供针对海量数据进行高效的查询和分析。包括同时支持关系数据库、NoSQL数据库、以及分布式文件系统进行数据存储和加载的多存储引擎,基于MapReduce框架针对海量数据的高性能查询和分析,以及MapReduce框架本身具有的高扩展性和容错性。
非结构化数据管理:非结构化数据不包含内嵌的语义结构描述信息,而信息系统需要结合其“内容”而不仅仅是数据本身进行查询、检索、分析与挖掘,因此非结构化数据管理系统需要实现非结构化数据的数据提取,提取的非结构化数据是进行后续处理的基础,具体包括结构化信息和底层高层特征的提取两个。非结构化数据提取组件依赖于分布式文件系统和非结构化数据存储提供的原始数据作为数据源数据,依赖于非结构化数据存储来存储提取的元数据或者特征数据,依赖于并行计算框架来分布化执行过程,加快执行速度。
消息总线:包括主数据管理、集中身份管理、应用集成开发环境、集成监控管理等。满足集成平台的应用需求,r