场景概述

准实时接收所有基金公司上传数据, 基于东方国信Hadoop发行版BEH构建行业级海量交换数据平台和大数据基础平台, 具备海量数据准实时接收、存储和处理能力,提供准实时决策支持能力。

方案概述

海量交换数据平台具有数据来源较多,数据文件格式多样性, 文件大小分布广泛,数据来源质量参差不齐, 海量数据文件不定时发送等特点。其每天接收近50万个数据文件, 需要对所有文件做到实时侦测,实时接收,实时校验,实时入库。 对于大型基金公司会存在单公司上传数十GB数据文件的情况, 本系统可以做到半小时内校验入库。平台对所有文件统一管理, 实时监控,对重点数据文件做到及时预警。 平台提供准实时数据处理,为各业务系统提供基础数据; 关键业务实时查询,为业务系统提供精准数据支持; 为上游数据提供实时数据支持及准实时数据核对汇总服务。
海量交换数据平台包含海量数据文件准实时采集、 海量数据数据存储和数据分析等几个模块,全部采用了东方国信BEH产品实现, 并在此基础上构建了统一的监控管理系统。海量交换数据平台逻辑架构图如下图所示:

达成效果

构建了全行业的大数据基础平台,实现数据实时采集、 实时分析,基于统一数据提供数据核对、数据校验和数据分析功能, 大大提升了客户的业务处理能力;
从数据采集处理,到基于全行业数据的分析, 大数据平台提供了比传统手段更高效的处理能力, 大大提升了业务人员的使用体验,进一步提升了客户的整体业务水平。

客户案例