方案概述

海量交换数据平台具有数据来源较多，数据文件格式多样性， 文件大小分布广泛，数据来源质量参差不齐， 海量数据文件不定时发送等特点。其每天接收近50万个数据文件， 需要对所有文件做到实时侦测，实时接收，实时校验，实时入库。 对于大型基金公司会存在单公司上传数十GB数据文件的情况， 本系统可以做到半小时内校验入库。平台对所有文件统一管理， 实时监控，对重点数据文件做到及时预警。 平台提供准实时数据处理，为各业务系统提供基础数据； 关键业务实时查询，为业务系统提供精准数据支持； 为上游数据提供实时数据支持及准实时数据核对汇总服务。
海量交换数据平台包含海量数据文件准实时采集、 海量数据数据存储和数据分析等几个模块，全部采用了东方国信BEH产品实现， 并在此基础上构建了统一的监控管理系统。海量交换数据平台逻辑架构图如下图所示：