大数据项目3

项目目标

将超过30个核心系统数据，实施同步复制，统一集中到大数据平台。

1）将数据实施同步，数据量很大。—数据比较复杂

2）数据复制的实时性、准确性

3）复制数据需要增加标签（操作时间、操作类型、操作人等），便于后端识别数据。

4）如何抽取数据，减轻对生产库的影响。如视图、临时表、dg库等手段。

5）如何更好的适配后端应用，保证数据规格灵活，预留字段充足。

可以考虑建立编码管理，元数据仓库。

6）具备操作控制流管理、数据抽取、数据清洗、数据对比的功能，方便追踪溯源。

第二、项目难点与应对

1）业务系统众多，数据源比较复杂，有sqlserver,mysql,essbase,oracle,sql server。同时数据规则不一。

建议建立数据处理中心、元数据仓库。转换数据格式，并做好扩展性。

2） 数据量庞大，初始化数据的时间开始点很重要。一般财务核算数据保留两年的时间。但是因为业务特殊性，有些数据

需要追溯到10-30 年，甚至更长时间。

3）对数据存储空间、存储机房位置，是否需要专用光缆，是否和其他系统抢占资源等。

4）复制核心业务系统数据不超过10S-20S。实效要求高。准确性也需要，否则无法保证数据准确性。

5）对数据清洗、分摊、补录。提供一个统一手工补录的接口。

第三、解决方案：

1）数据平台复制数据需要支持异构数据库、大数据量、实时性、模块化。

可以考虑初始化数据全量同步到hdfs,增量数据同步到kafka。

2）复制数据放在 备份库上。一定要减轻生产库的压力。

3）为了节约网络资源，需要和备份数据库放在同一个机房。、

4）需要建立数据控制流，方便数据校验。 暂定校验数据条数、数据数量合计。

目的是支持后续业务进行数据操作回查，实现数据校验。特别是财务数据，可能需要下钻

抽取凭证级的数据。

5）需要配置多个同步通道。可以快速将数据同步到数据库，并支持增量同步的方式。

需要选取复制效率最高的产品。如可以支持多线程、多并发、特定数据格式、数据压缩技术，

以及快速数据抽取和装载技术。文章来源地址https://uudwc.com/A/GDo3