如何解决数据仓库中的增量数据抽取问题？

来源：百度知道 编辑：UC知道 时间：2024/06/08 20:45:39
目前一个数据仓库项目，需要从源系统中抽取数据，但是需要满足以下要求：
1、因为数据量巨大，需要每天增量抽取；
2、源系统都是业务系统，不能中断，也不能影响性能，不允许在源业务系统数据库之上建立触发器，不允许对源系统数据结构作任何的更改，不允许对源数据库作写操作。
3、源系统的数据库全部是Oracle，但是版本不一致，最早的为8I。

利用数据源的增量数据对数据仓库进行维护,可以有效提高ETL效率.现有通用ETL工具在增量抽取方面存在…些问题,如不能抽取多个异构数据源的增量数据以及在处理增量数据时造成数据丢失的异常问题.本文从实践角度设计的增量式ETL工具采用集成多种增量数据捕获方式,解决异构数据源在捕获增量数据上的差异;在数据处理过程中,通过辅助表的手段解决了数据丢失的问题.在文章的最后,还介绍了ETL过程中数据转换和转换调度的实现