一 ETL 基础
ETL Extract Transformation Loading 数据抽取转换和加载处理过程是任何数
据仓库工程的一个组成部分当前有各种各样的ETL 工具可供选择实际上自己也可以
编程处理但在工作中会经常问到或讨论的问题什么时候什么地方使用ETL 技术
呢即2W 疑问大家知道ETL 并不是一个新概念可以这么讲不管我们在数据仓
库做什么都要用到ETL
但往往在实际工作中因为在获取和整合业务智能方面需要额外强调与数据的批处理
通力协作所以ETL 显得比较困难由于附加的这么一个接口使得建设数据仓库的目标
与那些传统的批处理相比显得复杂得多因此真正的问题不是2W 问题而是如何整合
业务智能
我个人认为对业务的理解对源系统的理解以及对源系统的环境包括平台数
据结构等等是做好ETL 的关键因为你要进行数据的抽取并非所有的数据而是有用
的数据因为要进行数据的转换需要清楚源系统和目标系统的数据结构和具体含义同
时还因为我要对数据分析哪些数据可以支持我决策等那么我在做数据仓库项目过程中
在这部分花费的时间较多当然可以采取迭代的方式也曾自己写过ETL 处理程序但是
总觉得处理过程缺少集中式的存储元数据的库并且可重复性较差
下面我着重谈一下在选择ETL 工具和应用方面自己的一些体会
二 具体应用
2.1 确定ETL 范围
在确定选择ETL 工具前应当明白ETL 的责任范围解决这个问题往往不是一个容
易的事但是可以从自己所知道的着手然后对未来需要做出预测这就是我在上面说的
迭代方式
建议对开发的项目要不断的反复思考只要有了自己的设想选择一个初始的主题
域并在实体级确定该主题域的事实表和维表就可以着手ETL 的开发方法了但在你开
始前一定要通过检查每个目标表事实表和维表来定义ETL 范围即对每个目标表应
闽公网安备 35060202000074号