ETL(Extract Transform Load, 数据抽取转换装载)是实施各银行总行数据增值服务平台项目中最重要的步骤,是完成总行数据源的数据为各分行提供数据增值服务的必要过程。
数据增值服务平台介绍
ETL(Extract Transform Load, 数据抽取转换装载)是实施各银行总行数据增值服务平台项目中最重要的步骤,是完成总行数据源的数据为各分行提 供数据增值服务的必要过程。如果说数据增值服务平台的主题化模型是一座大厦的设计蓝图, 数据增值服务平台的数据是建造这个大厦的砖石的话, 那么ETL就相当于建设整个大厦的过程。
ETL处理分为数据抽取(Extract)、数据转换(Transform)以及数据加载(Load)3个阶段。
·数据抽取(Extract)
数据抽取是从数据源获取符合需要的数据的过程。数据抽取过程会过滤掉数据仓库中不需要的源数据字段,并进行格式和类型转换。
·数据转换(Transform)
数据转换(Transform)按照目标数据库的数据结构,对源系统每个记录进行转换,转换以后就可写入目标数据库。数据转换主要包括数据翻译、数据匹配、数据聚合以及其它复杂计算等。
·数据加载
数据加载:调用ETL工具加载、修改和删除数据。
基本体系结构

智能分析统计
智能分析统计系统以数据仓库、联机分析处理(OLAP)、数据挖掘以及WEB等核心技术为基础, 借助业界先进的、成熟的BI产品,专门针对各类关键业务的商业智能应用,是一套集统计报表、主题分析、自定义分析、分析预测等功能的一套完整的商业智能解决方案。
从架构上看,智能分析统计系统自下而下分为四个层次:数据源层、数据仓库/数据集市层、OLAP服务层和前端工具展现应用层。从具体的技术来看,包括数据模型、源系统分析、源数据质量分析、数据抽取转换清洗加载(ETL)、数据呈现、元数据管理等,以上这些元素共同构成了智能分析统计的应用。
系统的整体技术架构:

系统特点
以数据仓库为核心的架构
·灵活的报表功能
·强大的OLAP分析功能·灵活丰富的信息展现及发布方式·可伸缩的数据抽取平台·可配置的安全性·技术先进性系统功能介绍
·领导查询功能
·数据统计查询/报表功能·主题分析·自定义分析·数据挖掘与预测·用户安全管理运行环境
数据仓库软件平台:
数据库系统:Oracle,DB2 ,Sybase , SQL Server等
多维数据库:Essbase,DB2 OLAP Server,Microsoft Analysis Services等OLAP 分析工具:Hyperion,Cognos,BO等ETL工具:Informatica Powercenter,Datastage等DM工具:SAS,SPSS等客户端:
Windows 系列(Microsoft Windows95/98/NT/2000/XP 等)
支持多种关系型数据库,如Oracle,DB2,Sybase,SQL Server 等决策支持系统应用程序服务器端:
支持IBM、HP、SUN 等多种主机
支持WINDOWS或各种UNIX 操作系统(SCO,AIX,HP UNIX,LINUX 等)支持多种关系型数据库,如DB2,Oracle,Sybase,SQL Server 等决策支持系统数据抽取应用程序>>更多评论