摘要 本文介绍了数据仓库的定义、特征、结构及其相关技术。结合深圳银联数据服务平台,提出了系统数据仓库的解决方案及其实现过程。文章还讨论了联机分析处理在数据仓库环境下针对信息分析的目前已知的最为广泛采用的解决方案。它不是对传统数据库的替代,而是在传统数据库的基础上对数据进行重新组织。利用数据仓库整和金融企业内部所有分散的原始的业务数据,并通过便捷有效的数据访问手段,可以支持企业内部不同部门,不同需求,不同层次的用户随时获得自己所需的信息,并能将网络中分布的商业数据集成到一起,为决策者提供各种类型的数据分析。
1数据仓库的定义及特征
数据仓库的概念是为企业能有效地管理和利用多年来积累下来的各种历史数据和统计信息,服务于决策支持背景下提出来的。数据仓库之父W.H.Inmon在《建立数据仓库》一书中提出:数据仓库就是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,用以支持经营管理中的决策制定过程[1]。这个定义所陈述的是一种设计内容并进行数据组织,确定粒度划分和层次划分以及分割策略。这些操作决定着系统的信息量和查询效率,对系统有重要影响。最后,生成数据仓库,设计接口,装入数据。
在后台数据库的设计中,采用星型模型多维数据分析模型。利用这种模型可以很好地完成以主题分析为主的数据库设计,从而理清金融行业数据库中纷繁杂乱的海量数据。为客户从各个维度观察数据打下坚实的后台数据基础。按照银联业务需求,数据服务平台主题举例如下:
ATM交易分析
分析ATM交易数据,包括:交易总笔数、系统成功数、收单成功数、交易成功笔数、成功交易金额、取款金额、取款笔数、转帐笔数、转帐金额、调帐笔数、调帐金额、交易成功率、收单成功率和调帐率。
用户可根据需要选择按如下维度:发卡行、代理行、转入行、ATM终端、交易日期、清算日期、卡种、交易代码、交易时间。
POS清算分析
分析POS清算数据,包括:清算笔数、清算金额、商户回佣、发卡方收入、深圳银联收入、发卡方固定回佣、银联固定回佣,收单方回佣、调帐笔数、调帐金额、调帐回佣、调帐银行回佣、实际清算金额、实际清算回佣。
用户可根据需要选择按如下维度:发卡行、代理行、POS终端、清算日期、卡种、商户类型和商户、回佣收取方式、区域代码、交易代码。
系统中数据粒度采用以天为单位。在数据仓库的基础上,建立了基于SQL Server 2000 OLAP Services的立方体,以供OLAP Services使用。OLAP提供了ROLAP,MOLAP,HOLAP三种存储方案来保存这些立方体[4]。我们选择了使用M0LAP存储方案,它可以支持两种存储方式:1)基于空间的;2)基于性能的。我们选择基于性能的存放方案以满足系统对查询效率的要求。
3.3数据的抽取、转换及装载
数据仓库的数据源是来自OLTP(操作型环境)中的操作数据。这些数据源都有不同的格式、标准和含义。物理点上,他们分布于几台PC上,分属于不同的操作系统与数据库管理系统上,这对数据源的采集带来了困难。数据必须首先按一定的模式进行整理与过滤(同一对象多个实例),最后转换成一个数据仓库接口需要的标准数据源。
本系统使用SQL Server 2000的数据转换服务DTS包及存储过程来实现数据的抽取、转换及装载。在数据仓库生成过程中,数据变换与集成过程十分关键而复杂,其过程如图3:
图3 数据的转换及集成
⑴ 数据定义及读取主要完成定义数据仓库的数据源和数据提取规则或模型等数据仓库内容、结构和环境定义。
⑵ 分离出数据源,验证数据的一致性,将不一致的数据按照统一的规则进行结构与域的变化转换。
⑶ 质量保证对转化完的数据进行数据完备性、数据间的约束关系、数据的一致性、安全性和时序性等方而的检查及修正。
⑷ 加载将提取的数据装入目标数据库,完成数据索引,目录维护等内容。
3.4数据仓库的查询
前台查询系统负责数据的展现,它包括日志查询、MDX(多维语言)查询以及可视化界面查询等。
在建立起服务器后台的立方体之后,可以通过SQL Server 2000 OLAP服务器建立后台数据和所需要连通的外部应用程序之间的连接。Microsoft SQL Server Analysis Services为多维数据仓库输出提供了编程接口:决策支持对象[4](Decision Support Object)。MDX查询可以被集成到使用DSO的程序中,被用于编程访问多个维度。
系统的前端采用JSP技术实现报表的发布,有效减弱了业务逻辑接口和数据接口之间的耦合。同时,很好地分离了各模块的角色和责任,有助于提高代码的可重用性和灵活性。系统提供了多种查询统计分析界面,包括基本的查询统计、二维动态查询、多维展现、各种固定报表输出等。考虑到用户的需求,利用J2EE技术开发的基于浏览器/服务器模式(Browser/server,简称B/S)的数据服务平台系统,实现了数据仓库中的数据在internet上的共享,用户使用浏览器就可以方便快捷地查询、分析。
4结束语
综上所述,数据仓库为解决目前数据分析中遇到的参考文献:
1.Inmon.W.H著.王志海等泽.数据仓库.第三版.北京:机械工业出版社,2003
2.2001王珊等.数据仓库技术与联机分析处理.北京:科学出版社,1998
3李更明,卢伟清. 基于数据仓库技术的银行决策支持系统研究与设计. 厦门大学学报第42卷第5期 2003 09
4.Mike Gunderloy, Tim Sneath. SQL Server开发指南 北京:电子工业出版.2001
转贴于 范文论文吧 http://www.fwlw8.com