数据仓库设计基于sql server

Tue, 06 Feb 2007 05:29:59 GMT

数据库设计，主要针对SQLServer2000而言，包括以下方面：

数据库设计
文件组设计
历史数据表和当前数据表设计
分区表设计
数据库链接使用
日志表
增量数据抽取
维度数据抽取
原始数据抽取
日结数据处理
OLAP的增量处理和分区
数据库调优

数据库设计

数据库一般的分类方式有：
按照业务来分(财务系统和销售系统)
按照处理阶段来分(原始数据和日结数据)
按照数据存储时间来分(当前数据和历史数据)

当然这些分类标准不是一成不变的也可以交叉分类，而且不同的关系数据库也不一致，如Oracle可以使用不同数据块大小的表空间存储不同数据，SQLServer和Sybase则采用不同的数据库实现对数据的存储。
建议数据库的分类按照不同的处理阶段进行数据存储，可以方便的进行数据库的备份和管理工作。如
dataware_org 存储ODS层数据，保留一定期限的原始数据
dataware_fact 存储日结数据，可以较长时间的保留系统数据。
dataware_dim 存储维度基础数据。

待续........

关于文件组的设计

数据库可以按照以下几种情况进行文件组设计(其实同上，关键如何分类更加合理)：
1、按照业务数据来源分类
2、按照ETL处理过程分类
3、按照数据的存储周期分类(历史数据还是临时数据)
4、按照数据的物理存储类型分类(即索引还是数据)

个人建议，采用按照物理存储类型和数据存储周期进行分库，如
历史数据文件组
临时表数据文件组
索引文件组

关于历史数据和临时数据的分开处理

众所周知，对于大数据量的数据存储任何数据库都与遭遇性能瓶颈。
因此建议对于大数据量的表采取分表处理：即将数据区分为临时数据和历史数据分开存储

尽管可能会带来一些维护和处理上的不便，但是显而易见可以提升系统的性能。临时表中少量的数据可以有效地进行日结等处理，临时表数据需要进行定期地进行数据的转移工作。
还有一个更大的好处是，临时表和历史表放在不同的文件组或者数据库中，可以减少系统的IO冲突和备份周期的制定.

关于分月表的问题

首先SQLServer在数据处理中存在性能问题，当一张表数据超过1000万以上时，其查询更新删除的效率显著降低，因此每个数据表的数据量要控制在一定范围内；其次SQLServer不支持分区处理。但是SQLServer2000提供了一种类似分区的解决办法，采用分月表形式(当然也可以按照其他分类)

即采用UNION的形式将各个相同表结构的表合并起来，作为一个完整的表来使用。当然这种视图仍存在一定的性能问题和限制(以后会逐步发散开来)
例如：
create view v_fact_table as
select * from t_fact_table_200601 union all
select * from t_fact_table_200602 union all
select * from t_fact_table_200603
每个月自动产生一张 t_fact_table_YYYYMM数据表，然后动态更新v_fact_table视图。

数据库链接
链接服务器配置允许 Microsoft® SQL Server™ 对其它服务器上的 OLE DB 数据源执行命令。链接服务器具有以下优点：
远程服务器访问。
对整个企业内的异类数据源执行分布式查询、更新、命令和事务的能力。
能够以相似的方式确定不同的数据源。
链接服务器有以下两种形式：
SELECT * FROM LinkedDatabase..usename.table
SELECT * FROM OPENQUERY(LinkedDatabase, 'SELECT * FROM table')
两种各有优缺点
第一种写法更加清晰，但有时候受限制比较多
第二种写法更加通用一些，甚至可以执行远程存储过程

关于控制表和日志表
1、监控维度数据的抽取和完成状态
2、监控原始业务数据的抽取和完成状态(包括时间点增量幅度的控制)
3、监控事实数据的运行和处理状态(包括时间点增量幅度的控制)
4、监控OLAP增量处理的状态和时间点
ETL部分——关于维度抽取

1、普通维度的抽取和处理
2、父子维度的抽取和处理
3、雪花维度的抽取和处理

关于维度的处理方式，主要包括三种方法
1、完全覆盖法，即只保留最后一次更新的记录
2、全历史记录法，即采用替代键的方式对每次发生变更的记录进行记录，同时对此次业务数据的相应维度进行替换。
3、记录最新纪录及上一次历史，即只保留当前和上次的更新记录，前两种的这种策略。

通常情况下，对于维度不敏感的情况下采用第一种方式比较简单易行
第二种方法则相对比较复杂，对于系统处理的要求也比较高

ETL部分——关于原始业务数据抽取

主要是采取增量抽取的方式，此外还要考虑抽取对原业务系统的性能影响

通常的处理原则
减少每次数据抽取的时间和事务的大小，减轻数据抽取时对业务系统的性能影响。

ETL部分——关于数据日结的处理

主要是采取增量处理的方式，此外还要考虑处理时对系统性能的影响

通常的处理原则
First get begin time from fact table or original table
Then get end time from original table, it need to be under the control by loglimit
Loop between the begin time and end time
Modify the log table status

OLAP的设计和处理

通常情况下对于大数据量的CUBE采用分区形式
对于CUBE处理而言，通常情况采用脚本形式，以方便数据的增量处理和CUBE分区的融合

分区和增量的主要原因
全量数据刷新对系统性能影响很大
可以对分区进行局部处理，而不影响整个CUBE

关于数据仓库性能的优化主要包括：

1、定期进行数据的转移和清除工作
2、定期实现对数据库日志的收缩，尤其是大事务的处理之后
3、定期进行数据库索引的重建工作。

监控：
定期通过Performance性能监视器收集数据库服务器的CPU，内存，硬盘统计信息
定期分析DTS的日志信息
定期分析Windows的日志信息

关于备份

OLAP的备份
OLAP是采用独占式处理方式的，备份时不允许CUBE的处理，因此要合理的进行OLAP的备份和数据处理的关系。

脚本：
@echo off
rem save database,
rem switch to the path of backup command
e:
cd e:Microsoft Analysis ServicesBin
msmdarch /a 机器名 "c:MSSQLCUBE" "BIOLAP" "F:BIBACKUPCUBEBIOLAP.CAB"
备份工作由Windows操作系统进行调度或者SQLServer均可

关于数据库的备份
数据库的备份也会影响系统的正常运行，因此也需要进行合理的调度工作任务
备份的策略建议是
1、2、3、4、5、6采用增量备份
7采用全量备份

basic conception

Tue, 06 Feb 2007 05:19:55 GMT

什么是OLTP？

联机事务处理系统(OLTP)，也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。也称为实时系统(Real time System)。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间。我们通常讲的业务系统都是基于OLTP的，主要的关系数据库代表为Oracle,Sybase,DB2,SQLServer,MySQL等等。

OLTP系统的主要特点
1、事务处理
2、面向应用
3、反映当前情况

什么是数据仓库？

数据仓库就是面向主题的、集成的、稳定的、不同时间的数据集合，用以支持经营管理中的决策制定过程。目的是解决在信息技术(IT) 发展中存在的拥有大量数据、然而有用信息贫乏(Data rich-Information poor)的问题。数据仓库就其本质仍然是基于关系数据库的，其与OLTP系统最大的不同是系统的目的的不同。主要的关系数据库代表为Oracle, Sybase,DB2,SQLServer,SybaseIQ,Terradat,MySQL等等。

数据仓库的特点
1、面向主题
2、集成性—企业数据框架
3、历史性、稳定性

什么是OLAP？

OLAP 是使分析人员、管理人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映数据维特性的信息，进行快速、一致、交互地访问，从而获得对数据的更深入了解的一类软件技术。OLAP采用了新的数据处理引擎大大加强了对海量数据的聚合和访问要求，同时满足了不同层次数据的访问。主要的 OLAP代表为SybaseIQ,MSOLAP,ESSbase等。
核心——维也称多维视图，数据立方(Data Cube)
目标——多维分析

OLAP的特点
1、灵活、动态
2、多角度、多层次的视角
3、快速

OLTP系统和数据仓库系统的区别？

虽然OLTP系统和数据仓库系统都存储于关系数据库中，但两者的主要区别是使用目的的不同，数据仓库系统的建设只是为了隔离业务系统、整合各个不同的数据源、形成一个统一的数据中心、以提供决策支持。究其实质，数据库对于两者的处理并无太大的区别，只是对数据仓库部分增加了一些优化措施或者没有。如 Oracle新增的各种分区支持、位图索引、平行操作、物化视图等等；Sybase公司为数据仓库的SybaseIQ产品，提供了类似位图索引的方式极大的优化了查询速度；SQLServer2000对于数据仓库和OLTP系统的处理区别不大。OLTP系统和数据仓库系统的差别很大程度上取决为了不同需要而进行的系统设计。总的说来两者实质物理结构是一致的，但目的是不同的。

数据仓库和OLAP的区别？

虽然数据仓库和联机分析处理 (OLAP) 这两个术语有时可互换使用，但它们却适用于通常称为决策支持系统或业务智能系统的不同组件。这些类型的系统的组件包括一些数据库和应用程序，用于为分析人员提供支持组织机构决策制定所需的工具。
数据仓库本质上仍然是一个关系数据库，包含那些通常表示某个组织机构业务历史的数据。通过分析这些历史数据，可以支持对分散的组织单元进行从策略计划到性能评估的多级业务决策。对数据仓库中的数据进行组织是为了支持分析，而不象在联机事务处理系统 (OLTP) 中那样是为处理实时事务。
OLAP 技术使数据仓库能够快速响应重复而复杂的分析查询，从而使数据仓库能有效地用于联机分析。OLAP 的多维数据模型和数据聚合技术可以组织并汇总大量的数据，以便能够利用联机分析和图形工具迅速对数据进行评估。当分析人员搜寻答案或试探可能性时，在得到对历史数据查询的回答后，经常需要进行进一步查询。OLAP 系统可以快速灵活地为分析人员提供实时支持。

通向罗马之路----Reinhard's Blog: 甲骨文选

数据仓库设计 基于sql server

basic conception

数据仓库设计基于sql server