数据仓库

本内容来自：https://gairuo.com 本内容来自：https://gairuo.com

数据仓库（英语：data warehouse，也称为企业数据仓库）是用于报告和数据分析的系统，被认为是商业智能的核心组件。数据仓库是来自一个或多个不同源的集成数据的中央存储库。数据仓库将当前和历史数据存储在一起，用于为整个企业的员工创建分析报告。

背景与操作

存储在仓库中的数据从运行系统（例如营销或销售）上传。这些数据可能会通过一个ODS数据库，并且可能需要进行额外操作的数据清理，以确保数据质量，然后才能在数据仓库中用于报告。

典型的基于提取、转换、加载（ETL）的数据仓库使用分级、数据集成和访问层来存放其关键功能。分级层或分级数据库存储从每个不同的源数据系统中提取的原始数据。集成层通过转换来自分级层的数据，将不同的数据集合在一起，通常将转换后的数据存储在ODS数据库中。然后将集成的数据转移到另一个数据库（通常称为数据仓库数据库），在这个数据库中，数据被分为层次组（通常称为维度），并被分成事实和聚合事实。事实和维度的组合有时被称为星型模式。访问层帮助用户检索数据。

数据的主要来源被清理、转换、分类，并提供给管理人员和其他商业专业人员用于数据挖掘、在线分析处理、市场研究和决策支持。然而，检索和分析数据、提取、转换和装载数据以及管理数据字典的方法也被认为是数据仓库系统的基本组成部分。许多数据仓库的文献都使用了这个更广泛的语境。因此，数据仓库的扩展定义包括商业智能工具、提取、转换和加载数据到存储库的工具，以及管理和检索元数据的工具。

理解数据仓库

较简易的解释方式

数据仓库是一种信息系统的资料存储理论，此理论强调利用某些特殊资料存储方式，让所包含的资料，特别有利于分析处理，以产生有价值的信息并依此作决策。

利用数据仓库方式所存放的资料，具有一但存入，便不随时间而更动的特性，同时存入的资料必定包含时间属性，通常一个数据仓库皆会含有大量的历史性资料，并利用特定分析方式，自其中发掘出特定信息。

较学术的解释方式

数据仓库 ，由数据仓库之父W.H.Inmon于1990年提出，主要功能乃是将组织透过信息系统之在线交易处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料存储架构，作一有系统的分析整理，以利各种分析方法如在线分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管信息系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的信息，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

一般来说，数据仓库可由关系数据库，或专为数据仓库开发的多维度数据库创建，若由多维度数据库创建而成，其架构可分为星状及雪花状架构，包含数个维度资料表，及一个事实资料表。

数据仓库的建制不仅只是信息工具技术面的运用，在规划和运行面更需对产业知识、营销管理、市场定位、策略规划等相关条件有深入的了解，才能真正发挥数据仓库以及后续分析工具的价值，提升组织竞争力。

数据仓库的特性

• 主题导向(Subject-Oriented)
  有别于一般OLTP系统，数据仓库的资料模型设计，着重将资料按其意义归类至相同的主题区(subject area)，因此称为主题导向。举例如Party、Arrangement、Event、Product等。
• 集成性(Integrated)
  资料来自企业各OLTP系统，在数据仓库中是集成过且一致的。
• 时间差异性(Time-Variant)
  资料的变动，在数据仓库中是能够被纪录以及追踪变化的，有助于能反映出能随着时间变化的资料轨迹。
• 不变动性(Nonvolatile)
  资料一旦确认写入后是不会被取代或删除的，即使资料是错误的亦同。(i.e.错误的后续修正，便可因上述时间差异性的特性而被追踪)

为什么要做数据仓库

业务系统无法数据分析工作的原因:

• 某些业务数据由于安全或其他因素不能直接访问。
• 业务系统的版本变更很频繁，每次变更都需要重写分析系统并重新测试。
• 很难建立和维护汇总数据来源于多个业务系统版本的报表。
• 业务系统的列名通常是硬编码，有时仅仅是无意义的字符串，这让编写分析系统困难。
• 业务系统的数据格式，如日期、数字的格式不统一。
• 业务系统的表结构为事务处理性能而优化，有时并不适合查询与分析。
• 没有适当的方式将有价值的数据合并进特定应用的数据库。
• 没有适当的位置存储元数据。

使用数据仓库的好处:

• 将多个数据源集成到单一数据存储，因此可以使用单一数据查询引
• 缓解在事务处理数据库上因执行大查询而产生的资源竞争问题。
• 维护历史数据。
• 通过对多个源系统的数据整合，使得在整个企业的角度存在统一的
• 通过提供一致的编码和描述，减少或修正坏数据问题，提高数据质
• 一致性地表示组织信息。
• 提供所有数据的单一通用数据模型，而不用关心数据源。
• 重构数据， 使数据对业务用户更有意义。
• 向复杂分析查询交付优秀的查询性能，同时不影响操作型系统，
• 开发决策型查询更简单。

参考

• wiki

---

更新时间：2021-04-21 16:57:12 标签：大数据 数据仓库