联机事务处理 OLTP和联机分析处理 OLAP

数据处理大致可以分成两大类：联机事务处理OLTP（On-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

联机事务处理(OLTP)

为了让大型/中型公司执行他们的行政/业务或销售任务，必须有OLTP系统，以处理每天发生的大量交易。OLTP系统的一个例子是大型杂货店。例如，一个人买了15件商品，到柜台结账。现在是OLTP系统来处理将要发生的事务。让我们计算一下可能发生的事务的数量。

• 第一个应该是将要生成并存储在DB中的账单的发票
• 第二个事务可能是针对发票在数据库中插入产品信息。
• 如果客户有任何会员卡，如果他使用它，交易将发生从他的卡扣除积分，并将更新他的卡的新积分。
• 另一种交易是根据客户购买的产品数量来减少产品的总数。例如，如果超市有3489包凝乳包，而客户购买了其中的2包，将发生一个交易，该交易将把总数更新为3489减2，即3487。类似的交易也会发生在其他产品上。

例子

OLTP系统的几个例子是:

• 自动取款机
• 银行
• 购物中心
• 在线预订火车和航班
• 电子商务

优缺点

以下是OLTP的优缺点

• 优势
  • 通过提供健壮的机制来处理和存储事务性数据，它极大地简化了组织的事务性事件。
  • OLTP系统非常快速和即时。
  • 它们通过简化单个流程来增加组织的客户数量
• 缺点
  • 对数据分析几乎没有洞察力。
  • 在服务器失败的情况下，事务可能会导致延迟，在某些情况下可能会导致数据丢失。
  • 更容易被黑客攻击。

联机分析处理(OLAP)

在OLAP级别上发生的事务非常少，它们有助于企业做出更好的决策。OLAP系统允许用户分析来自多个数据库的数据，ETL被强制作为来自不同数据库的数据的原因是不同的格式。因此，在将它们存储到数据仓库之前，需要使用ETL。

例子

如，电子商务公司想要比较2月和3月的销售数据，也想看到销售区域数据，然后是州数据，时间数据，最后是国家数据。

软件

为了实现这一点，应该有一个系统可以将来自不同OLTP数据库的数据插入数据仓库并应用ETL过程。然后OLAP开发人员将从OLAP系统中获取数据，并根据业务需求创建不同类型的报告和图表。OLAP软件的例子有:SAP BI/BO/BOBJ，微软的Power BI, Tableau, Spotify, SAS, Python和R, Excel, Apache Spark, Splunk，谷歌Analytics。

优缺点

以下是OLAP的优缺点：

• 优势
  • 对来自不同来源的数据进行分析的单一平台。
  • 来自不同来源的数据存储在一个集中的位置，因此能够更容易地访问大型信息。
  • 精确和快速的计算。
  • 高级安全。
• 缺点
  • 由于软件的许可和价格较高，实现OLAP的成本很高。
  • OLAP系统的全端到端监控、实现和升级依赖于该领域的IT专家。
  • 由于从OLTP到OLAP系统的数据插入可能涉及多个数据库，因此要与所有的DB团队保持一致可能会带来挑战。

行式存储和列式存储

传统 OLTP 数据库通常采用行式存储。所有的列依次排列构成一行，以行为单位存储，再配合以 B+ 树或 SS-Table 作为索引，就能快速通过主键找到相应的行数据。

行式存储对于 OLTP 场景是很自然的：大多数操作都以实体（Entity）为单位，即大多为增删改查一整行记录，显然把一行数据存在物理上相邻的位置是个很好的选择。

然而，对于 OLAP 场景，一个典型的查询需要遍历整个表，进行分组、排序、聚合等操作，这样一来按行存储的优势就不复存在了。更糟糕的是，分析型 SQL 常常不会用到所有的列，而仅仅对其中某些感兴趣的列做运算，那一行中无关的列也不得不参与扫描。

参考

• https://mp.weixin.qq.com/s/xHI1PyZSZ_BtGZnmq9Wtjw
• https://mp.weixin.qq.com/s/NRQe8azbFvFRsBAgzpi73A

---