大数据 Big data

说明

数据产品经理教程正在编写中，欢迎大家加微信 gairuo123 （备注：数据产品教程）提供意见、建议、纠错、催更。应大家要求，作者开办数据产品和数据分析培训班，详情数据产品经理培训 / 数据分析培训。

大数据（英语：Big data），又称为海量数据，指的是在传统数据处理应用软件不足以处理的大或复杂的数据集的术语。

简述

海量数据也可以定义为来自各种来源的大量非结构化或结构化数据。从学术角度而言，海量数据的出现促成广泛主题的新颖研究。这也导致各种海量数据统计方法的发展。海量数据并没有统计学的抽样方法；它只是观察和追踪发生的事情。因此，海量数据通常包含的数据大小超出传统软件在可接受的时间内处理的能力。由于近期的技术进步，发布新数据的便捷性以及全球大多数政府对高透明度的要求，海量数据分析在现代研究中越来越突出。

大数据定义

在 2001 年左右，Gartner 就大数据提出了如下定义（目前仍是关于大数据的权威解释）：大数据指高速 (Velocity) 涌现的大量 (Volume) 的多样化 (Variety) 数据。这一定义表明大数据具有 3V 特性。

大数据的 3V 特性：

大量 (Volume)：大数据的“大”首先体现在数据量上。在大数据领域，您需要处理海量的低密度的非结构化数据，数据价值可能未知，例如 Twitter 数据流、网页或移动应用点击流，以及设备传感器所捕获的数据等等。在实际应用中，大数据的数据量通常高达数十 TB，甚至数百 PB。
高速 (Velocity)：大数据的“高速”指高速接收乃至处理数据— 数据通常直接流入内存而非写入磁盘。在实际应用中，某些联网的智能产品需要实时或近乎实时地运行，要求基于数据实时评估和操作，而大数据只有具备 “高速” 特性才能满足这些要求。
多样化 (Variety)：多样化是指可用的数据类型众多。通常来说，传统数据属于结构化数据，能够整齐地纳入关系数据库中。随着大数据的兴起，各种新的非结构化数据类型不断涌现，例如文本、音频和视频等等，它们需要经过额外的预处理操作才能真正提供洞察和支持性元数据。

价值和真实性

大数据的 5V 特性

在过去几年里，大数据的定义又新增加了两个 "V"：价值 (Value) 和真实性 (Veracity)。

首先，数据固然蕴含着价值，但是如果不通过适当方法将其价值挖掘出来，数据就毫无用处。其次，只有真实、可靠的数据才有意义。

如今，大数据已成为一种资本，全球各个大型技术公司无不基于大数据工作原理，在各种大数据用例中通过持续分析数据提高运营效率，促进新产品研发，他们所创造的大部分价值无不来自于他们掌握的数据。

目前，众多前沿技术突破令数据存储和计算成本呈指数级下降。相比过去，企业能够以更低的经济投入更轻松地存储更多数据，而凭借经济、易于访问的海量大数据，您可以轻松做出更准确、更精准的业务决策。

然而，从大数据工作原理角度来讲，大数据价值挖掘是一个完整的探索过程而不仅仅是数据分析，它需要富有洞察力的分析师、业务用户和管理人员在大数据用例中有针对性地提出有效问题、识别数据模式、提出合理假设并准确开展行为预测。

数据来源类型

海量数据获取之来源影响其应用之效益与质量，依照获取的直接程度一般可分为三种：

第一方数据(First Party Data)

为己方单位自己和消费者、用户、目标客群交互产生的数据，具有高质量、高价值的特性，但易局限于既有顾客数据，如企业搜集的顾客交易数据、追踪用户在APP上的浏览行为等，拥有者可弹性地使用于分析研究、营销推广等。

第二方数据(Second Party Data)

取自第一方的数据，通常与第一方具有合作、联盟或契约关系，因此可共享或采购第一方数据。如：订房品牌与飞机品牌共享数据，当客人购买某一方的商品后，另一单位即可推荐他相关的旅游产品；或是已知某单位具有己方想要的数据，透过议定采购，直接从第一方获取数据。

第三方数据(Third Party Data)

提供数据的来源单位，并非产出该数据的原始者，该数据即为第三方数据。通常提供第三方数据的单位为数据供应商，其广泛搜集各式数据，并贩售给数据需求者，其数据可来自第一方、第二方与其他第三方数据，如爬取网络公开数据、市调公司所发布的研究调查、经去识别化的交易信息等。

应用

海量数据的应用示例包括大科学、RFID、感测设备网络、天文学、大气学、交通运输、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦查、金融海量数据，医疗海量数据，社交网络、通勤时间预测、医疗记录、照片图像和影像封存、大规模的电子商务等。

大数据的历史

虽然大数据这个概念是最近才提出的，但大型数据集的起源却可追溯至 1960 - 70 年代。当时数据世界正处于萌芽阶段，全球第一批数据中心和首个关系数据库便是在那个时代出现的。

2005 年左右，人们开始意识到用户在使用 Facebook、YouTube 以及其他在线服务时生成了海量数据。同一年，专为存储和分析大型数据集而开发的开源框架 Hadoop 问世，NoSQL 也在同一时期开始慢慢普及开来。

Hadoop 及后来 Spark 等开源框架的问世对于大数据的发展具有重要意义，正是它们降低了数据存储成本，让大数据更易于使用。在随后几年里，大数据数量进一步呈爆炸式增长。时至今日，全世界的“用户”— 不仅有人，还有机器 — 仍在持续生成海量数据。

随着物联网 (IoT) 的兴起，如今越来越多的设备接入了互联网，它们大量收集客户的使用模式和产品性能数据，而机器学习的出现也进一步加速了数据量的增长。

然而，尽管已经出现了很长一段时间，人们对大数据的利用才刚刚开始。今天，云计算进一步释放了大数据的潜力，通过提供真正的弹性 / 可扩展性，它让开发人员能够轻松启动 Ad Hoc 集群来测试数据子集。

参考

https://www.oracle.com/cn/big-data/

<< 数据产品的能力模型数据产品经理教程常见的数据结构 >>

更新时间：2021-03-20 11:16:43 标签：大数据数据