大数据

数据的来源

数据的增长，为什么会如此之快？

说到这里，就要回顾一下人类社会数据产生的几个重要阶段。

大致来说，是三个重要的阶段。

第一个阶段，就是计算机被发明之后的阶段。尤其是数据库被发明之后，使得数据管理的复杂度大大降低。各行各业开始产生了数据，从而被记录在数据库中。

这时的数据，以结构化数据为主（待会解释什么是“结构化数据”）。数据的产生方式，也是被动的。

第二个阶段，是伴随着互联网2.0时代出现的。互联网2.0的最重要标志，就是用户原创内容。

随着互联网和移动通信设备的普及，人们开始使用博客、facebook、youtube这样的社交网络，从而主动产生了大量的数据。

第三个阶段，是感知式系统阶段。随着物联网的发展，各种各样的感知层节点开始自动产生大量的数据，例如遍布世界各个角落的传感器、摄像头。

经过了“被动-主动-自动”这三个阶段的发展，最终导致了人类数据总量的极速膨胀。

机器数据

机器数据中包含客户、用户、交易、应用程序、服务器、网络和手机设备所有活动和行为的明确记录。不仅仅包含日志。还包括配置、API中的数据、消息队列、更改事件、诊断命令输出、工业系统呼叫详细信息记录和传感器数据等。计算机数以未知格式的阵列存储，监测和分析工具的传统集并未为多样性、速率、数据量、可变性设计。一个专为此独特类型数据设计的全新方法，必须可以快速诊断服务问题、检测复杂信息安全威胁、远程设备的健康状况和性能，以及说明合规性。

每个环境都有独特的机器数据空间，以下是一些示例。

大数据存储与处理

大数据不仅仅意味着庞大的数据量，还意味着数据纬度之多。

数据仓库与数据治理

随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处的同时，也给数据的融合计算带来了障碍。

由于数据散落在不同的数据库、消息队列、文件系统中，计算平台如果直接访问这些数据，会遇到可访问性和数据传输延迟等问题。在一些场景下，计算平台直接访问应用系统数据库会对系统吞吐造成显著影响，通常也是不被允许的。

依赖于ETL，Data Pipeline与数据仓库等不同层次的解决方案。

大数据的特点

行业里对大数据的特点，概括为4个V。前面所说的庞大数据体量，就是Volume（海量化）。除了Volume之外，剩下三个，分别是Variety、Velocity、Value。

Variety（多样化）

数据的形式是多种多样的，包括数字（价格、交易数据、体重、人数等）、文本（邮件、网页等）、图像、音频、视频、位置信息（经纬度、海拔等），等等，都是数据。

数据又分为结构化数据和非结构化数据。

从名字可以看出，结构化数据，是指可以用预先定义的数据模型表述，或者，可以存入关系型数据库的数据。

例如，一个班级所有人的年龄、一个超市所有商品的价格，这些都是结构化数据。

而网页文章、邮件内容、图像、音频、视频等，都属于非结构话数据。

在互联网领域里，非结构化数据的占比已经超过整个数据量的80%。

大数据，就符合这样的特点：数据形式多样化，且非结构化数据占比高。

Velocity（时效性）

大数据还有一个特点，那就是时效性。从数据的生成到消耗，时间窗口非常小。数据的变化速率，还有处理过程，越来越快。例如变化速率，从以前的按天变化，变成现在的按秒甚至毫秒变化。

我们还是用数字来说话：

就在刚刚过去的这一分钟，数据世界里发生了什么？

Email：2.04亿封被发出

Google：200万次搜索请求被提交

Youtube：2880分钟的视频被上传

Facebook：69.5万条状态被更新

Twitter：98000条推送被发出

12306：1840张车票被卖出

Value（价值密度）

最后一个特点，就是价值密度。

大数据的数据量很大，但随之带来的，就是价值密度很低，数据中真正有价值的，只是其中的很少一部分。

例如通过监控视频寻找犯罪分子的相貌，也许几TB的视频文件，真正有价值的，只有几秒钟。