关于大数据:大数据热是华而不实吗大数据和小数据有什么本质区别

2次阅读

共计 2545 个字符，预计需要花费 7 分钟才能阅读完成。

通过看到一种炽热的技术景象，会产生对事物的一种浅层认知后，而后再深刻了解去取得一个比拟粗浅的意识。

大数据具备社会化，技术性的重要特点。

先说这个“大”，也就是大数据最早的定义：速度、类型和容量，所谓的 3V。实际上大数据的倒退早曾经冲破了这个定义。数据体现的不是所谓的“大小”，而是规模。

每个人的手机，都是一部随时产生数据的设施，咱们时刻发着音讯，每次点击 APP，都生产一条事件数据，无论这个操作独自看起来，有如许无价值，但它依然会被云端记录，因为其只是大数据总体价值的一个原子单位；
工业上因为物联网技术的施行，加剧了大规模数据的汇聚，目前工业上谈数据汇聚，都是上千个采集点，每秒上百万的实时数据该怎么去解决；

人、车的挪动与地标、修建造成的坐标网，能够绘制城市的动静画像，而不是过来靠电话线、TV 和人力上报统计来实现，这就是智慧城市的大数据鲜生机的体现。

咱们再说数据的流动性，或者说数据的生命周期。数据在过来的流向根本都是数据坟墓，也就是有一个启动点，亦会有一个起点。

在大数据的时代，数据有时候可能会在流动的中途就隐没了，但新模式的数据又会产生，也可能会在一个阶段后就不在被应用，其流动性越来越强，可是又提倡了和以前截然相同的存储形式：数据的原始状态越来越早的被存储，而不是通过 ETL 的加工造成固有设定的样子而寂静上来。

因为越早的原始数据被存储，就能为数据在生命周期内的不同阶段提供给剖析者更全面数据特色，利用价值关系提取，但终将会在生命周期完结时清理掉，无论是因为政策、技术存量还是设计思维。

社会化的另一个问题就是 数据的多样性，城市视频采集，每天须要经验 PT 级别的多媒体数据须要进行荡涤；

工业设施会以设施类型 + 工夫戳 + 状态值的模式源源不断的传递来工夫序列数据，须要存储、回放和监测；

社交网络吸引着大量的用户流量，流量的要害媒体就是图、文、短视频；

搜索引擎爬虫每天要一遍接着一遍的对所有登记注册的网站从新抓取更新页面，计算页面在互联网上影响力，这一切都是过来在传统数据结构下，用结构化的设计思路难以想象的事件。

最初再说说大数据的开放性，这就和“小数据”具备了非常明显的不同，大数据考究凋谢，通过共享的平台实现数据的接入，也同样实现数据的对外连贯。

事实上，大数据的倒退步调太快，隐衷政策和信息法都被甩在了身后，所以才会呈现大家所痛恨的不良商家对个人隐私的进犯。当大数据的规模到了临界点的时候，尤其是电子商务平台和社交平台，那么这种脚步就会放缓，目前看隐衷政策法规曾经逐渐清晰多了。

反观小数据，实际上就是一个社会化的一种长尾的体现，

大数据集中在蓝色局部，被大量的大厂、政府机构、公共事业部门所领有，那么这些数据无论面向社会的那个畛域，都趋向于数据的对立结构化、标准化和共享性，不过社会大量的企业、软件服务商的信息库中都存有各式各样设计的数据表，就是黄色局部一样造成长长的尾巴。因而小数据是趋向于结构设计的多样性，而且因为不具备共享技术的投入和能源，大量的小数据大多数都是关闭的。

谈完了大数据的社会化特点，咱们再说说大数据的技术问题。大数据的规模化导致了原先传统技术的数据处理系统无奈实现失常的操作了，甚至曾经远远达不到向 客户承诺的 SLA（服务级别协定）——品质、水准、性能，才会有大数据技术的呈现。

就追溯大数据技术的源头，谈谈 Google，当年 Google 打遍天下无敌手的 Page Rank 算法，运行在传统的低廉的商业单机数据库上，后果可想而知，存储规模远远超过单机所能接受的极限。Google 遵循的是一种简略间接的设计格调，设计出了 GFS 分布式文件系统，更让人大跌眼镜的是，竟然没有设计索引？

难道 Google 的设计师在设计索引的时候睡着了，醒来就疏忽了吗？其实不然，这就是 Google 设计理念的要害，抓住问题的实质，指标是能在分布式的环境下更快、更多的存储原始数据，不去设计索引，就能大大加重了数据存储的累赘。Google 的指标是对抓取的页面剖析价值、影响，而后造成排名，再写入到页面查问索引的数据库。那么这个剖析的过程，能够批量的、程序的、大块的读取数据，而后并行任务的去晋升效率剖析解决。

GFS 的设计办法很无效，简略间接，就像二战苏军的 t43 坦克一样，没有德军虎式精细，然而能够大量便宜的生产，施展和平中的规模效应，互联网战场也一样，迅速的扩充占领区。

GFS 的开源版，就是赫赫有名的 Hadoop 了，看着 Hadoop，就跟看见他大哥 GFS 一个模子，HDFS 能够说把大文件的高效、分块、程序读写施展到了极致。

当面对社会化大数据的疾速倒退，而设计出了的最简略、间接、高效的技术手段去解决之后，在做一些精细化的倒退，例如：GFS 之上就有了 BigTable，开源的 HDFS 之上就是 HBase，通过 SSTable+LSM 树的数据结构建设合乎大数据写入和回放的索引机制，齐全不同于传统的关系型数据库的 B 树索引了！这种索引机制也是 NoSQL 的基石。

这张图就是大数据存储的谱系，能够看到顶端数据存储局部追溯到了 Google 的 GFS。

Google 这是引领了大数据时代的技术，让咱们能更加从容的去应答大数据带来的数据系统冲击，要害还是咱们实实在在的大数据需要，须要在这个宏大的技术生态中寻找到适合的组合计划，这才是大数据技术利用的要害。

所以已经言必大数据的炽热期早曾经过来了，无论从客户方，还是技术方都在探寻什么才是真正的大数据，但至多晓得挂一个大屏，展现几个统计图的那个所谓的“大数据”模式，早已成为过来的笑谈。

真正的大数据时代曾经降临，而且懂得如何利用技术去解决大数据问题，产生出以前不敢想的数据价值，或者以前难以轻松做到的事件，当初很多都将变为可能。

无论是应用批量技术用 Spark 将数据集和机器学习算法进行连贯也好，还是用 Kafka 实现每天百亿数据的汇聚散发也罢，都是为了使得让更大量的数据造成流动的价值，为不同类型的用户提供独具特色的数据服务。

这时候数据的产出过程更像流动的血液，社会的血液，让咱们的生存体现得更活泼、沉闷。

咱们是“读字节”技术团队，大数据、分布式软件架构的深度、业余解读。