视频地址

“读字节”公众号视频地址：进入大数据畛域的学习路线是什么？

“读字节-大数据” B站视频地址：进入大数据畛域的学习路线是什么？

“读字节(大数据)” 知乎视频地址：进入大数据畛域的学习路线是什么？

文字内容：

想要进入大数据畛域，首先最好要有一个演练场景，也就是你服务的客户具备大量非结构化的数据。若无奈满足这一点，其实也不用懊恼，注意有些书的例子就带了很多数据，例如Google的Kaggle网站，有很多美国公共事业的数据。

其次学习大数据要有足够的机器资源，一台8核，16g—32g内存的电脑应该算学习的最低配置吧，当初大部分好点笔记本都能反对。切记是学习大数据技术而不是深度学习啊，那个深度学习硬件配置都是3万起步。

学习大数据肯定要从数据的采集、解决(包含流，批)、音讯队列和存储动手。这是大数据技术的生命周期

技术路线上，我倡议先首先从nosql开始，学会文档数据库，键值对数据库的存储，也最好上手，像elasticsearch，MongoDB，Redis等等先来一圈

其次从日志流式管道动手，了解一下大数据传输的整体生命周期，那么学习elk技术，也就是filebeat采集文件或日志，logstash荡涤过滤，kafka长期直达，再写入elasticsearch，Kibana最终显示。那么你会对大数据流的过程有了粗浅的意识。

好了，做完下面的事件，总算大数据学习前的热身了！哈哈哈

开始进入正题

第一步开始应用举荐的硬件配置，开始搭建集群，zookeeper集群，做散布式调度;hdfs集群做分布式文件系统;yarn集群做分布式计算;hbase集群列式稠密存储

第二步Hadoop生态工具搭建，hive工具，实现SQL接口视图加元数据存储;sqoop做rdbms数据库到hdfs的物化视图;flume替换elk，做文件或日志的流式采集进入hdfs。

第三步，开始你的根底编程之旅，包含hdfs的Java调用，MapReduce的程序实现，了解hdfs的块构造，了解MapReduce的计数，排序，连贯和聚合，了解分区和分桶等等。另外还要了解实际avro容器格局，parquet列式格局，了解压缩，这些都是基本。

第四步，开始spark之旅，搭建spark集群，学习什么是rdd，dataframe，学习scala语言，会Python更好，学习spark streaming如何将rdd转换成微批模式和流式解决

好吧，有了这些功底，就能够开始一些机器学习或数据科学分析或数据挖掘的学习了。祝福你能成为大数据这方面的专家。

返回读字节的知乎——理解更多对于大数据的常识

公众号“读字节” 分布式，大数据，软件架构的深度，业余解读