大数据学习方法学习大数据需要的基础和路线

42次阅读

共计 817 个字符,预计需要花费 3 分钟才能阅读完成。

大数据基础学习

大数据基础入门

为什么要学习大数据

1、目的:要份很好工作(钱)

2、对比:Java 开发和大数据开发

什么是大数据?

举例:

1、商品推荐:问题:

(1)大量的订单如何存储?

(2)大量的订单如何计算?

2、天气预报:问题:

(1)大量的天气数据如何存储?

(2)大量的天气数据如何计算?

如果你想要学好大数据最好加入一个好的学习环境,可以来这个 Q 群 251956502 这样大家学习的话就比较方便,还能够共同交流和分享资料

什么是大数据,本质?

(1)数据的存储:分布式文件系统(分布式存储)

(2)数据的计算:分布式计算

Java 和大数据是什么关系?

1、Hadoop:基于 Java 语言开发

2、Spark:基于 Scala 语言,Scala 基于 Java 语言

学习大数据需要的基础和路线

1、学习大数据需要的基础:

Java 基础(JavaSE)—> 类、继承、I/O、反射、泛型 *

Linux 基础(Linux 的操作)—> 创建文件、目录、vi 编辑器 *

2、学习路线:

(1)Java 基础和 Linux 基础

(2)Hadoop 的学习:体系结构、原理、编程

(*)第一阶段:HDFS、MapReduce、HBase(NoSQL 数据库)

(*)第二阶段:数据分析引擎 —> Hive、Pig

数据采集引擎 —> Sqoop、Flume

(*)第三阶段:HUE:Web 管理工具

ZooKeeper:实现 Hadoop 的 HA

Oozie:工作流引擎

(3)Spark 的学习

(*)第一个阶段:Scala 编程语言

(*)第二个阶段:Spark Core—–> 基于内存,数据的计算

(*)第三个阶段:Spark SQL —–> 类似 Oracle 中的 SQL 语句

(*)第四个阶段:Spark Streaming—>

进行实时计算(流式计算)比如:自来水厂

(4)Apache Storm:类似 Spark Streaming —> 进行实时计算(流式计算):比如:自来水厂

(*)NoSQL:Redis 基于内存的数据库

正文完
 0