关于大数据:大数据开发之hive的了解及SQL基础命令分享

49次阅读

共计 1809 个字符,预计需要花费 5 分钟才能阅读完成。

hive(数据仓库工具)
Hive 是一个数据仓库根底工具在 Hadoop 中用来解决结构化数据。它架构在 Hadoop 之上,总归为大数据,并使得查问和剖析不便。并提大数据培训供简略的 sql 查问性能,能够将 sql 语句转换为 MapReduce 工作进行运行。术语“大数据”是大型数据集,其中包含体积宏大,高速,以及各种由一劳永逸的数据的汇合。应用传统的数据管理系统,它是难以加工大型数据。因而,Apache 软件基金会推出了一款名为 Hadoop 的解决大数据管理和解决难题的框架。

SQL
结构化查询语言 (Structured Query Language) 简称 SQL,是一种数据库查问和程序设计语言,用于存取数据以及查问、更新和治理关系数据库系统;同时也是数据库脚本文件的扩展名。

结构化查询语言是高级的非过程化编程语言,容许用户在高层数据结构上工作。它不要求用户指定对数据的寄存办法,也不须要用户理解具体的数据寄存形式,所以具备齐全不同底层构造的不同数据库系统, 能够应用雷同的结构化查询语言作为数据输出与治理的接口。结构化查询语言语句能够嵌套,这使它具备极大的灵活性和弱小的性能。

常见 SQL 命令

SELECT 语句

作用:用于从表中选取数据,后果被存储在一个后果表中

语法:select 列名称 from 表名称

举例:select LastName from Person 或 select * from Person

WHERE 子句

作用:如需有条件地从表中选取数据,可将 WHERE 子句增加到 SELECT 语句

语法:SELECT 列名称 FROM 表名称 WHERE 列 运算符 值

举例:SELECT * FROM Persons WHERE FirstName=’John’

ORDER BY 语句

作用:ORDER BY 语句用于依据指定的列对后果集进行排序,默认依照升序对记录进行排序;如需依照降序,可应用 DESC 关键字

举例:ORDER BY SELECT LastName, FirstName FROM Persons ORDER BY FirstName

SELECT DISTINCT

作用:关键字 DISTINCT 用于返回惟一不同的值

语法:SELECT DISTINCT 列名称 FROM 表名称

举例:要从 Company 列中仅选取惟一不同的值,

SELECTDISTINCT Company FROM Orders

AND 和 OR 运算符

作用: AND 和 OR 可在 WHERE 子语句中把两个或多个条件联合起来。

如果第一个条件和第二个条件都成立,则 AND 运算符显示一条记录。

如果第一个条件和第二个条件中只有有一个成立,则 OR 运算符显示一条记录

举例:应用 AND 来显示所有姓为 “Carter” 并且名为 “Thomas” 的人

SELECT* FROM Persons WHERE FirstName=’Thomas’ AND LastName=’Carter’

SUM() 函数

作用:SUM 函数返回数值列的总数(总额)

语法:SELECT SUM(column_name) FROM table_name

举例:

 咱们心愿查找 “OrderPrice” 字段的总数

SELECTSUM(OrderPrice) AS OrderTotal FROM Orders

GROUP BY 语句

“GroupBy”从字面意义上了解就是依据“By”指定的规定对数据进行分组,所谓的分组就是将一个“数据集”划分成若干个“小区域”,而后针对若干个“小区域”进行数据处理

举例:

 select 类别, sum(数量) as 数量之和 fromA

groupby 类别

返回后果如下表,实际上就是分类汇总。

实例介绍:

  1. 从 persona_data_info 表中,查问 job_id=279 的每个 gender 类别的人数总和

select gender,sum(persona_count) from persona_data_info where job_id=279 group by gender;

  1. 从 persona_data_city ,persona_city_map 两个表中查问 job_id=279 且 citycode= map.code

SELECTjob_id,citycode,persona_count,province,region,city_level FROM persona_data_city,persona_city_map where job_id=279 AND persona_data_city.citycode =persona_city_map.code;

正文完
 0