关于云计算:hive学习笔记之二复杂数据类型

32次阅读

共计 5723 个字符，预计需要花费 15 分钟才能阅读完成。

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，波及 Java、Docker、Kubernetes、DevOPS 等；

根本数据类型
简单数据类型
外部表和内部表
分区表
分桶
HiveQL 根底
内置函数
Sqoop
根底 UDF
用户自定义聚合函数 (UDAF)
UDTF

作为《hive 学习笔记》的第二篇，后面咱们理解了根本类型，本篇要学习的是简单数据类型；
简单数据类型一共有四种：

ARRAY：数组
MAP：键值对
STRUCT：命名字段汇合
UNION：从几种数据类型中指明抉择一种，UNION 的值必须于这些数据类型之一齐全匹配；

接下来一一学习；

确保 hadoop 曾经启动；
进入 hive 控制台的交互模式；
执行以下命令，使查问后果中带有字段名：

set hive.cli.print.header=true;

创立名为 t2 的表，只有 person 和 friends 两个字段，person 是字符串类型，friends 是数组类型，通过文本文件导入数据时，person 和 friends 之间的分隔符是 竖线 ，friends 外部的多个元素之间的分隔符是 逗号 ，留神申明分隔符的语法：

create table if not exists t2(
person string,
friends array<string>
)
row format delimited 
fields terminated by '|'
collection items terminated by ',';

创立文本文件 002.txt，内容如下，可见只有两条记录，第一条 person 字段值为 tom，friends 字段外面有三个元素，用逗号分隔：

tom|tom_friend_0,tom_friend_1,tom_friend_2
jerry|jerry_friend_0,jerry_friend_1,jerry_friend_2,jerry_friend_3,jerry_friend_4,jerry_friend_5

执行以下语句，从本地的 002.txt 文件导入数据到 t2 表：

load data local inpath '/home/hadoop/temp/202010/25/002.txt' into table t2;

查看全副数据：

hive> select * from t2;
OK
t2.person    t2.friends
tom    ["tom_friend_0","tom_friend_1","tom_friend_2"]
jerry    ["jerry_friend_0","jerry_friend_1","jerry_friend_2","jerry_friend_3","jerry_friend_4","jerry_friend_5"]
Time taken: 0.052 seconds, Fetched: 2 row(s)

查问 friends 中的某个元素的 SQL：

select person, friends[0], friends[3] from t2;

执行后果如下，第一条记录没有 friends[3]，显示为 NULL：

hive> select person, friends[0], friends[3] from t2; 
OK
person    _c1    _c2
tom    tom_friend_0    NULL
jerry    jerry_friend_0    jerry_friend_3
Time taken: 0.052 seconds, Fetched: 2 row(s)

数组元素中是否蕴含某值的 SQL：

select person, array_contains(friends, 'tom_friend_0') from t2;

执行后果如下，第一条记录 friends 数组中有 tom_friend_0，显示为 true，第二条记录不蕴含，就显示 false：

hive> select person, array_contains(friends, 'tom_friend_0') from t2;
OK
person    _c1
tom    true
jerry    false
Time taken: 0.061 seconds, Fetched: 2 row(s)

第一条记录的 friends 数组中有三个元素，借助 LATERAL VIEW 语法能够把这三个元素拆成三行，SQL 如下：

select t.person, single_friend
from (
    select person, friends 
    from  t2 where person='tom'
) t LATERAL VIEW explode(t.friends) v as single_friend;

执行后果如下，可见数组中的每个元素都能拆成独自一行：

OK
t.person    single_friend
tom    tom_friend_0
tom    tom_friend_1
tom    tom_friend_2
Time taken: 0.058 seconds, Fetched: 3 row(s)

以上就是数组的基本操作，接下来是键值对；

接下来打算创立名为 t3 的表，只有 person 和 address 两个字段，person 是字符串类型，address 是 MAP 类型，通过文本文件导入数据时，对分隔符的定义如下：

person 和 address 之间的分隔符是 竖线 ；
address 外部有多个键值对，它们的分隔符是 逗号 ；
而每个键值对的键和值的分隔符是 冒号 ；

满足上述要求的建表语句如下所示：

create table if not exists t3(
person string,
address map<string, string>
)
row format delimited 
fields terminated by '|'
collection items terminated by ',' 
map keys terminated by ':';

创立文本文件 003.txt，可见用了三种分隔符来分隔字段、MAP 中的多个元素、每个元素键和值：

tom|province:guangdong,city:shenzhen
jerry|province:jiangsu,city:nanjing

导入 003.txt 的数据到 t3 表：

load data local inpath '/home/hadoop/temp/202010/25/003.txt' into table t3;

查看全副数据：

hive> select * from t3;
OK
t3.person    t3.address
tom    {"province":"guangdong","city":"shenzhen"}
jerry    {"province":"jiangsu","city":"nanjing"}
Time taken: 0.075 seconds, Fetched: 2 row(s)

查看 MAP 中的某个 key，语法是 field[“xxx”]：

hive> select person, address["province"] from t3;
OK
person    _c1
tom    guangdong
jerry    jiangsu
Time taken: 0.075 seconds, Fetched: 2 row(s)

应用 if 函数，上面的 SQL 是判断 address 字段中是否有 ”street” 键，如果有就显示对应的值，没有就显示 filed street not exists：

select person, 
if(address['street'] is null, "filed street not exists", address['street']) 
from t3;

输入如下，因为 address 字段只有 province 和 city 两个键，因而会显示 filed street not exists：

OK
tom    filed street not exists
jerry    filed street not exists
Time taken: 0.087 seconds, Fetched: 2 row(s)

应用 explode 将 address 字段的每个键值对展现成一行：

hive> select explode(address) from t3;
OK
province    guangdong
city    shenzhen
province    jiangsu
city    nanjing
Time taken: 0.081 seconds, Fetched: 4 row(s)

下面的 explode 函数只能展现 address 字段，如果还要展现其余字段就要持续 LATERAL VIEW 语法，如下，可见后面的数组开展为一个字段，MAP 开展为两个字段，别离是 key 和 value：

select t.person, address_key, address_value
from (
    select person, address 
    from  t3 where person='tom'
) t LATERAL VIEW explode(t.address) v as  address_key, address_value;

后果如下：

OK
tom    province    guangdong
tom    city    shenzhen
Time taken: 0.118 seconds, Fetched: 2 row(s)

size 函数能够查看 MAP 中键值对的数量：

hive> select person, size(address) from t3;
OK
tom    2
jerry    2
Time taken: 0.082 seconds, Fetched: 2 row(s)

STRUCT 是一种记录类型，它封装了一个命名的字段汇合，外面有很多属性，新建名为 t4 的表，其 info 字段就是 STRUCT 类型，外面有 age 和 city 两个属性，person 和 info 之间的分隔符是 竖线 ，info 外部的多个元素之间的分隔符是 逗号 ，留神申明分隔符的语法：

create table if not exists t4(
person string,
info struct<age:int, city:string>
)
row format delimited 
fields terminated by '|'
collection items terminated by ',';

筹备好名为 004.txt 的文本文件，内容如下：

tom|11,shenzhen
jerry|12,nanjing

加载 004.txt 的数据到 t4 表：

load data local inpath '/home/hadoop/temp/202010/25/004.txt' into table t4;

查看 t4 的所有数据：

hive> select * from t4;
OK
tom    {"age":11,"city":"shenzhen"}
jerry    {"age":12,"city":"nanjing"}
Time taken: 0.063 seconds, Fetched: 2 row(s)

查看指定字段，用 filedname.xxx 语法：

hive> select person, info.city from t4;
OK
tom    shenzhen
jerry    nanjing
Time taken: 0.141 seconds, Fetched: 2 row(s)

最初一种是 UNIONTYPE，这是从几种数据类型中指明抉择一种，因为 UNIONTYPE 数据的创立设计到 UDF（create_union），这里先不开展了，先看看建表语句：

CREATE TABLE union_test(foo UNIONTYPE<int, double, array<string>, struct<a:int,b:string>>);

查问后果：

SELECT foo FROM union_test;

{0:1}
{1:2.0}
{2:["three","four"]}
{3:{"a":5,"b":"five"}}
{2:["six","seven"]}
{3:{"a":8,"b":"eight"}}
{0:9}
{1:10.0}

至此，hive 的根底数据类型和简单数据类型咱们都实际操作过一遍了，接下来的文章将开展更多 hive 常识，期待与您共同进步；

Java 系列
Spring 系列
Docker 系列
kubernetes 系列
数据库 + 中间件系列
DevOps 系列

微信搜寻「程序员欣宸」，我是欣宸，期待与您一起畅游 Java 世界 …
https://github.com/zq2599/blog_demos

正文完

云计算

发表至：云计算

2021-03-11

0

关于云计算:从零入门-Serverless-使用-Spot-低成本运行-Job-任务

关于云计算:最佳实践了解-Eolinker-如何助力远程办公

关于云计算:用-KubeKey-快速离线部署-K8s-与-KubeSphere

关于云计算:为什么混合云需要虚拟化

关于redis:Go-语言开发设计指北

关于云计算:hive学习笔记之二复杂数据类型

欢送拜访我的 GitHub

《hive 学习笔记》系列导航

本篇概览

筹备环境

ARRAY

MAP，建表，导入数据

MAP，查问

STRUCT

UNION

你不孤独，欣宸原创一路相伴

欢送关注公众号：程序员欣宸

Just My Socks（注册教程内含优惠码）

关于云计算:hive学习笔记之二复杂数据类型

欢送拜访我的 GitHub

《hive 学习笔记》系列导航

本篇概览

筹备环境

ARRAY

MAP，建表，导入数据

MAP，查问

STRUCT

UNION

你不孤独，欣宸原创一路相伴

欢送关注公众号：程序员欣宸

Just My Socks（注册教程 内含优惠码）

Just My Socks（注册教程内含优惠码）