在 Facebook，Spark 集群启用了动静资源分配（Dynamic Executor Allocation），以便更好的应用集群资源，而且在 Facebook 外部，Spark 是运行在多租户的集群上，所以这个也是十分适合的。比方典型的配置如下：

给值为NULL的数据赋值，它的格局是NVL( string1, replace_with)。它的性能是如果string1为NULL，则NVL函数返回replace_with的值，否则返回string1的值，如果两个参数都为NULL ，则返回NULL。

Fetch抓取是指，Hive中对某些状况的查问能够不用应用MapReduce计算。例如：SELECT * FROM employees;在这种状况下，Hive能够简略地读取employee对应的存储目录下的文件，而后输入查问后果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性批改为more…

CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, …)];

留神：1、load操作不会对数据做任何的转换批改操作2、从本地linux load数据文件是复制文件的过程3、从hdfs load数据文件是挪动文件的过程4、load操作也反对向分区表中load数据，只不过须要增加分区列的值

筹备环境： hadoop根底环境（3.1.3）  Hive版本 3.1.2下载地址：[链接]Hive3.X版本反对Hadoop3.X,Hive2.0版本反对Hadoop2.X1、上传安装包，解压文件tar -zxvf   对应包名2、 创立软连贯ln -s  apache-hive-1.2.2-bin hive3、批改环境变量vim ~/.bash_profile批改实现使环境变量立刻失效source ~/.bash_profile4、批改配…

MR： 在MapTask输入key-value时，为每个key-value计算一个区号，同一个分区的数据，会被同一个reduceTask解决这个分区的数据，最终生成一个后果文件！通过分区，将MapTask输入的key-value通过reduce后，扩散到多个不同的后果文件中！Hive: 将表中的数据，扩散到表目录下的多个子目录(分区目录)中

阐明doris 未应用 物化视图，应用的是聚合类型动静分区表。tidb 未应用分区表数据量7800w步骤doris 建表语句： {代码…} hive 长期表 {代码…} 荡涤 hive 表adm_v1.adm_cms_flow_daily 数据，导入tmp_v1.tmp_zdh_test_biz_cms_flow_tmp_v20。 {代码…} 验证数据量拉取hdfs 数据 到本地拆分文件 （依照行数拆分）导入…

Client端产生内存溢出执行上面的看是很简略的一条sql语句：hive> select count(1) from test_tb_1_1;

明天在应用Hive On Tez的时候发现一个问题，那就是咱们无奈设置Tez运行在Yarn下面的Job Name。依照设置MR失常的步骤来设置Job Name发现也是有效的。