关于大数据:BitSail拍了拍你并给你一份快速入门指南

3次阅读

共计 1922 个字符，预计需要花费 5 分钟才能阅读完成。

本 Quick Guide 面向 BitSail 新手入门应用人员，从源码编译、产物构造、如何提交作业、实机演示等多方面率领大家迅速入门 BitSail，从 0 到 1 理解并实现 BitSail 根底构建。

BitSail 在我的项目中内置了编译脚本 build.sh，寄存在我的项目根目录中。新下载的用户能够间接该脚本进行编译，编译胜利后能够在目录：bitsail-dist/target/bitsail-dist-${rversion}-bin 中找到相应的产物。

Flink Session Job
第一步：启动 Flink Session 集群

session 运行要求本地环境存在 hadoop 的依赖，同时须要 HADOOP_CLASSPATH 的环境变量存在。

bash ./embedded/flink/bin/start-cluster.sh

第二步：提交作业到 Flink Session 集群

bash bin/bitsail run \
–engine flink \
–execution-mode run \
–deployment-mode local \
–conf examples/Fake_Print_Example.json \
–jm-address <job-manager-address>

Yarn Cluster Job

第一步：设置 HADOOP_HOME 环境变量

export HADOOP_HOME=XXX

第二步：设置 HADOOP_HOME，使提交客户端就找到 yarn 集群的配置门路，而后就能够提交作业到 Yarn 集群

bash ./bin/bitsail run –engine flink \
–conf ~/dts_example/examples/Hive_Print_Example.json \
–execution-mode run \
–deployment-mode yarn-per-job \
–queue default

这部分将为大家实机演示两个重要步骤。第一个演示是将 fake 的数据源写入到 MySQL 的数据源中，第二个演示是将 MySQL 数据源写入到 Hive 中。

Fake->MySQL

// 创立 mysql 表
CREATE TABLE bitsail_fake_source (
id bigint(20) NOT NULL AUTO_INCREMENT,
name varchar(255) DEFAULT NULL,
price double DEFAULT NULL,
image blob,
start_time datetime DEFAULT NULL,
end_time datetime DEFAULT NULL,
order_id bigint(20) DEFAULT NULL,
enabled tinyint(4) DEFAULT NULL,
datetime int(11) DEFAULT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

MySQL->Hive

// 创立 hive 表
CREATE TABLE bitsail.bitsail_mysql_hive(
id bigint ,
name string ,
price double ,
image binary,
start_time timestamp ,
end_time timestamp,
order_id bigint ,
enabled int,
datetime int
)PARTITIONED BY (date string)
ROW FORMAT SERDE
‘org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe’
STORED AS INPUTFORMAT
‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat’
OUTPUTFORMAT
‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat’