此文档是笔记形式,没有具体整顿,仅供参考,目前社区版本是0.14.0,百度预编译公布版本是0.14.13
doris装置部署及各种load形式

装置部署

1.下载Doris的源码包及编译

编译倡议应用官网提供的docker镜像进行编译

docker pull apache/incubator-doris:build-env-1.3.1

具体能够参考官网:doris编译

cd /optwget https://dist.apache.org/repos/dist/dev/incubator/doris/0.12.0-rc03/apache-doris-0.12.0-incubating-src.tar.gz解压装置tar -zxvf apache-doris-0.12.0-incubating-src.tar.gzcd apache-doris-0.12.0-incubating-srcsh build.sh

2.配置该节点的FE(Leader)

cd output/femkdir doris-metamkdir logsh bin/start_fe.sh --daemon运行之后检查一下,是否有doris的进行,监听的端口,日志信息等等vi log/fe.log

3.配置BE

cd output/bemkdir storagemkdir log

4.散发到所有须要装置的BE节点 scp -r output/be root@主机名:/

5.装置mysql客户端
1,从官网下载安装包(在Centos7上要下载 RH Linux 7 的安装包)
https://dev.mysql.com/downloa...
mysql-8.0.17-1.el7.x86_64.rpm-bundle.tar
2,清理环境
2.1 查看零碎是否曾经装置了mysql数据库
rpm -qa | grep mysql
2.2 将查问出的文件一一删除,如
yum remove mysql-community-common-5.7.20-1.el6.x86_64
2.3 删除mysql的配置文件
find / -name mysql
2.4 删除配置文件
rm -rf /var/lib/mysql
2.5删除MariaDB文件
rpm -pa | grep mariadb
删除查找出的相干文件和目录,如
yum -y remove mariadb-libs.x86_64
3,装置
3.1解压
tar -xf mysql-8.0.17-1.el7.x86_64.rpm-bundle.tar
3.2装置
yum install mysql-community-{client,common,devel,embedded,libs,server}-*
期待装置胜利!
4,配置
4.1 启动mysqld服务,并设为开机主动启动。命令:
systemctl start mysqld.service //这是centos7的命令
systemctl enable mysqld.service
4.2 通过如下命令能够在日志文件中找出明码:
grep "password" /var/log/mysqld.log
4.3依照日志文件中的明码,进入数据库
mysql -uroot -p
4.4设置明码(留神Mysql8明码设置规定必须是大小写字母+特殊符号+数字的类型)
ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';

6.近程连贯doris服务

mysql -uroot -h 172.22.197.72 -P 9030

7.增加所有BE

ALTER SYSTEM ADD BACKEND "172.22.197.73:9050";ALTER SYSTEM ADD BACKEND "172.22.197.74:9050";ALTER SYSTEM ADD BACKEND "172.22.197.75:9050";ALTER SYSTEM ADD BACKEND "172.22.197.76:9050";ALTER SYSTEM ADD BACKEND "172.22.197.77:9050";ALTER SYSTEM ADD BACKEND "172.22.197.78:9050";ALTER SYSTEM ADD BACKEND "172.22.197.79:9050";ALTER SYSTEM ADD BACKEND "172.22.197.80:9050";ALTER SYSTEM ADD BACKEND "172.22.197.81:9050";#删除BE节点,数据会同步到其余节点ALTER SYSTEM DECOMMISSION BACKEND "172.22.197.73:9050";#删除BE节点,该节点数据间接删除ALTER SYSTEM DECOMMISSION BACKEND "172.22.197.73:9050";

8.启动BE节点
sh bin/start-be.sh --daemon

9.ui界面查看是否增加进来
http://172.22.197.72:8030/sys...

10.增加brokername

ALTER SYSTEM ADD BROKER broker_name01 "test-pro-doris-01:8000";#删除ALTER SYSTEM DROP BROKER broker_name "test-pro-doris-01:8000";

11.ui界面查看是否增加胜利
http://172.22.197.72:8030/sys...

doris ODBC load
1.在线装置MYSQL ODBC驱动
yum -y install unixODBC
yum -y install mysql-connector-odbc

遇到问题:yum -y install mysql-connector-odbc 装置不胜利

解决办法:下载jar mysql-connector-odbc-8.0.11-1.el7.x86_64.rpm进行本地装置

yum localinstall mysql-connector-odbc-8.0.11-1.el7.x86_64.rpm

2.配置Mysql驱动

 cat /etc/odbc.ini #增加如下信息 /************************************************ [mysql-hr] Driver = /usr/lib64/libmyodbc8a.so #留神驱动程序的抉择 Description = MyODBC 5 Driver  SERVER = 192.168.235.140    #要连贯的数据库信息 PORT = 3306 USER = root Password = root Database = hr OPTION = 3 charset=UTF8

3.测试连贯

 # isql mysql-hr test root password -v ##语法:isql 数据源名称 用户名 明码 选项 +---------------------------------------+ | Connected! | | |password | sql-statement | | help [tablename] | | quit | | | +---------------------------------------+ SQL>show database;

测试胜利
4.配置FE
vim /doris-0.13.11/output/be/conf/fe.conf
enable_odbc_table = true 必配项
5.配置BE(所有BE节点都须要配置)

 vim /doris-0.13.11/output/be/conf/odbcinst.ini 增加 [MySQL Driver] Description     = ODBC for MySQL Driver          = /usr/lib/libmyodbc8a.so FileUsage       = 1

阐明:driver ODBC装置的目录
6.测试ODBC on doris
举荐形式:

  ##### 1.通过ODBC_Resource来创立ODBC表面 CREATE EXTERNAL RESOURCE `mysql_odbc_doris` PROPERTIES ( "type" = "odbc_catalog", "host" = "172.22.193.65", "port" = "3306", "user" = "root", "password" = "password", "database" = "posresult", "odbc_type" = "mysql", "driver" = "MySQL Driver" );

阐明:

  host须要连贯的数据库ip(映射库的ip)  port端口  user用户名  password明码  database数据库  odbc_type:mysql(反对oracle, mysql, postgresql)  driver:ODBC表面的Driver名,该名字须要和be/conf/odbcinst.ini中的Driver名统一

#####2.创立DORIS内部表映射MYSQL表

CREATE EXTERNAL TABLE `test_mysql` (  `id` varchar(32) NOT NULL COMMENT 'ID',  `table_bill_id` varchar(36) DEFAULT NULL COMMENT '菜单编号',  `shop_id` varchar(32) DEFAULT NULL COMMENT '门店ID',  `dish_type` int(11) DEFAULT NULL COMMENT '类型 : 1-菜品 2-火锅 3-底料',  `dish_id` varchar(50) DEFAULT NULL COMMENT '菜品ID(此处为菜品ID,不是菜品关联ID)',  `dish_name` varchar(100) DEFAULT NULL COMMENT '菜品名称',  `standard_id` varchar(32) DEFAULT NULL COMMENT '规格编码',  `standard_code` varchar(100) DEFAULT NULL COMMENT '规格ID',  `dish_price` varchar(16) DEFAULT NULL COMMENT '菜品单价',  `served_quantity` int(11) DEFAULT NULL COMMENT '已上数量',  `order_time` varchar(50) DEFAULT NULL COMMENT '点菜工夫',  `dish_abnormal_status` varchar(20) DEFAULT NULL COMMENT '[A]菜品异样状态',  `ts` varchar(20) DEFAULT NULL COMMENT 'POS订单创立工夫',  `taste_type_id` varchar(32) DEFAULT NULL,  `taste_name` varchar(50) DEFAULT NULL) ENGINE=ODBCCOMMENT "ODBC"PROPERTIES ("odbc_catalog_resource" = "mysql_odbc_doris_test","database" = "posresult","table" = "t_pro_dish_list_detail");

阐明:
odbc_catalog_resource 创立的Resource名称
database 表面数据库数据库名称
table 表面数据库表名
#####3.执行DDL操作是否插入胜利
selct * from test_mysql
7.常见谬误
1.呈现谬误:(10001 NOT ALIVE,10002 NOT ALIVE)
起因:编译doris的时候没有带WITH_MYSQL,Mysql_Odbc须要8.x,如果采纳5.x会呈现下面谬误,切换版本到8.X

  编译如果带WITH_MYSQL,能够采纳5.x版本