此文档是笔记形式,没有具体整顿,仅供参考,目前社区版本是0.14.0,百度预编译公布版本是0.14.13
doris装置部署及各种load形式
装置部署
1.下载Doris的源码包及编译
编译倡议应用官网提供的docker镜像进行编译
docker pull apache/incubator-doris:build-env-1.3.1
具体能够参考官网:doris编译
cd /optwget https://dist.apache.org/repos/dist/dev/incubator/doris/0.12.0-rc03/apache-doris-0.12.0-incubating-src.tar.gz解压装置tar -zxvf apache-doris-0.12.0-incubating-src.tar.gzcd apache-doris-0.12.0-incubating-srcsh build.sh
在
2.配置该节点的FE(Leader)
cd output/femkdir doris-metamkdir logsh bin/start_fe.sh --daemon运行之后检查一下,是否有doris的进行,监听的端口,日志信息等等vi log/fe.log
3.配置BE
cd output/bemkdir storagemkdir log
4.散发到所有须要装置的BE节点 scp -r output/be root@主机名:/
5.装置mysql客户端
1,从官网下载安装包(在Centos7上要下载 RH Linux 7 的安装包)
https://dev.mysql.com/downloa...
mysql-8.0.17-1.el7.x86_64.rpm-bundle.tar
2,清理环境
2.1 查看零碎是否曾经装置了mysql数据库
rpm -qa | grep mysql
2.2 将查问出的文件一一删除,如
yum remove mysql-community-common-5.7.20-1.el6.x86_64
2.3 删除mysql的配置文件
find / -name mysql
2.4 删除配置文件
rm -rf /var/lib/mysql
2.5删除MariaDB文件
rpm -pa | grep mariadb
删除查找出的相干文件和目录,如
yum -y remove mariadb-libs.x86_64
3,装置
3.1解压
tar -xf mysql-8.0.17-1.el7.x86_64.rpm-bundle.tar
3.2装置
yum install mysql-community-{client,common,devel,embedded,libs,server}-*
期待装置胜利!
4,配置
4.1 启动mysqld服务,并设为开机主动启动。命令:
systemctl start mysqld.service //这是centos7的命令
systemctl enable mysqld.service
4.2 通过如下命令能够在日志文件中找出明码:
grep "password" /var/log/mysqld.log
4.3依照日志文件中的明码,进入数据库
mysql -uroot -p
4.4设置明码(留神Mysql8明码设置规定必须是大小写字母+特殊符号+数字的类型)
ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';
6.近程连贯doris服务
mysql -uroot -h 172.22.197.72 -P 9030
7.增加所有BE
ALTER SYSTEM ADD BACKEND "172.22.197.73:9050";ALTER SYSTEM ADD BACKEND "172.22.197.74:9050";ALTER SYSTEM ADD BACKEND "172.22.197.75:9050";ALTER SYSTEM ADD BACKEND "172.22.197.76:9050";ALTER SYSTEM ADD BACKEND "172.22.197.77:9050";ALTER SYSTEM ADD BACKEND "172.22.197.78:9050";ALTER SYSTEM ADD BACKEND "172.22.197.79:9050";ALTER SYSTEM ADD BACKEND "172.22.197.80:9050";ALTER SYSTEM ADD BACKEND "172.22.197.81:9050";#删除BE节点,数据会同步到其余节点ALTER SYSTEM DECOMMISSION BACKEND "172.22.197.73:9050";#删除BE节点,该节点数据间接删除ALTER SYSTEM DECOMMISSION BACKEND "172.22.197.73:9050";
8.启动BE节点
sh bin/start-be.sh --daemon
9.ui界面查看是否增加进来
http://172.22.197.72:8030/sys...
10.增加brokername
ALTER SYSTEM ADD BROKER broker_name01 "test-pro-doris-01:8000";#删除ALTER SYSTEM DROP BROKER broker_name "test-pro-doris-01:8000";
11.ui界面查看是否增加胜利
http://172.22.197.72:8030/sys...
doris ODBC load
1.在线装置MYSQL ODBC驱动
yum -y install unixODBC
yum -y install mysql-connector-odbc
遇到问题:yum -y install mysql-connector-odbc 装置不胜利
解决办法:下载jar mysql-connector-odbc-8.0.11-1.el7.x86_64.rpm进行本地装置
yum localinstall mysql-connector-odbc-8.0.11-1.el7.x86_64.rpm
2.配置Mysql驱动
cat /etc/odbc.ini #增加如下信息 /************************************************ [mysql-hr] Driver = /usr/lib64/libmyodbc8a.so #留神驱动程序的抉择 Description = MyODBC 5 Driver SERVER = 192.168.235.140 #要连贯的数据库信息 PORT = 3306 USER = root Password = root Database = hr OPTION = 3 charset=UTF8
3.测试连贯
# isql mysql-hr test root password -v ##语法:isql 数据源名称 用户名 明码 选项 +---------------------------------------+ | Connected! | | |password | sql-statement | | help [tablename] | | quit | | | +---------------------------------------+ SQL>show database;
测试胜利
4.配置FE
vim /doris-0.13.11/output/be/conf/fe.conf
enable_odbc_table = true 必配项
5.配置BE(所有BE节点都须要配置)
vim /doris-0.13.11/output/be/conf/odbcinst.ini 增加 [MySQL Driver] Description = ODBC for MySQL Driver = /usr/lib/libmyodbc8a.so FileUsage = 1
阐明:driver ODBC装置的目录
6.测试ODBC on doris
举荐形式:
##### 1.通过ODBC_Resource来创立ODBC表面 CREATE EXTERNAL RESOURCE `mysql_odbc_doris` PROPERTIES ( "type" = "odbc_catalog", "host" = "172.22.193.65", "port" = "3306", "user" = "root", "password" = "password", "database" = "posresult", "odbc_type" = "mysql", "driver" = "MySQL Driver" );
阐明:
host须要连贯的数据库ip(映射库的ip) port端口 user用户名 password明码 database数据库 odbc_type:mysql(反对oracle, mysql, postgresql) driver:ODBC表面的Driver名,该名字须要和be/conf/odbcinst.ini中的Driver名统一
#####2.创立DORIS内部表映射MYSQL表
CREATE EXTERNAL TABLE `test_mysql` ( `id` varchar(32) NOT NULL COMMENT 'ID', `table_bill_id` varchar(36) DEFAULT NULL COMMENT '菜单编号', `shop_id` varchar(32) DEFAULT NULL COMMENT '门店ID', `dish_type` int(11) DEFAULT NULL COMMENT '类型 : 1-菜品 2-火锅 3-底料', `dish_id` varchar(50) DEFAULT NULL COMMENT '菜品ID(此处为菜品ID,不是菜品关联ID)', `dish_name` varchar(100) DEFAULT NULL COMMENT '菜品名称', `standard_id` varchar(32) DEFAULT NULL COMMENT '规格编码', `standard_code` varchar(100) DEFAULT NULL COMMENT '规格ID', `dish_price` varchar(16) DEFAULT NULL COMMENT '菜品单价', `served_quantity` int(11) DEFAULT NULL COMMENT '已上数量', `order_time` varchar(50) DEFAULT NULL COMMENT '点菜工夫', `dish_abnormal_status` varchar(20) DEFAULT NULL COMMENT '[A]菜品异样状态', `ts` varchar(20) DEFAULT NULL COMMENT 'POS订单创立工夫', `taste_type_id` varchar(32) DEFAULT NULL, `taste_name` varchar(50) DEFAULT NULL) ENGINE=ODBCCOMMENT "ODBC"PROPERTIES ("odbc_catalog_resource" = "mysql_odbc_doris_test","database" = "posresult","table" = "t_pro_dish_list_detail");
阐明:
odbc_catalog_resource 创立的Resource名称
database 表面数据库数据库名称
table 表面数据库表名
#####3.执行DDL操作是否插入胜利
selct * from test_mysql
7.常见谬误
1.呈现谬误:(10001 NOT ALIVE,10002 NOT ALIVE)
起因:编译doris的时候没有带WITH_MYSQL,Mysql_Odbc须要8.x,如果采纳5.x会呈现下面谬误,切换版本到8.X
编译如果带WITH_MYSQL,能够采纳5.x版本