Tars基础框架手动搭建——填掉官方 Guide 的坑

41次阅读

共计 10381 个字符,预计需要花费 26 分钟才能阅读完成。

背景
Tars 简介
腾讯 Tars 是腾讯内部使用的 TAF(Tencent Application Framework)的对外开源版,去掉了许多冗杂多余的部分。该框架集开发、运维、微服务、RPC 等为一体。对程序员而言,这就是一个能够快速搭建整个微服务体系的开发框架。这个框架支持基于 C++、Node.js、PHP、Java 等语言开发,最新版本已经支持后台开发语言新贵——Go。
安装任务
Tars 实际的应用场景是多机器、多节点部署的,不过从实验验证的角度,我做的只是在单一一台机器上,实现 Tars 管理平台部署,以及任务的发布。由于 Tars 版本一直在迭代,为防止文章过时误导后来者,本文以 f3ef251013 节点为准,请读者 follow 最新的 Tars 版本来。官方安装文档在这里。
然而,正如很多新的开源项目一样,代码很丰满,文档很骨感。一步一步跟着官方文档走的话,是有可能无法一次走通的……本文跟随文档的安装脉络,进行了重新梳理,为读者呈现一个尽量不挖坑的搭建过程。
请注意,“Tars”这个概念,除了其基础框架之外,还包含开发工具(如 TarsCpp、TarsJava 等等)、协议等等许多内容。不过本文主要讲述 Tars 基础框架,因此下文所提及的“基础框架”,如无特别说明,都专指“Tars 基础框架”。
本文解决的问题
前文提及,直接 follow 官方文档,是无法完成服务部署的。因为过程中遇到很多坑,每一个坑都导致基础框架无法搭建,或者是搭建后无法发布服务。笔者根据文档搭建过程中遇到的坑有:

部分操作需要 sudo——文档中有些温馨地提醒了 sudo,但是另外一些未提醒
数据库采用 MySQL 5.6 版,但部分说明不适用于 MariaDB
说明文字与配图不完全一致
不同代码处的数据库用户名和密码不统一
启动所需的数据库表信息有缺失

环境准备
系统准备
部署实验需要准备至少一台 Linux 机器。这可以是一台本地的实体机或虚拟机,也可以是一台云主机。由于部署过程中,需要编译 Tars 框架以及 MySQL 代码(如果系统里没装 Oracle 的 MySQL 的话),强烈建议系统至少要求有 4GB 的内存!系统建议采用 CentOS 或 Ubuntu。本文采用 Ubuntu 来安装,但 CentOS 差别不大,读者可以参考执行。
此外,笔者不采用 root 账户,只有在需要 root 权限的时候才使用 sudo 操作。
像笔者这样只有 1 核 1GB 云主机的,还需要在本地额外准备一台 Linux 虚拟机用于编译,再将编译出来的目标文件转移到云主机上。
软件准备
使用 Ubuntu,基础框架和 C++ 开发环境需要以下开发组件:
gcc g++(CentOS 则是 gcc-c++)flex bison make cmake perl gcc zlibc gzip git libncurses5-dev
protobuf-c-compiler protobuf-compiler libprotobuf-dev libprotobuf-c-dev libprotoc-dev
libmariadb-client-lgpl-dev mariadb-client mariadb-server
此外,还需要手动安装的软件或库有:
mysql-server node.js(包括 npm)
TarsCloud/TarsFramework TarsCloud/TarsWeb TarsClous/TarsCpp
这些手动安装的软件会在后问说明。
MySQL 问题
官方文档使用的 MySQL 版本是 5.6。但是这有两个问题:

Oracle 维护的开源 MySQL 已经发展到 5.7 和 8.0 版了,Tars 是否向后兼容?
最新的 CentOS 和 Ubuntu 的软件包中已移除 MySQL,以 MariaDB 取代,Tars 是否支持?

本人的答案是:

从网上的资料看,基础框架支持 5.7,但需要修改 cmake 的选项,麻烦点;此外,在交流群中也有反馈 5.7 版有问题,但没有深入了解。
支持,详见后文操作。

笔者的方案是:

使用 mariadb 作为数据库
使用 libmysqlclient.a 作为 TarsCpp 开发环境创建时链接的库(基础框架编译时强制链接静态库)
使用 libmariadb.so 作为实际应用开发时用的库

备份
安装之前,强烈建议不熟悉 Tars 基础框架的读者先给自己的机器做下备份,比如打个快照或者做个镜像之类的,这样如果后面部署失败了,也便于回滚系统,而不是一个一个抓虫。

安装支持软件
笔者所使用的用户名是 ubuntu,后文会有一些 shell 命令中采用了这个用户名,请读者留意替换成为自己的用户名。
MySQL
安装路径准备
默认下载的 Tars 基础框架需要链接 MySQL 的静态库 libmysqlclient.a,此外对库所在的位置也写死在了 Makefile 中。因此我们需要为 Tars 基础框架准备环境。
首先创建供基础框架链接的路径:
$ sudo mkdir -p /usr/local/mysql
$ sudo chown ubuntu:ubuntu /usr/local/mysql
然后需要寻找一下 mariadb 的动态库位置和头文件位置:
$ sudo find / -name ‘mariadb_com.h’ 2>/dev/null
$ sudo find / -name ‘libmariadbclient*’ 2>/dev/null
笔者的环境中,两者分别在 /usr/include/mariadb 和 /usr/lib/x86_64-linux-gnu 下,那么我们就创建两个软链接:
$ ln -s /usr/include/mariadb /usr/local/mysql/include
$ ln -s /usr/lib/x86_64-linux-gnu /usr/local/mysql/lib
再创建一个目录给 MySQL 实际安装用:
$ mkdir /home/ubuntu/mysql-5.6 # /home/ubuntu 是笔者系统的家目录,读者请注意替换。以下同理。
编译安装
直接从 GitHub 上 clone MySQL 的工程代码后,选择合适的版本:
$ mkdir -p ~/github.com/mysql/mysql-server
$ cd ~/github.com/mysql/mysql-server
$ git clone https://github.com/mysql/mysql-server.git ./
$ git checkout -b 5.6 origin/5.6 # 切换到 5.6 版
配置、编译、安装:
$ cmake . -DCMAKE_INSTALL_PREFIX=/home/ubuntu/mysql-5.6 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DMYSQL_USER=mysql -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/home/ubuntu/others/boost
$ make && make install
通过之后,我们还需要将 mysql 的静态库复制(或者链接)到为 Tars 基础框架准备的目录下:
$ ln -s /home/ubuntu/mysql-5.6/libmysqlclient.a /usr/local/mysql/lib/
Node.js
Tars 管理平台是使用 node.js 开发的,因此需要安装 nvm。对不熟悉 node 的读者,这里也简单列下安装方式(不建议使用 root 账户操作):
$ wget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.33.11/install.sh | bash
$ source ~/.bashrc
$ nvm install v8.11.3
$ npm install -g pm2 –registry=https://registry.npm.taobao.org
Tars 基础框架
首先,要下载 Tars 的基础框架代码:
$ mkdir -p /homes/ubuntu/github.com/TarsCloud/TarsFramework
$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework
$ git clone https://github.com/TarsCloud/TarsFramework.git ./
编译之:
$ cd build
$ chmod +x build.sh
$ ./build.sh prepare
$ ./build.sh all
如果编译失败(一般是缺某些库或组件),建议在解决问题后,清掉 TarsFramework 下的所有文件,重新 clone 后再编译。
安装的过程复杂一点,安装路径是固定的(虽然可以在工程文件中调整,为统一起见,不建议修改):
$ sudo mkdir -p /usr/local/tars
$ sudo chown ubuntu:ubuntu /usr/local/tars
$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/build
$ ./build.sh install
准备 Tars 数据库
Tars 使用用户名 tars、密码 tars2015 的组合,操作 MySQL 数据库。高级玩法自然是修改 Tars 中的用户名 / 密码组合。这里为了简单起见,干脆就直接采用默认的就好了。不过后文会介绍如何使用自定义的用户名密码。
笔者做验证时的 MySQL 与 Tars 部署在同一台机器上,IP 地址是 172.19.16.13。实际部署中,读者请注意换成实际地址。
添加相关账户的命令如下:
$ mysql -u root -p
进入 mysql 命令行后:
MariaDB [(none)]> grant all privileges on *.* to tars@localhost identified by ‘tars2015’;
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> exit;
官方文档说的配置备份什么的,就不用关心了。使用 Tars 的系统基本是部署在云上的,大都会用云服务商提供的自带主备的数据库服务(推荐腾讯云 TDSQL 哦,金融级 DB,但是价格和普通 DB 一个等级)。
接下来,我们通过执行 Tars 基础框架的 sql 脚本来创建相应的数据库结构:
$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/sql/
$ sed -i “s/192.168.2.131/172.19.16.13/g” `grep 192.168.2.131 -rl ./*`
$ sed -i “s/db.tars.com/172.19.16.13/g” `grep db.tars.com -rl ./*`
$ sed -i “s/10.120.129.226/172.19.16.13/g” `grep 10.120.129.226 -rl ./*`
$ chmod +x exec-sql.sh
$ ./exec-sql.sh
其中,172.19.16.13 是笔者的 DB 的 IP 地址,读者实际部署时请注意修改。
这些命令也给我们一个启发:数据库地址允许采用域名。
TIPS-1
如果读者不使用 tars/tars2015 的用户名 / 密码组合来操作数据库,那么可以自行修改上述的 sql 脚本:
$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/sql/
$ git status .
On branch master
Your branch is up-to-date with ‘origin/master’.
Changes not staged for commit:
(use “git add <file>…” to update what will be committed)
(use “git checkout — <file>…” to discard changes in working directory)

modified: db_tars.sql
modified: tarsconfig.sql
modified: tarslog.sql
modified: tarsnotify.sql
modified: tarspatch.sql
modified: tarsproperty.sql
modified: tarsqueryproperty.sql
modified: tarsquerystat.sql
modified: tarsstat.sql
可以看到被 sed 语句修改了的文件。读者可以在这些文件中找到用户名和密码配置项进行修改后,再执行。
TIPS-2
MariaDB server 安装之后默认监听 127.0.0.1 地址,但官方文档明确说明 DB 的 IP 地址不能使用 127.0.0.1。读者需要修改 MariaDB 的配置文件中监听地址的选项,否则后续 Tars 基础框架启动后,会遇到没有权限访问数据库的错误。

部署 Tars 基础框架
Tars 框架核心服务
Tars 核心基础框架指的是 tarsAdminRegistry, tarsregistry, tarsnode, tarsconfig, tarspatch 五个。前面我们其实已经编译好了,我们可以先把这些服务打包:
$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/build
$ make framework-tar
这会在 build 目录下生成 framework.tgz 文件。接下来我们需要做一些操作:
$ sudo mkdir -p /data/log/tars
$ sudo mkdir -p /home/tarsproto
$ sudo mkdir -p /usr/local/app/tars
$ sudo chown -R ubuntu:ubuntu /usr/local/app /data/log/tars /home/tarsproto
$ mv /homes/ubuntu/github.com/TarsCloud/TarsFramework/build/framework.tgz /usr/local/app/tars
$ cd /usr/local/app/tars
$ tar zxvf framework.tgz
这会在 /usr/local/app/tars/ 下面生成前述几个核心基础框架组件对应的文件夹。此外,还有 tars_install.sh 和 tarsnode_install.sh 两个脚本。不过我们得先配置一下——
五个核心基础框架组件的目录下均有 conf 文件夹,可以看到各个组件的配置文件,比如 tars.tarsregistry.config.conf。对操作已经很熟悉了的读者可以手动修改这些配置。不过也可以简单点地进行以下修改:
$ cd /usr/local/app/tars
$ sed -i “s/192.168.2.131/172.19.16.13/g” `grep 192.168.2.131 -rl ./*`
$ sed -i “s/db.tars.com/172.19.16.13/g” `grep db.tars.com -rl ./*`
$ sed -i “s/registry.tars.com/172.19.16.13/g” `grep registry.tars.com -rl ./*`
$ sed -i “s/web.tars.com/172.19.16.13/g” `grep web.tars.com -rl ./*`
四个 sed 命令修改的地址,对应的是:

本机地址,不能写 127.0.0.1;
前述数据库的地址;

tarsregistry 的 部署地址,可以不是本机;

web.tars.com 是 rsync 服务和 web 管理平台的部署地址。

修改了 IP 地址之后,还需要检查 tars 访问数据库的用户名和密码。这里我们最好是手动 vim 去改,因为几个文件的书写格式不完全一致:
$ cd /usr/local/app/tars
$ grep dbpass -rl ./*
检查搜索出来的 conf 文件中的 dbuser 和 dbpass 字段。
最后就是启动核心框架服务和 rsync(好艰难):
$ cd /usr/local/app/tars
$ chmod +x tars_install.sh
$ ./tars_install.sh
$ sudo ./tarspatch/util/init.sh
$ chmod +x tarsnode_install.sh
$ ./tarsnode_install.sh
然后我们可以在 croncab 中配置核心基础框架的监控项:
* * * * * /usr/local/app/tars/tarsnode/util/monitor.sh
这样一来,五个框架核心服务就启动起来了。
Tars web 管理平台
Tars web 管理系统在另一个 Git repo 中:
$ mkdir -p /homes/ubuntu/github.com/TarsCloud/TarsWeb
$ cd /homes/ubuntu/github.com/TarsCloud/TarsWeb
$ git clone https://github.com/TarsCloud/TarsWeb.git ./
$ sed -i ‘s/db.tars.com/172.19.16.13/g’ config/webConf.js
$ sed -i ‘s/registry.tars.com/172.19.16.13/g’ config/tars.conf
其中 172.19.16.13 是笔者机器的 IP,读者请注意
Tars web 是用 node.js 编写的,不需要编译。管理平台默认监听在 3000 端口上,可在 config/webConf.js 中修改 port 参数的值。
配置了端口之后,就可以启动 Tars web 管理平台了:
$ cd /homes/ubuntu/github.com/TarsCloud/TarsWeb
$ npm install –registry=https://registry.npm.taobao.org
$ npm run prd
可以查看 TarsWeb 目录下的 package.json 文件可以看到更多的信息——毕竟并不是每个人都懂得 node.js 开发。
Tars 框架基础服务
检查核心服务状态
Tars web 管理平台启动后,如果按照默认设置的话,平台会在 3000 端口建立 http 服务。使用浏览器访问,可以看到如下界面:

这三个组件,就是前文所述的“tars 框架核心服务”,如果按照前述逻辑部署后,在 web 页面就可以看到的。可以依次点开这三个服务,确保服务的状态都如下图所示:

如果服务的状态不对,那么可能是前面哪一步操作不恰当。可以查找 log 来定位(log 文件的路径参见后文)。
部署其他基础服务
剩下的几个基础框架服务就需要进行手动部署。但部署的方法其实还是蛮简单的,这里挑一个出来细讲,其他的类似。
首先,我们需要把其他的基础框架打包出来:
$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/build
$ make tarsstat-tar
$ make tarsnotify-tar
$ make tarsproperty-tar
$ make tarslog-tar
$ make tarsquerystat-tar
$ make tarsqueryproperty-tar
这样会在 /homes/ubuntu/github.com/TarsCloud/TarsFramework/build 目录下分别生成上述六个组件的 tgz 文件。
接下来我们以 tarsstat 为例说明部署方法:
创建服务
点击 web 主页的“运维管理”选项卡,进入服务界面:

各参数按照如下填写:

应用:填“tars”

服务名称:填“tarsstat”

服务类型:在下拉菜单中选“tars_cpp”

模板:在下拉菜单中选“tars.tarsstat”

节点:选择本机的出口地址,像笔者的情况,就是 172.19.16.13

SET:现阶段不用填,这是 tars 的进阶功能

OBJ:填“StatObj”

OBJ 绑定地址 和 端口:可以手动调整,也可以点“获取端口”按钮自动分配

端口类型:TCP

协议:TARS

其他默认即可。填好后,点“确定”即可部署。注意,此时的“部署”,只是在 tars 内注册了一个服务(占了个坑),但这个服务还没有上线提供可用的功能。
发布服务
部署了服务后,需要刷新页面,这样就可以看到左边 tars 的服务列表多了一项:“tarsstat”

现在,我们需要真正地发布这个服务了。
点击“tarsstat”选项卡,可以看到上面有六个功能选项。点击“发布管理”,视图如下:

勾选节点,然后点击“发布选中节点”,界面如下:

这个时候点“发布版本”的下拉菜单,是没有内容的。我们需要点“上传发布包”,在新打开的窗口,选择上一步“创建服务”时打包的 tarsstat.tgz 文件上传即可。上传成功后,我们再在“发布版本”下拉菜单中选择刚刚上传的包,然后点“发布”。稍等一会后,我们只要看到 tarsstat 的状态变成如下,就是发布成功了:

其他各个服务的特殊参数
除了不需要额外配置数据库之外,接下来的五个服务的配置发布流程基本一致。但也有以下一些不同,读者在发布剩余服务的时候请注意修改:

各服务的名称不同,请相应地修改;
各服务的服务类型均为“tars_cpp”,但是模板不同——每一个服务均有其对应的专用模板,比如 tarsconfig 对应 tars.tarsconfig 模板;

tarsquerystat 和 tarsqueryproperty 的“协议”应选“非 TARS”,其他服务为“TARS”;

各服务对应的 Obj 名称如下:

tarsnotify: NotifyObj

tarsproperty: PropertyObj

tarslog: LogObj

tarsquerystat: NoTarsObj(非 TARS 协议)

tarsqueryproperty: NoTarsObj(非 TARS 协议)

此外,以下这一步是 tarsstat 特有的步骤:在发布服务之前,需要进入数据库进行以下操作,防止 tarsstat 启动失败:
MariaDB [(none)]> use db_tars;
MariaDB [db_tars]> CREATE TABLE `t_server_notifys` (`id` int(11) NOT NULL AUTO_INCREMENT, `application` varchar(128) DEFAULT ”, `server_name` varchar(128) DEFAULT NULL, `container_name` varchar(128) DEFAULT ” , `node_name` varchar(128) NOT NULL DEFAULT ”, `set_name` varchar(16) DEFAULT NULL, `set_area` varchar(16) DEFAULT NULL, `set_group` varchar(16) DEFAULT NULL, `server_id` varchar(100) DEFAULT NULL, `thread_id` varchar(20) DEFAULT NULL, `command` varchar(50) DEFAULT NULL, `result` text, `notifytime` datetime DEFAULT NULL, PRIMARY KEY (`id`), KEY `index_name` (`server_name`), KEY `servernoticetime_i_1` (`notifytime`), KEY `indx_1_server_id` (`server_id`), KEY `query_index` (`application`,`server_name`,`node_name`,`set_name`,`set_area`,`set_group`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
MariaDB [db_tars]> exit;
所有服务均发布完成并状态正确之后,Tars 基础框架就部署完成啦,恭喜你!
日志查询
如果部署 Tars 框架服务过程中遇到什么错误,可以查阅的 log 在以下路径:

/usr/local/app/TarsWeb/log
/usr/local/app/tars/app_log/tars

关于自动部署
Tars 其实还提供了一套比较简易的快速部署脚本。那个脚本我没有尝试过,但据说也是有一些坑……这里我推荐 maq128 同学 的文章:tars 小白安装必成手册,分别讲述了快速部署、手工部署、docker 部署的内容。另外,如果有问题,读者也可以加入 Tars 官方交流群,不保证所有问题都能够精准回答,但是群里不少大神还是给了我不少启发。群号参见 Tars 官方文档。

下一步研究
按照官方的建议,Tars 的所有基础服务都需要至少进行灾备部署,但是部署方式如何实现,并没有明确的说明或者建议。这是笔者后续准备实验的。
参考资料

pm2 日志加时间戳
mysql/mariadb centos7 修改 root 用户密码及配置参数
tars 部署过程 -youz1976 的专栏
腾讯 Tars 环境搭建中遇到的坑
tars 各个自带的服务都是做什么的,又是怎么保障他们的可靠性的?
请问 t_server_notifys 建表语句?
TARS 用户体系模块 + 资源模块使用指引
tars 小白安装必成手册

本文章采用 知识共享署名 - 非商业性使用 - 相同方式共享 4.0 国际许可协议 进行许可。
本文地址:https://segmentfault.com/a/1190000017482106。原文发布于:https://cloud.tencent.com/developer/article/1372998,也是本人的博客。

正文完
 0