Tars基础框架手动搭建——填掉官方 Guide 的坑

背景Tars 简介腾讯 Tars 是腾讯内部使用的 TAF（Tencent Application Framework）的对外开源版，去掉了许多冗杂多余的部分。该框架集开发、运维、微服务、RPC 等为一体。对程序员而言，这就是一个能够快速搭建整个微服务体系的开发框架。这个框架支持基于 C++、Node.js、PHP、Java 等语言开发，最新版本已经支持后台开发语言新贵——Go。安装任务Tars 实际的应用场景是多机器、多节点部署的，不过从实验验证的角度，我做的只是在单一一台机器上，实现 Tars 管理平台部署，以及任务的发布。由于 Tars 版本一直在迭代，为防止文章过时误导后来者，本文以 f3ef251013 节点为准，请读者 follow 最新的 Tars 版本来。官方安装文档在这里。然而，正如很多新的开源项目一样，代码很丰满，文档很骨感。一步一步跟着官方文档走的话，是有可能无法一次走通的……本文跟随文档的安装脉络，进行了重新梳理，为读者呈现一个尽量不挖坑的搭建过程。请注意，“Tars” 这个概念，除了其基础框架之外，还包含开发工具（如 TarsCpp、TarsJava 等等）、协议等等许多内容。不过本文主要讲述 Tars 基础框架，因此下文所提及的 “基础框架”，如无特别说明，都专指 “Tars 基础框架”。本文解决的问题前文提及，直接 follow 官方文档，是无法完成服务部署的。因为过程中遇到很多坑，每一个坑都导致基础框架无法搭建，或者是搭建后无法发布服务。笔者根据文档搭建过程中遇到的坑有：部分操作需要 sudo——文档中有些温馨地提醒了 sudo，但是另外一些未提醒数据库采用 MySQL 5.6 版，但部分说明不适用于 MariaDB说明文字与配图不完全一致不同代码处的数据库用户名和密码不统一启动所需的数据库表信息有缺失环境准备系统准备部署实验需要准备至少一台 Linux 机器。这可以是一台本地的实体机或虚拟机，也可以是一台云主机。由于部署过程中，需要编译 Tars 框架以及 MySQL 代码（如果系统里没装 Oracle 的 MySQL 的话），强烈建议系统至少要求有 4GB 的内存！系统建议采用 CentOS 或 Ubuntu。本文采用 Ubuntu 来安装，但 CentOS 差别不大，读者可以参考执行。此外，笔者不采用 root 账户，只有在需要 root 权限的时候才使用 sudo 操作。像笔者这样只有 1 核 1GB 云主机的，还需要在本地额外准备一台 Linux 虚拟机用于编译，再将编译出来的目标文件转移到云主机上。软件准备使用 Ubuntu，基础框架和 C++ 开发环境需要以下开发组件：gcc g++（CentOS 则是 gcc-c++） flex bison make cmake perl gcc zlibc gzip git libncurses5-devprotobuf-c-compiler protobuf-compiler libprotobuf-dev libprotobuf-c-dev libprotoc-devlibmariadb-client-lgpl-dev mariadb-client mariadb-server此外，还需要手动安装的软件或库有：mysql-server node.js（包括 npm）TarsCloud/TarsFramework TarsCloud/TarsWeb TarsClous/TarsCpp这些手动安装的软件会在后问说明。MySQL 问题官方文档使用的 MySQL 版本是 5.6。但是这有两个问题：Oracle 维护的开源 MySQL 已经发展到 5.7 和 8.0 版了，Tars 是否向后兼容？最新的 CentOS 和 Ubuntu 的软件包中已移除 MySQL，以 MariaDB 取代，Tars 是否支持？本人的答案是：从网上的资料看，基础框架支持 5.7，但需要修改 cmake 的选项，麻烦点；此外，在交流群中也有反馈 5.7 版有问题，但没有深入了解。支持，详见后文操作。笔者的方案是：使用 mariadb 作为数据库使用 libmysqlclient.a 作为 TarsCpp 开发环境创建时链接的库（基础框架编译时强制链接静态库）使用 libmariadb.so 作为实际应用开发时用的库备份安装之前，强烈建议不熟悉 Tars 基础框架的读者先给自己的机器做下备份，比如打个快照或者做个镜像之类的，这样如果后面部署失败了，也便于回滚系统，而不是一个一个抓虫。安装支持软件笔者所使用的用户名是 ubuntu，后文会有一些 shell 命令中采用了这个用户名，请读者留意替换成为自己的用户名。MySQL安装路径准备默认下载的 Tars 基础框架需要链接 MySQL 的静态库 libmysqlclient.a，此外对库所在的位置也写死在了 Makefile 中。因此我们需要为 Tars 基础框架准备环境。首先创建供基础框架链接的路径：$ sudo mkdir -p /usr/local/mysql$ sudo chown ubuntu:ubuntu /usr/local/mysql然后需要寻找一下 mariadb 的动态库位置和头文件位置：$ sudo find / -name ‘mariadb_com.h’ 2>/dev/null$ sudo find / -name ’libmariadbclient*’ 2>/dev/null笔者的环境中，两者分别在 /usr/include/mariadb 和 /usr/lib/x86_64-linux-gnu 下，那么我们就创建两个软链接：$ ln -s /usr/include/mariadb /usr/local/mysql/include$ ln -s /usr/lib/x86_64-linux-gnu /usr/local/mysql/lib再创建一个目录给 MySQL 实际安装用：$ mkdir /home/ubuntu/mysql-5.6 # /home/ubuntu 是笔者系统的家目录，读者请注意替换。以下同理。编译安装直接从 GitHub 上 clone MySQL 的工程代码后，选择合适的版本：$ mkdir -p ~/github.com/mysql/mysql-server$ cd ~/github.com/mysql/mysql-server$ git clone https://github.com/mysql/mysql-server.git ./$ git checkout -b 5.6 origin/5.6 # 切换到 5.6 版配置、编译、安装：$ cmake . -DCMAKE_INSTALL_PREFIX=/home/ubuntu/mysql-5.6 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DMYSQL_USER=mysql -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/home/ubuntu/others/boost$ make && make install通过之后，我们还需要将 mysql 的静态库复制（或者链接）到为 Tars 基础框架准备的目录下：$ ln -s /home/ubuntu/mysql-5.6/libmysqlclient.a /usr/local/mysql/lib/Node.jsTars 管理平台是使用 node.js 开发的，因此需要安装 nvm。对不熟悉 node 的读者，这里也简单列下安装方式（不建议使用 root 账户操作）：$ wget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.33.11/install.sh | bash$ source ~/.bashrc$ nvm install v8.11.3$ npm install -g pm2 –registry=https://registry.npm.taobao.orgTars 基础框架首先，要下载 Tars 的基础框架代码：$ mkdir -p /homes/ubuntu/github.com/TarsCloud/TarsFramework$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework$ git clone https://github.com/TarsCloud/TarsFramework.git ./编译之：$ cd build$ chmod +x build.sh$ ./build.sh prepare$ ./build.sh all如果编译失败（一般是缺某些库或组件），建议在解决问题后，清掉 TarsFramework 下的所有文件，重新 clone 后再编译。安装的过程复杂一点，安装路径是固定的（虽然可以在工程文件中调整，为统一起见，不建议修改）：$ sudo mkdir -p /usr/local/tars$ sudo chown ubuntu:ubuntu /usr/local/tars$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/build$ ./build.sh install准备 Tars 数据库Tars 使用用户名 tars、密码 tars2015 的组合，操作 MySQL 数据库。高级玩法自然是修改 Tars 中的用户名/密码组合。这里为了简单起见，干脆就直接采用默认的就好了。不过后文会介绍如何使用自定义的用户名密码。笔者做验证时的 MySQL 与 Tars 部署在同一台机器上，IP 地址是 172.19.16.13。实际部署中，读者请注意换成实际地址。添加相关账户的命令如下：$ mysql -u root -p进入 mysql 命令行后：MariaDB [(none)]> grant all privileges on . to tars@localhost identified by ’tars2015’;MariaDB [(none)]> flush privileges;MariaDB [(none)]> exit;官方文档说的配置备份什么的，就不用关心了。使用 Tars 的系统基本是部署在云上的，大都会用云服务商提供的自带主备的数据库服务（推荐腾讯云 TDSQL 哦，金融级 DB，但是价格和普通 DB 一个等级）。接下来，我们通过执行 Tars 基础框架的 sql 脚本来创建相应的数据库结构：$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/sql/$ sed -i “s/192.168.2.131/172.19.16.13/g” grep 192.168.2.131 -rl ./*$ sed -i “s/db.tars.com/172.19.16.13/g” grep db.tars.com -rl ./*$ sed -i “s/10.120.129.226/172.19.16.13/g” grep 10.120.129.226 -rl ./*$ chmod +x exec-sql.sh$ ./exec-sql.sh其中，172.19.16.13 是笔者的 DB 的 IP 地址，读者实际部署时请注意修改。这些命令也给我们一个启发：数据库地址允许采用域名。TIPS-1如果读者不使用 tars/tars2015 的用户名/密码组合来操作数据库，那么可以自行修改上述的 sql 脚本：$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/sql/$ git status .On branch masterYour branch is up-to-date with ‘origin/master’.Changes not staged for commit: (use “git add <file>…” to update what will be committed) (use “git checkout – <file>…” to discard changes in working directory) modified: db_tars.sql modified: tarsconfig.sql modified: tarslog.sql modified: tarsnotify.sql modified: tarspatch.sql modified: tarsproperty.sql modified: tarsqueryproperty.sql modified: tarsquerystat.sql modified: tarsstat.sql可以看到被 sed 语句修改了的文件。读者可以在这些文件中找到用户名和密码配置项进行修改后，再执行。TIPS-2MariaDB server 安装之后默认监听 127.0.0.1 地址，但官方文档明确说明 DB 的 IP 地址不能使用 127.0.0.1。读者需要修改 MariaDB 的配置文件中监听地址的选项，否则后续 Tars 基础框架启动后，会遇到没有权限访问数据库的错误。部署 Tars 基础框架Tars 框架核心服务Tars 核心基础框架指的是 tarsAdminRegistry, tarsregistry, tarsnode, tarsconfig, tarspatch 五个。前面我们其实已经编译好了，我们可以先把这些服务打包：$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/build$ make framework-tar这会在 build 目录下生成 framework.tgz 文件。接下来我们需要做一些操作：$ sudo mkdir -p /data/log/tars$ sudo mkdir -p /home/tarsproto$ sudo mkdir -p /usr/local/app/tars$ sudo chown -R ubuntu:ubuntu /usr/local/app /data/log/tars /home/tarsproto$ mv /homes/ubuntu/github.com/TarsCloud/TarsFramework/build/framework.tgz /usr/local/app/tars$ cd /usr/local/app/tars$ tar zxvf framework.tgz这会在 /usr/local/app/tars/ 下面生成前述几个核心基础框架组件对应的文件夹。此外，还有 tars_install.sh 和 tarsnode_install.sh 两个脚本。不过我们得先配置一下——五个核心基础框架组件的目录下均有 conf 文件夹，可以看到各个组件的配置文件，比如 tars.tarsregistry.config.conf。对操作已经很熟悉了的读者可以手动修改这些配置。不过也可以简单点地进行以下修改：$ cd /usr/local/app/tars$ sed -i “s/192.168.2.131/172.19.16.13/g” grep 192.168.2.131 -rl ./*$ sed -i “s/db.tars.com/172.19.16.13/g” grep db.tars.com -rl ./*$ sed -i “s/registry.tars.com/172.19.16.13/g” grep registry.tars.com -rl ./*$ sed -i “s/web.tars.com/172.19.16.13/g” grep web.tars.com -rl ./*四个 sed 命令修改的地址，对应的是：本机地址，不能写 127.0.0.1；前述数据库的地址；tarsregistry 的 部署地址，可以不是本机；web.tars.com 是 rsync 服务和 web 管理平台的部署地址。修改了 IP 地址之后，还需要检查 tars 访问数据库的用户名和密码。这里我们最好是手动 vim 去改，因为几个文件的书写格式不完全一致：$ cd /usr/local/app/tars$ grep dbpass -rl ./检查搜索出来的 conf 文件中的 dbuser 和 dbpass 字段。最后就是启动核心框架服务和 rsync（好艰难）：$ cd /usr/local/app/tars$ chmod +x tars_install.sh$ ./tars_install.sh$ sudo ./tarspatch/util/init.sh$ chmod +x tarsnode_install.sh$ ./tarsnode_install.sh然后我们可以在 croncab 中配置核心基础框架的监控项： * * * * /usr/local/app/tars/tarsnode/util/monitor.sh这样一来，五个框架核心服务就启动起来了。Tars web 管理平台Tars web 管理系统在另一个 Git repo 中：$ mkdir -p /homes/ubuntu/github.com/TarsCloud/TarsWeb$ cd /homes/ubuntu/github.com/TarsCloud/TarsWeb$ git clone https://github.com/TarsCloud/TarsWeb.git ./$ sed -i ’s/db.tars.com/172.19.16.13/g’ config/webConf.js$ sed -i ’s/registry.tars.com/172.19.16.13/g’ config/tars.conf其中 172.19.16.13 是笔者机器的 IP，读者请注意Tars web 是用 node.js 编写的，不需要编译。管理平台默认监听在 3000 端口上，可在 config/webConf.js 中修改 port 参数的值。配置了端口之后，就可以启动 Tars web 管理平台了：$ cd /homes/ubuntu/github.com/TarsCloud/TarsWeb$ npm install –registry=https://registry.npm.taobao.org$ npm run prd可以查看 TarsWeb 目录下的 package.json 文件可以看到更多的信息——毕竟并不是每个人都懂得 node.js 开发。Tars 框架基础服务检查核心服务状态Tars web 管理平台启动后，如果按照默认设置的话，平台会在 3000 端口建立 http 服务。使用浏览器访问，可以看到如下界面：这三个组件，就是前文所述的 “tars 框架核心服务” ，如果按照前述逻辑部署后，在 web 页面就可以看到的。可以依次点开这三个服务，确保服务的状态都如下图所示：如果服务的状态不对，那么可能是前面哪一步操作不恰当。可以查找 log 来定位（log 文件的路径参见后文）。部署其他基础服务剩下的几个基础框架服务就需要进行手动部署。但部署的方法其实还是蛮简单的，这里挑一个出来细讲，其他的类似。首先，我们需要把其他的基础框架打包出来：$ cd /homes/ubuntu/github.com/TarsCloud/TarsFramework/build$ make tarsstat-tar$ make tarsnotify-tar$ make tarsproperty-tar$ make tarslog-tar$ make tarsquerystat-tar$ make tarsqueryproperty-tar这样会在 /homes/ubuntu/github.com/TarsCloud/TarsFramework/build 目录下分别生成上述六个组件的 tgz 文件。接下来我们以 tarsstat 为例说明部署方法：创建服务点击 web 主页的 “运维管理” 选项卡，进入服务界面：各参数按照如下填写：应用：填 “tars”服务名称：填 “tarsstat”服务类型：在下拉菜单中选 “tars_cpp”模板：在下拉菜单中选 “tars.tarsstat”节点：选择本机的出口地址，像笔者的情况，就是 172.19.16.13SET：现阶段不用填，这是 tars 的进阶功能OBJ：填 “StatObj”OBJ 绑定地址 和 端口：可以手动调整，也可以点 “获取端口” 按钮自动分配端口类型：TCP协议：TARS其他默认即可。填好后，点 “确定” 即可部署。注意，此时的 “部署”，只是在 tars 内注册了一个服务（占了个坑），但这个服务还没有上线提供可用的功能。发布服务部署了服务后，需要刷新页面，这样就可以看到左边 tars 的服务列表多了一项：“tarsstat”现在，我们需要真正地发布这个服务了。点击 “tarsstat” 选项卡，可以看到上面有六个功能选项。点击 “发布管理”，视图如下：勾选节点，然后点击 “发布选中节点”，界面如下：这个时候点 “发布版本” 的下拉菜单，是没有内容的。我们需要点 “上传发布包”，在新打开的窗口，选择上一步 “创建服务” 时打包的 tarsstat.tgz 文件上传即可。上传成功后，我们再在 “发布版本” 下拉菜单中选择刚刚上传的包，然后点 “发布”。稍等一会后，我们只要看到 tarsstat 的状态变成如下，就是发布成功了：其他各个服务的特殊参数除了不需要额外配置数据库之外，接下来的五个服务的配置发布流程基本一致。但也有以下一些不同，读者在发布剩余服务的时候请注意修改：各服务的名称不同，请相应地修改；各服务的服务类型均为 “tars_cpp”，但是模板不同——每一个服务均有其对应的专用模板，比如 tarsconfig 对应 tars.tarsconfig 模板；tarsquerystat 和 tarsqueryproperty 的 “协议” 应选 “非TARS”，其他服务为 “TARS”；各服务对应的 Obj 名称如下：tarsnotify: NotifyObjtarsproperty: PropertyObjtarslog: LogObjtarsquerystat: NoTarsObj（非 TARS 协议）tarsqueryproperty: NoTarsObj（非 TARS 协议）此外，以下这一步是 tarsstat 特有的步骤：在发布服务之前，需要进入数据库进行以下操作，防止 tarsstat 启动失败：MariaDB [(none)]> use db_tars;MariaDB [db_tars]> CREATE TABLE t_server_notifys ( id int(11) NOT NULL AUTO_INCREMENT, application varchar(128) DEFAULT ‘’, server_name varchar(128) DEFAULT NULL, container_name varchar(128) DEFAULT ’’ , node_name varchar(128) NOT NULL DEFAULT ‘’, set_name varchar(16) DEFAULT NULL, set_area varchar(16) DEFAULT NULL, set_group varchar(16) DEFAULT NULL, server_id varchar(100) DEFAULT NULL, thread_id varchar(20) DEFAULT NULL, command varchar(50) DEFAULT NULL, result text, notifytime datetime DEFAULT NULL, PRIMARY KEY (id), KEY index_name (server_name), KEY servernoticetime_i_1 (notifytime), KEY indx_1_server_id (server_id), KEY query_index (application,server_name,node_name,set_name,set_area,set_group) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;MariaDB [db_tars]> exit;所有服务均发布完成并状态正确之后，Tars 基础框架就部署完成啦，恭喜你！日志查询如果部署 Tars 框架服务过程中遇到什么错误，可以查阅的 log 在以下路径：/usr/local/app/TarsWeb/log/usr/local/app/tars/app_log/tars关于自动部署Tars 其实还提供了一套比较简易的快速部署脚本。那个脚本我没有尝试过，但据说也是有一些坑……这里我推荐 maq128 同学 的文章：tars小白安装必成手册，分别讲述了快速部署、手工部署、docker 部署的内容。另外，如果有问题，读者也可以加入 Tars 官方交流群，不保证所有问题都能够精准回答，但是群里不少大神还是给了我不少启发。群号参见 Tars 官方文档。下一步研究按照官方的建议，Tars 的所有基础服务都需要至少进行灾备部署，但是部署方式如何实现，并没有明确的说明或者建议。这是笔者后续准备实验的。参考资料pm2 日志加时间戳mysql/mariadb centos7 修改root用户密码及配置参数tars 部署过程-youz1976的专栏腾讯Tars环境搭建中遇到的坑tars各个自带的服务都是做什么的，又是怎么保障他们的可靠性的？请问t_server_notifys建表语句?TARS 用户体系模块+资源模块使用指引tars小白安装必成手册本文章采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。本文地址：https://segmentfault.com/a/1190000017482106。原文发布于：https://cloud.tencent.com/developer/article/1372998，也是本人的博客。