咱们通常习惯用Json、XML等模式的数据存储格局，但置信还有很多人没有据说过Protocol Buffer（简称protobuf）。protobuf是Google开源的一个语言无关、平台无关的通信协议，其玲珑、高效和敌对的兼容性设计，使其被宽泛应用。性能比Json、XML真的强太多了！

而且，随着微服务架构的风行，RPC框架也成为服务框架的重要组成部分。在很多RPC的设计中，都采纳了高性能的编解码技术，而protobuf就属于其中的佼佼者。

也就说，要想深刻理解微服务架构中的RPC环节底层实现，设计出高效的传输、序列化、编码解码等性能，学习protobuf的应用和原理十分有必要。

protobuf简介

protobuf是一种序列化对象框架（或者说是编解码框架）。它有两局部性能组成：结构化数据（数据存储构造）和序列化&反序列化。

其中数据存储构造的作用与XML、JSON类似；序列化和反序列化的作用与Java自带的序列化、Facebook的Thrift和JBoss Marshalling等类似。

总之：protobuf是通过定义结构化数据，并提供对数据的序列化和反序列化性能，从而实现数据存储/RPC数据交换的性能。

它的特点是：

  • 语言无关、平台无关
  • 简洁
  • 高性能（序列化速度快 & 序列化后的数据体积小）
  • 良好的兼容性

能够通过数据直观的看一下不同框架在序列化响应工夫上的比照：

能够看出，protobuf的性能要远高于其余框架。

protobuf的应用流程

下面介绍了protobuf的性能，但仅仅晓得这些性能咱们无奈晓得它是怎么应用的。看了网上很多的文章，要么间接开始写代码要么间接开始剖析报文格式，对于老手来说往往会一头雾水。

所以，咱们先来梳理一下应用protobuf的步骤。

在上图中将protobuf的应用分了四个步骤：

  • 步骤一，搭建环境：应用protobuf要定义通信的数据结构，并编译生成不同的编程语言代码，这就须要有这么一个编译器的环境。
  • 步骤二，构建数据：应用protobuf是要传输数据的，那么数据蕴含什么，有哪些项目，整个构造档次是什么样子的。这里基于protobuf的语法来进行数据结构的定义。
  • 步骤三，我的项目集成：集成pom依赖（Java为例）、集成编译的Java类（对照proto文件）；
  • 步骤四，具体应用：通过集成进来的Java类，来构建音讯、赋值，而后基于protobuf进行序列化，接管方进行反序列化操作；

理解了上述步骤，上面就针对具体的步骤来进行实战演示。

这里演示基于Mac OS操作系统和Java编程语言来进行操作。如果你应用的是其余操作系统和编程语言，基本思路一样，在不同的步骤时可针对性的找一下具体操作。

装置Protocol Buffers

装置protobuf是为了进行数据结构的定义和对应编程语言代码的生成。通常有两种形式：本地装置和IDE插件。咱们先来看本地装置。

protobuf的代码是托管在GitHub上的，对应地址为：https://github.com/protocolbu... 。

点击我的项目左边的release链接可看到对应版本：https://github.com/protocolbu... 。

这里蕴含了各种编程语言、环境的版本。本文选protobuf-java-3.17.3.zip版本。

在Mac操作系统下，须要先装置一下依赖组件，才可能对protobuf进行编译和装置。

装置依赖组件：

// 装置 Protocol Buffer依赖// 注：Protocol Buffer依赖于autoconf、automake、libtool、curlbrew install autoconf automake libtool curl

解压protobuf-java-3.17.3.zip，进入根目录，执行以下命令：

// 运行autogen.sh脚本./autogen.sh// 运行configure.sh脚本./configure // 编译未编译的依赖包make // 查看依赖包是否残缺make check // 开始装置Protocol Buffermake install

装置实现，测验版本：

$protoc --versionlibprotoc 3.14.0

输入版本信息，阐明装置胜利。

这里的protoc命令就是Protocol Buffer的编译器，能够将 .proto文件编译成对应平台的头文件和源代码文件。

另外一种形式就是装置IDE插件，这里以IDEA为例，搜寻插件：

对于protobuf的插件比拟多，抉择适宜本人就行。

而后gRPC官网举荐了一种更优雅的应用姿态，能够通过maven轻松搞定（需装置上图中的“Protobuf Support”插件）。也就是引入grpc的一些组件，而后在maven的build中进行配置，编译proto文件成为Java代码。此种形式临时不开展，后续可间接看我的项目集成局部的源代码。

构建数据

在Java中，如果通过JSON来传输一个数据，咱们首先要定义一个对象，这里以Person为例：

public class Person {    private String name;    private Integer id;    // ... getter/setter}

那么，如果用protobuf来定义Person这个对象的数据结构是什么样呢？

先创立一个person.proto文件，而后定义如下的构造：

syntax = "proto3"; // 申明为protobuf 3定义文件package tutorial;option java_package = "com.choupangxia.protobuf.message"; // 申明生成音讯类的java包门路option java_outer_classname = "Person";  // 申明生成音讯类的类名message PersonProto {    string name = 1;    int32 id = 2;}

下面每项语法的具体阐明可参看正文局部。当然Person的构造能够更丰盛，这里只是出于演示须要，做了最简略的示例，更多语法可参看官网文档。

编译protot文件

定义实现之后，咱们能够通过两种形式来生成指标Java类。这里先采纳本机装置的编译器来进行操作。

执行protoc命令之前，可先执行-h命令来查看protoc的应用阐明：

protoc -h

进入person.proto文件所在目录，执行以下命令进行编译：

protoc --java_out=../java ./person.proto

--java_out参数指定了Java类的输入门路，第二个参数执行的要编译的文件为当前目录下的person.proto文件。

执行命令，会发现com.choupangxia.protobuf.message下生成了名为Person的类。留神proto中定义的message名称不要与Java类名反复，否则会呈现命令执行失败的情况。

对应的Person类比较复杂，甚至有一些语法层面的谬误或改良，如果须要，进行对应的改良优化即可。

上图为生成的Person类的局部构造。比方下面的java.lang.String getName()这个办法的返回值就能够进行优化，不必指定String的package。

我的项目集成

其实下面讲生成的Person代码放入我的项目，曾经算是我的项目集成的一部分了。如果未引入protobuf的依赖，下面的代码还是会报错的。

Maven我的项目的pom文件中增加protobuf依赖：

<dependency>    <groupId>com.google.protobuf</groupId>    <artifactId>protobuf-java</artifactId>    <version>3.17.3</version></dependency>

如果想通过IDEA间接编译proto文件，需装置“Protobuf Support”插件，还需引入grpc的依赖，残缺依赖如下：

<properties>    <grpc.version>1.6.1</grpc.version>    <protobuf.version>3.17.3</protobuf.version></properties><dependencies>    <dependency>        <groupId>com.google.protobuf</groupId>        <artifactId>protobuf-java</artifactId>        <version>${protobuf.version}</version>    </dependency>    <!-- 编译应用局部 -->    <dependency>        <groupId>io.grpc</groupId>        <artifactId>grpc-netty</artifactId>        <version>${grpc.version}</version>        <scope>provided</scope>    </dependency>    <dependency>        <groupId>io.grpc</groupId>        <artifactId>grpc-protobuf</artifactId>        <version>${grpc.version}</version>        <scope>provided</scope>    </dependency>    <dependency>        <groupId>io.grpc</groupId>        <artifactId>grpc-stub</artifactId>        <version>${grpc.version}</version>        <scope>provided</scope>    </dependency></dependencies><build>    <extensions>        <extension>            <groupId>kr.motd.maven</groupId>            <artifactId>os-maven-plugin</artifactId>            <version>1.5.0.Final</version>        </extension>    </extensions>    <plugins>        <plugin>            <groupId>org.xolstice.maven.plugins</groupId>            <artifactId>protobuf-maven-plugin</artifactId>            <version>0.5.0</version>            <configuration>                <protocArtifact>com.google.protobuf:protoc:${protobuf.version}:exe:${os.detected.classifier}</protocArtifact>                <pluginId>grpc-java</pluginId>                <pluginArtifact>io.grpc:protoc-gen-grpc-java:${grpc.version}:exe:${os.detected.classifier}</pluginArtifact>            </configuration>            <executions>                <execution>                    <goals>                        <goal>compile</goal>                        <goal>compile-custom</goal>                    </goals>                </execution>            </executions>        </plugin>    </plugins></build>

在执行执行maven compile命令进行编译之前，将须要编译的proto文件放在与src/main/java同级目录下的/src/main/proto目录。

此时将生成的Java复制到对应的包下即可。

业务利用

所有准备就绪，当初就来写个例子应用对应的代码了。

public class Test {    public static void main(String[] args) throws InvalidProtocolBufferException {        Person.PersonProto sourcePersonProto = Person.PersonProto.newBuilder().setId(123).setName("Tom").build();        // 序列化        byte[] binaryInfo = sourcePersonProto.toByteArray();        System.out.println("序列化字节码内容：" + Arrays.toString(binaryInfo));        System.out.println("序列化字节码长度：" + binaryInfo.length);        System.out.println("-----------以下为接管方反序列化操作-------------");        // 反序列化        Person.PersonProto targetPersonProto = Person.PersonProto.parseFrom(binaryInfo);        System.out.println("反序列化后果：" + targetPersonProto.toString());    }}

上述代码就是基于生成的Person类的根本应用。首先通过，Person类中的外部类和Builder办法进行参数的封装，而后调用其toByteArray办法，即可将报文信息进行序列化。接管方呢，有同样的一套代码，先取得Person.PersonProto对象，而后执行parseFrom办法即可进行反序列化操作。

为什么protobuf比拟高效

单从序列化后的数据体积角度来剖析。与XML、JSON这类文本协定相比，ProtoBuf通过T-(L)-V（TAG-LENGTH-VALUE）形式编码，不须要", {, }, :等分隔符来结构化信息。同时在编码层面应用varint压缩，所以形容同样的信息，protobuf序列化后的体积要小很多，在网络中传输耗费的网络流量更少，进而对于网络资源缓和、性能要求十分高的场景，ProtoBuf协定是不错的抉择。

做一个简略直观的例子：

{"id":1,"firstName":"Chris","lastName":"Richardson","email":[{"type":"PROFESSIONAL","email":"aicchrrdson@email.com"}]}

对于下面的JSON数据，应用JSON序列化后的数据大小为118byte，而应用protobuf序列化后的数据大小为48byte。如果数据量更多，层次结构更简单，差距还是很显著的。

从序列化/反序列化速度角度，与XML、JSON相比，protobuf序列化/反序列化的速度更快，比XML要快20-100倍。

但protobuf是基于二进制的协定，编码后的数据可读性差，如果没有idl文件，就无奈了解二进制数据流，对调试不敌对。

小结

本文带大家从0到1学习了protobuf的应用步骤。很多文章之所以看不懂，就是因为没有梳理分明应用protobuf的整个外围逻辑。只有把握了如何搭建环境、如何编写数据结构、如何编译、如何集成到我的项目中并使用。那么，protobuf的其余知识点逐渐在实践中补充即可。

随着微服务的一直倒退，RPC框架为了谋求高效的通信，应用像protobuf这类框架也必然是趋势。也是想更好的学习微服务架构的底层的必备常识。

本文源码：https://github.com/secbr/prot...

博主简介：《SpringBoot技术底细》技术图书作者，热爱钻研技术，写技术干货文章。

公众号：「程序新视界」，博主的公众号，欢送关注~

技术交换：请分割博主微信号：zhuan2quan