介绍
Protobuf(Google Protocol Buffer) 是一种用于对结构数据进行序列化的工具，从而实现数据存储和交换。
序列化： 将结构数据或者对象转换成能够用于存储和传输的格式。
反序列化： 在其他的计算环境中，将序列化后的数据还原为数据结构和对象。
Protobuf是类似于JSON、XML这样的数据交换格式。但是相比于JSON和XML，它更小，更快！
优点：
- 性能高效：与XML相比，protobuf更小（3 ~ 10倍）、更快（20 ~ 100倍）、更为简单。
- 语言无关、平台无关：protobuf支持Java、C++、Python等多种语言，支持多个平台。
- 扩展性、兼容性强：只需使用protobuf对结构数据进行一次描述，即可从各种数据流中读取结构数据，更新数据结构时不会破坏原有的程序。
缺点：
- 自解释性较差，数据存储格式为二进制，需要通过.proto文件才能了解到内部的数据结构；
- 不适合用来对 基于文本的标记文档（如HTML） 建模。
举个例子：如果想表达一个人名字叫James，年龄是35岁，邮箱是james@163.com这样的结构化数据，并且需要在互联网上传输，
xml表示如下：
1 2 3 4 5
<person> <name>John</name> <age>28</age> <email>jdoe@example.com</email> </person>
JSON表示如下：
1 2 3 4 5
{ name: John, age: 28, email: jdoe@example.com }
Protobuf表示如下：
1 2 3 4 5
message Person { string name = 1; int32 age = 2; string email = 3; }
编码结构
参考ProtoBuf（Google Protocol Buffers）—— 编码结构简介（Varint 、ZigZag 、64-bit、32-bit、Length-delimited）
实践
定义自己的格式
创建person.proto，定义自己的格式。
1
2
3
4
5
6
7
8
9
10
11
12
13
syntax = "proto3";
package tutorial;
message Person {
int32 id = 1;
string name = 2;
string email = 3;
}
message PersonList {
repeated Person persons = 1;
}
编译.proto
1
2
3
export SRC_DIR=./
export DST_DIR=./
protoc -I=$SRC_DIR --cpp_out=$DST_DIR $SRC_DIR/person.proto
编译完后会生成person.pb.cc，person.pb.h两个文件。
使用
下面代码演示如何使用前面生成的文件。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
#include <iostream>
#include <string>
#include <sstream>
#include <map>
#include "person.pb.h"
// set the person's info
void SetPersonInfo(const tutorial::Person& infoPerson, tutorial::Person* pPerson)
{
pPerson->set_id(infoPerson.id());
pPerson->set_name(infoPerson.name());
pPerson->set_email(infoPerson.email());
}
// print the persons
void ListAllPerson(const tutorial::PersonList& listPerson)
{
for (int i = 0; i < listPerson.persons_size(); i++) {
const tutorial::Person& person = listPerson.persons(i);
std::cout << "ID: " << person.id() << std::endl;
std::cout << "name: " << person.name() << std::endl;
std::cout << "e-mail: " << person.email() << std::endl;
std::cout << "----------------------------------------\n";
}
}
int main(int argc, char* argv[])
{
GOOGLE_PROTOBUF_VERIFY_VERSION;
tutorial::Person person;
person.set_id(666);
person.set_name("Mark");
person.set_email("mark@example.com");
// serialize to io-stream
std::stringstream ss;
person.SerializeToOstream(&ss);
std::string strData = ss.str();
std::cout << "Data:" << strData << "\n";
// deserialize from io-stream
if (!person.ParseFromIstream(&ss)) {
std::cerr << "Failed to parse person.pb." << std::endl;
return -1;
}
std::cout << "ID: " << person.id() << std::endl;
std::cout << "name: " << person.name() << std::endl;
std::cout << "e-mail: " << person.email() << std::endl;
// list data
tutorial::PersonList listPerson;
SetPersonInfo(person, listPerson.add_persons());
tutorial::Person person1;
person1.set_id(8468);
person1.set_name("Test");
person1.set_email("test@example.com");
SetPersonInfo(person1, listPerson.add_persons());
// serialize to io-stream
std::stringstream ssList;
listPerson.SerializeToOstream(&ssList);
std::cout << "List:" << ssList.str() << "\n";
std::cout << "--------------------Deserialize------------------\n";
tutorial::PersonList listDeserialize;
listDeserialize.ParseFromIstream(&ssList);
ListAllPerson(listDeserialize);
std::cout << "\nFinished\n";
return 0;
}
编译上述代码
1
g++ create_person.cc ./person.pb.cc -o create_person -lprotobuf
编译成功后，执行，会打印以下内容
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
(zcy) [zuo@zuo protobuf]$ ./create_person
DataXXXXX@example.com # 乱码
ID: 666
name: Mark
e-mail: mark@example.com
List:
XXXXXXmark@example.com # 乱码
XXXXX@example.com # 乱码
--------------------Deserialize------------------
ID: 666
name: Mark
e-mail: mark@example.com
----------------------------------------
ID: 8468
name: Test
e-mail: test@example.com
----------------------------------------
Finished