深入解析Google FlatBuffers内部机制-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00392/article/details/148361482

深入解析Google FlatBuffers内部机制

flatbuffers FlatBuffers：内存高效的序列化库。项目地址: https://gitcode.com/gh_mirrors/fl/flatbuffers

什么是FlatBuffers

FlatBuffers是一种高效的跨平台序列化库，由Google开发。它允许你直接访问序列化数据而无需解析/解包步骤，这使得它在性能敏感的场景下特别有用。

核心设计理念

FlatBuffers的设计遵循几个关键原则：

零解析访问：数据可以直接从缓冲区读取，无需中间解析步骤
内存效率：数据以紧凑的二进制格式存储
跨平台兼容性：支持多种编程语言和平台
前向/后向兼容性：通过灵活的模式演进支持

二进制格式详解

基本组成

FlatBuffer是一个二进制格式，主要由以下部分组成：

标量值：各种大小的基本数据类型（int8, int16, float等）
对齐：所有数据都按其自身大小对齐
小端序：统一采用小端序存储，确保跨平台兼容性

数据类型表示

FlatBuffers对数据类型有以下要求：

浮点数使用IEEE-754标准
有符号整数使用二进制补码表示
浮点数和整数的字节序保持一致

偏移量系统

FlatBuffers使用偏移量系统来定位数据：

uoffset_t：无符号32位偏移量，用于指向表、联合、字符串和向量
soffset_t：有符号32位偏移量，用于指向vtable
voffset_t：无符号16位偏移量，用于vtable中的字段偏移

主要数据结构

结构体(Structs)

结构体是FlatBuffers中最简单的数据结构：

总是内联存储在父结构中
有固定的内存布局
所有成员按其大小对齐
结构体本身按最大成员对齐
不支持版本控制和扩展性

表(Tables)

表是FlatBuffers中最灵活的数据结构：

通过偏移量引用，不内联存储
使用vtable实现字段访问
支持可选字段
字段顺序不固定
支持版本控制和扩展

vtable结构

vtable包含以下信息：

vtable大小（字节数）
对象大小（字节数）
各字段的偏移量（N个，N为模式中定义的字段数）

联合(Unions)

联合由两部分组成：

枚举值表示当前选择的类型
指向实际数据的偏移量
保留NONE(0)表示未设置

字符串和向量

字符串：字节向量，总是以null结尾
向量：连续对齐的标量元素，前缀为32位元素计数
都通过偏移量引用，不内联存储

编码示例

以下是一个简单的JSON对象及其FlatBuffers编码：

{
  "pos": { "x": 1, "y": 2, "z": 3 },
  "name": "fred",
  "hp": 50
}

对应的二进制编码：

// 缓冲区起始
20  // 根表偏移量

// vtable起始
16  // 表大小
22  // 对象内联数据大小
4, 0, 20, 16, 0, 0  // 字段偏移量

// 根表起始
16     // vtable偏移量
1, 2, 3  // Vec3结构体内联数据
8     // 名字字符串偏移量
50    // hp字段值
0     // 对齐填充

// 名字字符串起始
4  // 字符串长度
'f', 'r', 'e', 'd', 0, 0, 0, 0  // 文本+终止符+填充