SuperPack——实现更小负载的新序列化格式

Shape Security 开源了一个新的无模式二进制序列化格式，名为 SuperPack 。

SuperPack 使用了二进制的序列化模式，这意味着会减少负载的大小。按照 Shape Security 的说法，对于一个给定的4.48 KB 的样例信息，相对于多个其他的无模式格式，SuperPack 的负载是最小的：

原始信息 YAML BSON
JSON Sereal SuperPack 非压缩 4.769 B 134% 111% 69% 40% 28% 压缩 4.769 B 14% 20% 12% 16% 13%YAML 和 BSON 非常冗长，会增加消息的负载。JSON 比 YAML 要好得多，但是因为它基于文本编码格式，所以它的大小依然会远远超过 SuperPack。在gzip压缩之后，它们的值会出现比较大的差异，YAML、JSON 和 SuperPack 的值非常接近，是原始消息的 12-14%。

采用 SuperPack 编码格式的一个主要优势在于，与客户端通信的时候不需要预先交换消息的模式。数据类型的信息会包含在负载之中。SuperPack 有 36 个预先定义的数据类型，包括常见的true、false、uint16、uint32、float32，也包括不那么常见的类型，如 uint6、 nint4和 array5等，这些类型能够代表消息中很可能出现的值。

SuperPack 还包含了针对数组、字符串以及 map 的类型。其中还有个类型是 extension，它能够让用户添加新的类型。SuperPack 还有两个可选的优化选项，能够减少特定场景下的负载：_ 重复字符串优化（repeated string optimization）以及_ 重复keyset 优化（repeated keyset optimization）。

我们采访到了Michael Ficarra，他是一名研究工程师和自由/ 开源软件协调人员（FOSS Coordinator），了解到了SuperPack 的更多细节。

InfoQ：在编码后，你们的负载会更小，相对于其他的无模式格式，你们的做法有何不同呢？

MF： SuperPack 有其背后的哲学，那就是即便我们不能预先推测出数据的模式，但数据中的结构或值很可能会重复出现很多次。举个例子，假设有个名为“cats”的数据结构，它将每个人与他的猫关联在了一起。我们不是直接进行编码，考虑到每只猫都有名称、生日以及喜欢的食物，我们只对其编码一次，稍后会对其进行引用，对这些值采用了非常高效的 protobuff 风格的打包方式。

另外，有些值比其他的值更为通用，应该有更为高效的表述形式。如果你看一下格式的详细描述的话，你会发现所有的值都由一个单字节的指示符打头，它用来表明值的类型，我们将其称之为“类型标签（type tag）”。在类型标签域中，我们预留了一部分区域范围，这样的话，值的全部或部分内容就可以在标签本身中进行编码。举个简单的例子，有两个 boolean 类型标签：一个用于值 true，另一个用于值 false。类似的，还有 64 个“uint6”类型标签，允许我们使用一个字节就能表示 0 到 63 之间的每个数字，另外，对于条目长度小于 32 的数组（必须要同时对它的长度和条目进行编码），可以将它的长度编码到标签中。回到前面的例子中，猫的胡须通常不会多于 64 根并且大多数人所养的猫不会超过 32 只，因此这些值能够非常高效地进行存储。

InfoQ：你们将 SuperPack 与模式驱动的二进制格式进行过对比吗，比如 Protocol Buffers？Protobuf 的负载会明显更小吗？

MF：我们没有进行过这种类型的对比。我认为，在大多数场景下，Protobuf 的负载会更小，除非 SuperPack 的字符串去重功能能够特别有效。当你的需求允许你使用模式驱动格式的话，尤其是能够与某种无损数据压缩算法（如 LZW 或 Deflate）结合使用时，那么你就应该采用这种方案。

InfoQ：在消息的编码 / 解码上所消耗的时间是怎样的？

MF：根据编码器是否启用可选的 keyset 和字符串去重优化功能，编码时间会有所差异。在实现语言层面，也会有一些遗留的性能难题，比如 JavaScript 针对所有的数字都使用了 IEEE 754 的双精度形式。

InfoQ：你们有支持其他语言的计划吗？

MF：当然！我们已经有了一个 Java 实现，目前，这个实现我们在 Shape Security 内部使用。它还没有为开源做好准备，但是如果我们听到有这种需求的话，就会加快这一进程。如果社区希望为另外的生态系统启动新实现的话，我也是非常乐意提供帮助的。我觉得 Rust 实现将是非常令人兴奋的！

另外，值得一提的是，SuperPack 依然非常年轻，如果读者对于它的提升有什么建议的话，我们非常乐意倾听，只需在规范的 issue tracker 上开启一个 issue 即可。我们希望将来版本的 SuperPack 会更棒！

目前，SuperPack 自带了一个 JavaScript 转码器，但是其他的转码器可以基于它来进行开发。SuperPack 是开源的，并且采用了非常宽容的许可证协议。

查看英文原文： SuperPack, a New Serialization Format with a Smaller Payload