【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

为什么 Android 开发者应该使用 FlatBuffers 替代 JSON?

  • 2016-07-07
  • 本文字数:1584 字

    阅读完需:约 5 分钟

你可能会问,既然我们已经有很标准的 JSON 以及转换库比如 GSON 和 Jackson,为什么还要使用新的工具呢?

不妨先试一下 FlatBuffers,然后你就会发现它比 JSON 快得多。

FlatBuffers 是什么?

FlatBuffers 是一个高效的跨平台序列化类库,可以在 C++、C#、C、Go、Java、JavaScript、PHP 和 Python 中使用。是Google开发的,是为了应用在游戏开发,以及其他注重性能的应用上。

为什么要使用 FlatBuffers?

  • 不需要解析 / 拆包就可以访问序列化数据 — FlatBuffers 与其他库不同之处就在于它使用二进制缓冲文件来表示层次数据,这样它们就可以被直接访问而不需解析与拆包,同时还支持数据结构进化(前进、后退兼容性)。
  • 内存高效速度快 — 访问数据时只需要访问内存中的缓冲区。它不需要多余的内存分配(至少在 C++ 是这样,其他语言中可能会有变动)。FlatBuffers 还适合配合 mmap 或数据流使用,只需要缓冲区的一部分存储在内存中。访问时速度接近原结构访问,只有一点延迟(一种虚函数表 vtable),是为了允许格式升级以及可选字段。FlatBuffers 适合那些花费了大量时间和空间(内存分配)来访问和构建序列化数据的项目,比如游戏以及其他对表现敏感的应用。可以参考这里的基准
  • 灵活 — 由于有可选字段,你不但有很强的升级和回退兼容性(对于历史悠久的游戏尤其重要,不用为了每个版本升级所有数据),在选择要存储哪些数据以及设计数据结构时也很自由。
  • 轻量的 code footprint — FlatBuffers 只需要很少量的生成代码,以及一个表示最小依赖的很小的头文件,很容易集成。细节上可以看上面的基准页。
  • 强类型 — 编译时报错,而不需要自己写重复的容易出错的运行时检查。它可以自动生成有用的代码。
  • 使用方便 — 生成的 C++ 代码允许精简访问与构建代码。还有可选的用于实现图表解析、类似 JSON 的运行时字符串展示等功能的方法。(后者比 JSON 解析库更快,内存效率更高)
  • 代码跨平台且没有依赖 — C++ 代码可以运行在任何近代的 gcc/clang 和 VS2010 上。同时还有用于测试和范例的构建文件(Android 中.mk 文件,其他平台是 cmake 文件)。

都有谁使用 FlatBuffers?

  • BobbleApp,印度第一贴图 App。我们在 BobbleApp 中使用 FlatBuffers 后 App 的性能明显增强。
  • Cocos2d-x ,第一开源移动游戏引擎,使用 FlatBuffers 来序列化所有的游戏数据。
  • Facebook 使用 FlatBuffers 在 Android App 中进行客户端服务端的沟通。他们写了一篇文章来描述 FlatBuffers 是如何加速加载内容的。
  • Google 的 Fun Propulsion Labs 在他们所有的库和游戏中大量使用 FlatBuffers。

App 性能有多大提高?

  • 解析速度 解析一个 20KB 的 JSON 流(这差不多是 BobbleApp 的返回大小)需要 35ms,超过了 UI 刷新间隔也就是 16.6ms。如果解析 JSON 的话,我们就在滑动时就会因为要从磁盘加载缓存而导致掉帧(视觉上的卡顿)。
  • 解析器初始化 一个 JSON 解析器需要先构建字段映射再进行解析,这会花 100ms 到 200ms,很明显的拖缓 App 启动时间。
  • 垃圾回收 在解析 JSON 时创建了很多小对象,在我们的试验中,解析 20kb 的 JSON 流时,要分配大约 100kb 的瞬时存储,对 Java 内存回收造成很大压力。

FlatBuffers vs JSON

我尝试使用 FlatBuffers 和 JSON 解析 4mb 的 JSON 文件。

FlatBuffers 花了 1-5ms,JSON 花了大约 2000ms。在使用 FlatBuffers 期间 Android App 中没有 GC,而在使用 JSON 时发生了很多次 GC。在使用 JSON 时 UI 完全卡住,所以真实使用时只能在后台线程进行解析。

如何使用 FlatBuffer 呢?

我在我的 GitHub 中写了一个示例,里面手把手教你如何使用FlatBuffer。

原文链接: https://medium.freecodecamp.com/why-consider-flatbuffer-over-json-2e4aa8d4ed07


感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-07-07 19:008399

评论

发布
暂无评论
发现更多内容

REST API 安全基础知识:保护你的应用程序和用户数据

Apifox

API 企业安全 REST API 安全认证 API 安全

REST 与 SOAP 之间的差异

Apifox

Rest 协议 soap REST API SOAP Webservice

报名开启!成都首个ChatGPT和大模型专题研讨会,期待您的参与!

NLP资深玩家

C++ 循环

雪奈椰子

开心档

深度学习:理解卷积神经网络(CNN)的原理和应用

兴科Sinco

人工智能 神经网络 深度学习 自然语言 图象识别

达观助手智能写作,让写作更快更好更有趣!

NLP资深玩家

北京 Meetup 邀你来|云上 StarRocks 极速湖仓

StarRocks

数据库 活动 OLAP 大数据分析 StarRocks

The era of Wallys/wifi7 has arrived-ipq9574+qcn9274.

Cindy-wallys

qcn9274 ipq9574

嘉为蓝鲸携手腾讯云亮相石油石化峰会!

嘉为蓝鲸

能源 嘉为蓝鲸 研运一体化

持续集成的前提条件

测吧(北京)科技有限公司

测试

“云智一体”进化史

百度开发者中心

人工智能 云智一体 文心一言

什么是plist

雪奈椰子

ios 开发 IPA上传

中台的下一站:行业数字化操作系统

创智荟

中台 操作系统 数字化

开心档之C++ 多线程

雪奈椰子

基于低代码开发平台打造新时代OA系统

力软低代码开发平台

一文吃透低代码平台源代码交付的重要性

这我可不懂

软件开发 低代码 JNPF

如何使用 Postman 发送 JSON 数据

Liam

json Postman 接口测试 API API 调试

Nautilus Chain 上首个 DEX PoseiSwap 通证经济学模型解析

威廉META

华为云FusionInsight引领现代数据平台革新:助力企业数字化转型与增值

科技怪授

解锁企业数据管理的利器——DataOps

数造万象

华为云EI:引领企业智能化转型,助力全球行业创新

爱尚科技

业务导向且支持开发过程的测试

测吧(北京)科技有限公司

测试

WeOpsV3.16持续拓展云平台能力,监管华为ManageOne云平台

嘉为蓝鲸

运维 weops

C++ 修饰符类型

雪奈椰子

iOS上架 IPA上传

集简云已支持GPT-4 API接口,将最新AI模型接入到您的业务流程中

集简云开放平台

人工智能 ChatGPT

OctConv:八度卷积复现

华为云开发者联盟

人工智能 华为云 卷积 华为云开发者联盟 企业号 4 月 PK 榜

如何打开 plist 文件

ios 开发 IPA上传

Dapr和Rainbond集成,实现云原生BaaS和模块化微服务开发

北京好雨科技有限公司

云原生 #Kubernetes# Baas rainbond 企业号 4 月 PK 榜

plist 文件是什么

雪奈椰子

ios 开发 IPA上传

Wallys/The IPQ9554+qcn6274 support the new WiFi 7 standard

Cindy-wallys

ipq9554 qcn6274

百度智能云助力达拉特旗入选“数字城市创新成果与实践案例”

百度开发者中心

人工智能 智慧城市 云智一体

为什么Android开发者应该使用FlatBuffers替代JSON?_Android/iOS_Amit Shekhar_InfoQ精选文章