Discord 团队在 BEAM 虚拟机上处理大型数据结构时，性能上遇到了天花板。于是他们实现了Elixir的Rust接口，支持系统扩展到1100万并发用户。
作为一家多系统 VoIP 应用平台的开发商，Discord的独到技术是在Erlang虚拟机上使用Elixir，系统支持 500 万并发用户，同时可扩展到 1100 万并发用户，实现每秒处理百万级事件。团队近期致力于大型数据结构处理的优化。处理此类数据结构需要更高的性能，当前 Elixir 和 BEAM 难以支持。
尽管 BEAM 虚拟机的速度很快，并且每天都在改进，但是它通常尽可能使用持久数据结构。对于大型列表数据结构的更新，其性能难以满足我们的需求。
具体而言，Discord 的工程师需要一种支持大规模并发互斥（mutation）的有序数据结构，并能够返回受影响的索引列表。他们着手分析 Elixir 中是否提供可满足上述需求的数据结构，包括 MapSet、List 和 Ordset 等。但是现有的数据结构并不适合，尤其是考虑到最坏情况下需处理 25 万条以上的条目。对现有第三方软件包的研究，结果同样令人失望。
由此，Discord 的工程师另辟蹊径，尝试使用 NIF（Native Implemented Function）技术达成目标。NIF 是一种在 BEAM 虚拟机中支持像使用 Elixir 或 Erlang 内建函数一样使用原生代码的机制。Rust 不仅具有“零代价抽象”方法，而且提供强安全保证，是支持构建 NIF 的不二选择，可确保最小化由于 BEAM 虚拟机内存泄漏而导致崩溃的情况。此外，Rust 生态系统已经提供了一些开源软件库，简化了使用 Rust 和Rustler编写 BEAM NIF。Rustler 提供了生成接口代码模板（boilerplate）、编解码和错误管理的机制。
简而言之，Discord 的工程师在经过数轮迭代开发后，用Rust编码实现了SortedSet。该数据结构可实现性能 6.5 倍的提升，在最坏情况下可达到 160 倍的性能提升。新的 SortedSet 已成为构建所有 Discord 用户组（guild）的基础。
Discord 团队的项目展示了 Rust 与 BEAM 虚拟机的高效集成能力。项目继续使用 Elixir 等高级函数式语言，不仅提高了系统性能和安全，而且实现了可靠的大规模数据结构。
原文链接：
Scaling Up Elixir Using Rust at Discord
暂无签名
中国开发者画像洞察研究报告 2024
分析开发者的行为模式、工作价值、职业发展等内容，帮助整个行业生态更深入地理解开发者，为他们提供更精准...
评论