最近发布的面向令牌的对象表示法（TOON）旨在成为一种支持模式识别的 JSON 替代方案，在保持相近精度的同时显著降低令牌消耗。虽然节省的令牌数量取决于数据结构，但部分基准测试表明，TOON 在某些场景下比 JSON 消耗的令牌少 40%，或许可以节省大型语言模型（LLM）及推理的成本。
TOON 将自己描述为一种紧凑的、人类可读的 JSON 数据模型编码，用于 LLM 提示。
考虑以下 JSON：
在 TOON 格式中，相同的数据变为：
在在线游乐场中运行这个示例，它消耗的令牌与 Pretty JSON 相比减少了 55%，与 compact JSON 相比减少了 25%，与 YAML 相比减少了 38%。
如上面的示例所示，TOON 通过组合 YAML（用于嵌套对象）和 CSV（用于统一数组）格式来节省令牌。然而，对于非统一数据，JSON可能更有效。对于深度嵌套对象，YAML则可能更节省令牌。对于扁平化数据集，CSV 仍然是最紧凑的格式。为提高 LLM 的准确性，TOON 额外增加了一小部分开销（约 5%）用于字段标题和数组声明。
“令牌效率会损害准确性吗？”
不：) TOON 在 GPT 5 Nano 上达到了 99.4%的准确度，而使用的令牌减少了 46%。
已经针对大约 160 个问题和 3 个 LLM 进行了语义验证测试。
我认为，明确的长度+字段列表=更少的错误。
读者可以查看 TOON规范、文档、在线游乐场，并运行自己的效率和准确性基准测试。在延迟关键应用中，开发人员应该比较两种格式的首次令牌获取时间和每秒令牌数。
TypeScript/JavaScript 参考实现已经在github.com/toon-format/toon存储库中维护。其中包括一个完整的编码器和解码器，用于将 JSON 转换为 TOON 的 CLI 工具，以及性能基准测试。TOON 1.0 两周前在 MIT 许可下发布。
声明：本文为 InfoQ 翻译，未经许可禁止转载。
原文链接：https://www.infoq.com/news/2025/11/toon-reduce-llm-cost-tokens/
腾讯云云原生提质增效实践精选集 2024
《2024腾讯云云原生提质增效实践精选集》出炉，5大热门技术领域，13个行业精选标杆案例，痛点到解决方案全...
评论