大模型应用开发的破局之路:字节跳动 Eino 框架实践 |QCon 北京

  • 2025-03-18
    北京
  • 本文字数:1090 字

    阅读完需:约 4 分钟

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将在北京召开,大会以 “智能融合,引领未来” 为主题,将汇聚各领域的技术先行者以及创新实践者,为行业发展拨云见日。

字节跳动研发工程师沈桐已确认出席并发表题为《大模型应用开发的破局之路:字节跳动 Eino 框架实践》的主题分享。在大模型应用开发过程中,如何将研究成果与软件工程紧密结合,并解决新领域中的新问题是开发者面临的重大挑战。本次分享将介绍基于 Golang 的解决方案,以字节跳动的实际产品功能为例,重点介绍 Eino 框架在 “组件” 抽象和业务编排方面的创新实践,解决字节实际业务场景中的问题。希望能让听众收获 Eino 框架在大规模生产环境中的应用价值与实践经验参考。

沈桐毕业于北大,在字节跳动工作三年半,近一年在 AI 相关部门聚焦 AI 应用开发平台相关工作,是 Eino 开发框架的核心开发者之一。他在本次会议的详细演讲内容如下:

演讲提纲

1. 大模型应用开发过程的挑战

  • 研究成果与软件工程的脱节

  • 语言和生态差异

  • 认知和术语差异

  • 新领域的新问题

  • 可枚举的组件,多变但有迹可循的编排模式

  • 基于数据帧的流式处理

2. 基于 Golang 的解决方案

  • 基于 Golang 的大模型应用开发框架:Eino

  • Golang 的优势:编译期强类型检查

  • 定义组件抽象,提供组件实现

  • 解决组件编排使用的问题

  • 两个重要的解决方案:

  • 通过类型对齐,尽早发现代码错误

  • 流式数据传输和处理

3. 分享一个字节跳动的实际产品功能从需求到生产的过程

  • 需求引发框架功能的扩展

  • 编排实现业务流程

  • 具体痛点解决过程

4. 经验总结

  • 应用开发框架作为基础设施的真正作用和正确使用姿势

  • 从实践出发,按需跳出框架的范围

您认为,这样的技术在实践过程中有哪些痛点?

  • 基于 Golang 的 AI 应用生态,相比 Python 的 AI 应用生态,在覆盖面和丰富度上有不足

  • Eino 作为一个基础设施性质的开发底座,需要时刻权衡“积极提供最新的功能扩展”和“最大程度保证 API 稳定,谨慎迭代”两个相反的考量

演讲亮点

  • 基于实践经验,总结大模型应用开发过程中的真实痛点,并给出可落地的解决方案

  • 分享真实案例,剖析实际问题解决过程

听众收益

  • 针对大模型应用开发过程中的真实痛点,获取可落地的解决方案和思路

  • 通过具体案例和时机演示,获得感性认识,提供思考的养料

除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠,单张门票立省 680 元,详情可扫码或联系票务经理 18514549229 咨询。