LLM 技术在有道词典笔上的应用实践｜AICon 北京

6 月 27 日-6 月 28 日，AICon 全球人工智能开发与应用大会北京站即将拉开帷幕。本次大会将汇聚 AI 前沿技术与落地实践，邀请来自腾讯、阿里、百度、字节跳动等头部大厂以及智谱、硅基流动、智象未来、声智科技等 AI 企业的 50+资深专家，深度探讨 AI Agent、多模态应用、推理性能优化以及 AI 在软件研发、数据分析、业务运营等场景的具体落地实践。

网易有道研发总监程桥已确认出席并发表题为《LLM技术在有道词典笔上的应用实践》的主题分享。本次分享将聚焦端侧大模型，深入探讨其落地过程中的挑战与实践。通过大模型摩尔定律及相关技术阐述原因，并对比端侧 AI 与云侧 AI 的优劣，介绍端侧 AI 应用场景及有道教育智能硬件特点。端侧大模型落地面临算力、内存、功耗、成本、算法质量、多应用部署等挑战，需平衡各项指标。以有道子曰大模型为例，分享云侧、云端结合、端侧 LLM 三种落地模式。在端侧大模型算法方面，详细介绍模型压缩技术及 LLM 带来的变化与新问题，通过实验确定蒸馏、DPO、词表裁剪、量化等方案，并对推理进行性能优化，端侧大模型成功落地有道词典笔 X7、X7 Pro，开启词典笔部署本地大模型新时代，未来还计划扩展功能。

程桥是网易有道机器翻译及大模型业务负责人，承担多项技术攻坚项目，为有道翻译，有道智云，词典笔等产品提供人工智能技术支持，产品服务近亿用户；在 NLP 领域国际顶级学术会议上发表多篇论文，担任 ACL、EMNLP 等顶级会议的审稿人，拥有多项发明专利的授权。他在本次会议的详细演讲内容如下：

演讲提纲

1. 有道智能硬件应用介绍

2. 端侧大模型面临的挑战

3. 有道子曰大模型的落地模式

4. 端侧大模型的算法优化与推理性能提升

您认为，这样的技术在实践过程中有哪些痛点？端侧大模型落地面临多方面挑战。算力和内存上，与云侧相比差距大，如端侧 RK3562 芯片对比云侧 4090GPU，算力低千倍以上，内存低 20 多倍。功耗方面，端侧设备如手机、词典笔需考虑待机时长，优化底层 AI 引擎与上层 APP 功耗难度大。成本限制下，为有市场竞争力需降低成本，可能导致所选芯片更弱。此外，要保证模型质量，且端侧设备常部署多个应用，各模块抢资源，需综合优化满足用户体验。

您的演讲有哪些前沿亮点？为解决端侧内存限制问题，采用模型压缩技术。以有道子曰大模型为例，运用蒸馏技术，引入片段级语料并确定合适训练集规模，有效提升模型效果。采用 DPO 算法进行强化学习，进一步优化模型性能。通过词表裁剪，在保证模型质量的同时减少内存占用，并选用 AWQ 量化算法，在量化过程中兼顾模型精度与内存优化 。

听众收益

• 理解端侧模型与硬件深度融合的关键路径，助力本地智能化部署。

• 了解端侧大模型的技术挑战与应对策略，掌握行业最新趋势。

除此之外，本次大会还策划了AI Agent 构建与多场景实践、多模态实践与应用、大模型助力研发的实战经验、AI 在业务运营中的深度落地、大模型时代的数据处理与分析、AI 变革下的工程师等 10 多个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在 AICon 北京站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 580 元，详情可扫码或联系票务经理 13269078023 咨询。