从稳定到共情：对话式 AI 与硬件交互的技术探索｜QCon 上海

QCon 上海站开幕倒计时！如果你也关注 Agent、AI 搜索、多模态、工程化等话题，一定不要错过这 100+可落地的实践案例！

10 月 23 日-10 月 25 日，QCon全球软件开发大会将在上海举办。本次大会将聚焦 Agentic AI、具身智能、强化学习框架、端侧大模型实践、多智能体协作等热门话题，以及 AI 时代下的软件研发、可观测、开源等技术实践，邀请来自腾讯、阿里、字节跳动、华为、蚂蚁集团、小红书等企业的技术专家，和来自清华大学、北京邮电大学、浙江大学的顶尖高校讲师，和你一起重构技术认知与能力边界！

网易云信资深音视频和智能硬件开发工程师陈策已确认出席并发表题为《从稳定到共情：对话式 AI 与硬件交互的技术探索》的主题分享。在智能硬件交互面临体验瓶颈的当下，网易云信通过多模态融合与认知计算技术，推动设备从“机械应答”向“情感共鸣”演进。本次分享将解析远场降噪麦克风阵列实现 8 米精准拾音、TOF 视觉模组捕捉微表情与肢体动作的多模态感知系统，以及声纹与情绪参数的实时联合输入机制；揭秘分层式用户画像库如何动态存储长期偏好与短期场景，并利用时序注意力机制保障对话连贯性；同时展示情感化响应生成模型在儿童教育机器人、智能座舱等场景的落地效果，实现从“能听会看”到“懂情绪、有记忆”的交互跃迁。听众将获得多模态感知工程化、情感化交互设计及大模型硬件适配的实战经验。

陈策，网易云信资深音视频和智能硬件开发工程师，深耕音视频传输与实时交互技术领域十余年，主要负责 WebRTC 协议栈深度优化、边缘计算在实时互动中的应用等方向研究。主导开发了 "基于 AI 预测的动态码率适配算法"，将复杂网络环境下音视频传输延迟降低 40%，相关成果被纳入行业技术白皮书；针对智能硬件多设备协同场景，提出 "分布式媒体流同步机制"，解决跨终端音画不同步难题，获 3 项发明专利。在智能硬件领域，其提出的 "分层编码 + 选择性重传" 方案已成为行业主流实践标准，并持续推动实时互动技术向高稳定性、低资源消耗方向突破。他在本次会议的详细演讲内容如下：

演讲提纲

1. 智能硬件市场概况

• 市场规模与需求：全球出货量及家居、穿戴等细分领域占比，用户需求

• 技术现状与痛点：交互碎片化、记忆缺失、情感响应同质化

2. 网易云信对话式 AI 技术架构

• 核心技术架构

• RTC 实时传输：低延迟，弱网自适应

• "LLM+ASR+TTS" 三段式：高精准语音处理与多情感音色

• LLM real-time 混合模式：平衡响应速度与理解深度

3. 多模态交互技术

• 记忆系统、归纳遗忘、人格定制

• 多模态交互增强：声纹锁定、轮次判断、智能打断、云端 AEC

• 情感与内容理解：语音识别与视觉识别-辅助情感理解

4. MCP 生态与开发

• MCP 生态架构：标准化接口与 SDK/API，可视化工具链

• 开发难点解决：轻量化模型适配低算力设备与数据安全合规

5. 典型案例

• 陪伴场景：玩具的个性化服务与情感响应

• 教育场景：学习设备的个性化辅导

• 养老场景：陪伴机器人的状态判断与关怀

5. 未来展望

• 持续优化多模态交互效率

• 完善 MCP 开发生态

• 垂直场景深度适配

演讲亮点

• 全链路技术突破：解析弱网环境下 RTC 传输延迟控制及远场降噪方案，解决智能硬件交互稳定性问题。

• 混合式 LLM 架构揭秘：详解终端轻量化模型与云端大模型的实时协同机制，平衡响应速度与上下文处理能力，破解算力受限设备的 AI 推理难题。

• 情感交互技术栈拆解：剖析融合语音与文本特征的情绪识别系统及多维度情感调制的 TTS 引擎，展示智能硬件情感化的实现路径。

• 低算力适配方案：分享模型压缩与功耗优化经验，以及对低端架构的移植技术，如何实现轻量化落地。

• 技术开放路线图：下一代端云协同技术进展，预告轻量化模型开源计划，为开发者提供明确接入方向。

听众收益

• 了解智能硬件行业的现状

• 了解智能硬件的开发门槛

• 了解目前尖端的对话式 AI 技术细节

除此之外，本次大会还策划了多模态融合技术与创新应用、混沌工程与全链路压测实践、Data Infra for AI、Agentic AI、加速与反哺：AI 时代的可观测实践、Vibe Coding、端侧大模型的创新与应用、大模型推理的工程实践、AI 搜索技术的深水区、模型训练与微调、具身智能：当 AI 学会“动手思考”、大模型驱动的制造革命、AI4SE：软件研发提质增效实践、AI 重塑视觉创作体验、从“炫技”走向“实用”的 AI 产品、大模型驱动的智能数据分析等 20 多个专题论坛，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 上海站现场带来前沿技术洞察和一线实践经验。

目前，所有大会演讲嘉宾已结集完毕，更多详情可联系票务经理 18514549229 咨询。