写点什么

深思考人工智能 CEO 兼 AI 算法科学家杨志明将在 AICon 北京分享端侧多模态大模型的创新实践

  • 2025-06-05
    北京
  • 本文字数:2099 字

    阅读完需:约 7 分钟

大小:1.14M时长:06:37
深思考人工智能CEO 兼 AI 算法科学家杨志明将在AICon北京分享端侧多模态大模型的创新实践

6 月 27 日-6 月 28 日,AICon 全球人工智能开发与应用大会北京站即将拉开帷幕。本次大会将汇聚 AI 前沿技术与落地实践,邀请来自腾讯、阿里、百度、字节跳动等头部大厂以及智谱、硅基流动、智象未来、声智科技等 AI 企业的 50+资深专家,深度探讨 AI Agent、多模态应用、推理性能优化以及 AI 在软件研发、数据分析、业务运营等场景的具体落地实践。


深思考人工智能 CEO 兼 AI 算法科学家杨志明已确认出席并发表题为《深思考端侧多模态大模型TinyDongni&Deepseek的创新实践》的主题分享。当前,全球 AI 大模型发展进入关键阶段,端侧 AI 市场展现出巨大潜力,预计到 2032 年全球规模将达到 1436 亿美元,覆盖医疗、智能终端、机器人等多个重要领域。深思考人工智能推出的 TinyDongni&DeepSeek 端侧多模态大模型,通过创新的 1.5B/4B 双参数架构设计,在保障性能的同时实现高效本地化部署。该方案采用自研 Dongni-AMDC 量化压缩技术,将模型优化为 1B 端侧版本,并赋予视觉模态能力,全面适配鸿蒙、Linux、Windows 等操作系统及国产算力平台。其核心技术优势包括:Token 压缩与多精度混合量化使 1.5B 模型在骁龙 8Gen3 上达到 20-25 token/s 的解码速度;跨模态性能在多项测试中保持领先,0.4B 版本图像检索计算量仅 175BFLOPs。目前已在智能手机、人形机器人、AI 摄像头、AIPC Suite、医学显微镜及存储设备等场景成功落地,为各领域提供安全可靠的端侧 AI 解决方案。



杨志明现任深思考人工智能机器人科技(北京)有限公司 CEO 兼 AI 算法科学家。毕业于中国科学院研究生院,获硕士学位,后在中国科学院软件研究所攻读博士,专注于自然语言处理、深度学习和机器学习。同时拥有中国科学院大学 MBA 和清华五道口金融学院的学术背景。


是苏州领军人才和江苏双创人才,担任中国银行业协会 CFT 人工智能课程讲席教授,上海金浦资本 2019 年人工智能特聘专家,宁波大学科技学院客座教授。拥有 20 年大型复杂系统与 AI 系统架构设计与研发经验,曾主持多项重大核心系统研发,参与多项国家级重大项目研究。


拥有知识产权 113 项,其中国家发明专利 32 项,发表多篇一级学术期刊论文,荣获国际国内奖项 19 项。作为首席架构师与核心算法设计师,带领团队蝉联多届人机对话及语言与智能技术大赛冠军,入选工信部 2021“新一代人工智能产业创新发展重点任务揭榜优胜单位”。他在本次会议的详细演讲内容如下:


演讲提纲

端侧大模型是指在设备本地(如智能手机、个人电脑、IoT 设备、嵌入式系统等)运行的大模型,其特点是参数规模不大,不需要网络传输,响应速度快,且可以保障用户数据的安全性。本次分享主要介绍深思考“TinyDongni”&“DeepSeek”超小端侧多模态大模型,围绕背景与市场需求,核心工作、差异化技术优势、赋能应用展开。


1. 背景与市场需求

  • 随着个人和企业本地非结构化数据(如图片、视频、文档)以年均 58%的速度激增,传统基于文件名或关键词的检索方式已显乏力——无法理解图像内容、视频语义或文档逻辑,导致搜索失败率超 60%。专业用户日均因此损失 47 分钟,亟需支持跨格式语义分析、可离线运行的端侧 AI 搜索方案,以充分挖掘数据资产价值

2. 核心工作

  • 使用深思考自研的 Dongni-AMDC(Adaptive Multi-Dimensional Compression) 方法量化压缩了 DeepSeek R1 模型为 DeepSeek R1 -1B 端侧模型。

  • 使得 DeepSeek R1-1B “长眼睛”具备视觉模态能力,从而增强为多模态模型。

  • 适配了开源鸿蒙操作系统(据悉也同时适配了 Linux Ubuntu 22.04 / 统信 UOS/Windows 10 & 11/Android 14)

  • 将 TinyDongni”及“deepseek”超小端侧多模态大模型优化运行至国产算力模组,推出一站式解决方案。

3. 差异化技术优势

  • 创新的端侧模型量化及加速推理的技术:Token 数量压缩、模型量化、编译优化、多芯片协同处理、NPU 加速、内存使用优化、定制调优。

  • 跨模态端侧模型的性能优势

  • 适配多种芯片

4. 赋能应用

  • 对 AI PC 的赋能

  • 对 AI 手机的赋能

  • 对 AI 摄像头的赋能

  • 对医学显微镜的赋能


您认为,这样的技术在实践过程中有哪些痛点?

  • 算力与效能的极限博弈:1B 参数模型在低功耗 NPU 上运行仍面临发热降频问题

  • 多模态对齐的精度损失:跨模态向量空间映射误差导致语义漂移


您的演讲有哪些前沿亮点?

  • 解锁端侧 AI 技术落地的实战方法论

  • 了解如何将十亿级大模型压缩到端侧可运行规模;掌握多模态对齐、内存优化等关键技术的工程化实现路径,避免重复踩坑。

  • 突破现有业务瓶颈的创新视角

  • 学习在国产芯片上实现 3.2 倍推理加速的优化策略;启发将传统检索系统升级为语义中枢的路径。

  • 预判技术演进趋势的决策依据

  • 提前布局技术储备;抓住开放插件生态的早期接入窗口,建立技术护城河。


听众收益

  • 了解大模型在隐私敏感场景(如医疗、金融)的端侧部署实践

  • 获取多模态搜索、实时决策、可控输出等技术的行业适配方法论

  • 洞察 AI 与鸿蒙生态、边缘计算的融合趋势


除此之外,本次大会还策划了AI Agent 构建与多场景实践多模态实践与应用大模型助力研发的实战经验AI 在业务运营中的深度落地大模型时代的数据处理与分析AI 变革下的工程师等 10 多个专题论坛,届时将有来自不同行业、不同领域、不同企业的 50+资深专家在 AICon 北京站现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 580 元,详情可扫码或联系票务经理 13269078023 咨询。



2025-06-05 17:006391

评论

发布
暂无评论

TDSQL | 将企业级分布式数据库做到极致

腾讯云数据库

tdsql 国产数据库

ReactNative进阶(二十三):Javascript 严格模式详解

No Silver Bullet

React Native 1月月更

2021 OceanBase 开源半年度报告 | 不忘初心,感恩同行

OceanBase 数据库

开发者 报告 OceanBase 开源 OceanBase 社区版

redis未授权访问漏洞复现

喀拉峻

redis 黑客 网络安全 安全 信息安全

(1-14/14) 首位销售人员

mtfelix

300天创作 2022Y300P

低代码实现探索(二十二)如何构建一个可以看的懂的系统

零道云-混合式低代码平台

Serverless 背景下,一部分“前端工程师”会转变为“应用交付工程师”

杨成功

Serverless 架构 前端

Scrum Master如何参与每日Scrum(Daily Scrum)

Bruce Talk

Scrum 敏捷 Agile Coach/Facilitate

Go 语言快速入门指南:Go 并发初识

宇宙之一粟

golang 并发 Go 语言 1月月更

虎符研究院深入解读Web3.0未来趋势 盘点代表性项目

区块链前沿News

Web Hoo虎符 虎符研究院 虎符平台 3.0

java开发之Redis的使用规范

@零度

redis JAVA开发

前端使用 zx 库在 Node 中编写 Shell 脚本

devpoint

node.js Shell 1月月更 zx.js

龙蜥社区一周动态 | 1.10-1.14

OpenAnolis小助手

Linux 开源 社群

我相信:没有解不开的难题|ONES 人物

万事ONES

ONES CTO 冯斌|如何低成本地做出高质量决策

万事ONES

前端开发之JQuery的综合应用

@零度

jquery 前端开发

混沌工程之 Linux 网络故障模拟工具TC

zuozewei

Linux 混沌工程 1月月更

为什么HashMap会产生死循环?

王磊

Chrome插件:摸鱼倒计时、每日摸鱼时间统计,奋斗逼、卷王必备,用于减少摸鱼时间和频率

OBKoro1

效率 开源 效率工具 chrome扩展 高效率

TDSQL-C for PostgreSQL 主从架构详解

腾讯云数据库

tdsql 国产数据库

创业老兵李峻的新征程|ONES 人物

万事ONES

Jetpack—LiveData组件的缺陷以及应对策略

vivo互联网技术

android livedata JetPack 移动应用开发

1月月更|推荐学java——Spring之AOP

逆锋起笔

spring SSM框架 spring aop 依赖注入 面向切面编程

Hive SQL底层执行原理

五分钟学大数据

Hive SQL 1月月更

GIS :元宇宙未来发展的有力技术支撑

华为云开发者联盟

AI GIS 虚拟世界 数字孪生 云宇宙

Scrum Master需要具备哪些能力和经验

华为云开发者联盟

Scrum 敏捷 团队 教练 Scrum Master

TDSQL PG版企业级分布式数据库技术创新实践

腾讯云数据库

tdsql 国产数据库

如何处理消息丢失问题?

JavaEdge

1月月更

架构实战训练营-模块7-作业

温安适

「架构实战营」

软件设计——依赖倒置

苏州程序大白

架构师

深思考人工智能CEO 兼 AI 算法科学家杨志明将在AICon北京分享端侧多模态大模型的创新实践_AI&大模型_AICon 全球人工智能开发与应用大会_InfoQ精选文章