写点什么

钉钉 AI 震撼升级:加入多模态、工作流等能力

  • 2024-03-28
    北京
  • 本文字数:1724 字

    阅读完需:约 6 分钟

钉钉AI震撼升级:加入多模态、工作流等能力

3 月 28 日,钉钉 AI 助理重磅升级,上线图片理解、文档速读、工作流等产品能力,率先探索多模态、长文本与 RPA 技术在 AI 应用的落地。


基于阿里通义千问大模型,升级后的钉钉 AI 助理拥有更强的视觉推理能力和长文本速读能力。目前,用户在钉钉 IM 消息框或点击魔法棒按钮进入 AI 助理对话框,发送长文件、在线文档、网页链接、视频内容,即可根据内容识人、识地点、分析、答题、翻译、摘要、提取文字,甚至可以通过多轮交互进一步做智能问答。


钉钉 AI 已支持图像理解、视频速读,化身全能“小百科”


LLM(大语言模型)之后,大模型领域迎来了新的爆点“多模态”,为 AI 应用带来了更大的想象力。


基于通义千问 Qwen-VL-Max 视觉理解模型,钉钉 AI 助理能够准确描述和识别图片信息,并根据图片进行信息推理、扩展创作、文字提取、翻译等,相当于一个全能的“图片小百科”。




不管图片展示的是某件物体、某个人物、风景,还是菜谱、社交梗图、数学题和衣服标签,AI 助理都能一秒识别图片内容,并在此基础上进行多轮对话问答。比如,旅游时看到一个很美的建筑,拍照发给钉钉 AI 助理,就能迅速了解它的历史背景和相关故事。


利用这一能力,用户还可以实现识图翻译或提取图片中的文字,让信息获取更加便捷。比如,不知道某件衣服的洗涤方式,把衣服标签拍个照发给钉钉 AI 助理,就可以翻译上面的英文。


通义千问 Qwen-VL-Max 拥有更强的视觉推理和中文理解能力,整体性能堪比 GPT-4V 和 Gemini Ultra。在 MMMU、MathVista 等测评中远超业界所有开源模型,在文档分析(DocVQA)、中文图像相关(MM-Bench-CN)等任务上超越 GPT-4V,达到世界最佳水平。




此外,AI 助理也支持视频内容的速读。发送给 AI 助理的短视频、直播切片或培训视频可以被快速“观看”, AI 助理会根据视频内容生成字幕,提取关键词,并生成一份智能摘要,对于最高 2GB 的视频内容,仅需 3 分钟即可完成智能解读。


“文档速读”能力升级,从冗长信息中解放生产力


利用大模型技术从文本中检索、总结信息,可以说是每个人日常生活、工作、学习的需求场景。


基于通义千问大模型,钉钉 AI 助理可以快速阅读本地文件如 Word、PDF、PPT、Excel 等、钉钉文档、网页链接等多种格式文件,轻松解析各类学术论文、产品手册、使用教程、数据表格、新闻报道、多国语言的图书等。




比如,临时需要分析一个业务数据时,上传相关的 Excel 表格,AI 助理就可以直接给出数据结论;企业复杂的产品手册发送给 AI 助理后,可以快速总结和智能问答,大幅提升信息效率。


值得一提的是,钉钉 AI 助理对长文本的处理能力已支持单次阅读 500 页的文件,可以为法律、医学、金融等专业领域提供更全面、准确的信息服务。


比如,有研究者将一份《大模型与自动驾驶如何结合研究报告》的长论文发送后,AI 助理在几秒内就快速总结了相应的内容,并给出了这一研究具体是什么、研究的技术创新点、研究方法等诸多论文的关键要素。用户还可以进一步追问某个知识点的具体来源或相关信息,从阅览文档、反复检索的冗长工作中彻底解放。


AI 助理上线“工作流”, AI 也能干复杂的活了


随着 OpenAI 带火 Agent(智能体),大模型融入自动化技术成为当前最具共识的方向之一。


今年 1 月,钉钉 AI 助理正式上线,企业和个人 AI 助理已进入到工作和生产力场景中。为让 AI 助理可以完成一系列更复杂的任务,钉钉 AI 助理上线了工作流能力。


工作流是 AI Agent 的一种进阶玩法,不仅可以在创建时对 AI 执行任务的流程进行拆解和编排,使得 AI 助理可以主动接管完成相应操作,还能够打通外部的系统数据和 API 能力,进一步扩展了它的行动能力,比如搭建能自动写脚本并生成视频的创作 AI 助理。




为降低用户的使用门槛,钉钉官方还提供了多种工作流模板。已有企业使用工作流创建了门店信息收集助理,将用户反馈自动化整理,并存储到一张钉钉多维表中,帮助员工节约琐碎的时间;个人用户也通过连接微博 API,创建了自动追踪热点并撰写文章的助理,一个指令就能批量执行,大幅提升内容生产的效率。


目前,用户可在钉钉 APP 或 PC 客户端直接使用 AI 助理的各项功能,包括多模态、长文本和工作流,体验 AI 带来的便捷与高效。


关于以上内容的更多信息,钉钉 CTO 程操红将在 4 月 11 日 QCon 全球软件开发大会上进行更深度地讲解,敬请关注!



2024-03-28 12:266301
用户头像
鲁冬雪 GMI Cloud Head of China Marketing

发布了 370 篇内容, 共 306.9 次阅读, 收获喜欢 304 次。

关注

评论

发布
暂无评论
发现更多内容

“鞍云智鼎”AI大模型,鞍钢“智”胜转型的破题密钥

用友BIP

云渗透实战:解密AWS CTF挑战中的秘密

qife

AWS安全 云渗透测试

AI 体验走查 - 火山引擎存储的 AI UX 探索之路

字节跳动开源

火山引擎 AI 体验走查 可用性测试

技术分享 | 如何实现不停机从OSS迁移到Valkey

伊克罗德信息科技

【免费领取】含高速公路、桥梁群监测等真实案例的白皮书

TDengine

tdengine 国产时序数据库 时序数据库tdengine

10亿订单如何分库分表?

电子尖叫食人鱼

Java 数据库

TinyVue 智能组件库:基于 MCP 协议,实现 AI 代替人操作 Web 组件

华为云开发者联盟

使用jenkins进行流水线编译

天翼云开发者社区

数据库、

25年青岛正规等保测评机构信息看这里!

行云管家

等保 等保测评

实战解析京东商品评论API:评价情感分析与行业应用案例

tbapi

京东商品评论接口 京东评论API 京东商品评论内容采集

PO设计模式全攻略,在 UI 自动化中的实践总结(以企业微信为例)

测试人

软件测试

AI时代,我们要如何学习?

田威AI

Altair HyperWorks帮助文件的打开和界面介绍教程

智造软件

altair Hypermesh hyperworks

京东图片搜索API的Base64编码限制:超过1MB图片的压缩方案

tbapi

京东图片搜索接口 京东拍立淘API

谷歌地图代理 | 构建未来服务:谷歌地图API深度集成你的应用与平台

Cloud Ace 云一

商品中心—商品消息处理系统的技术文档

量贩潮汐·WholesaleTide

架构

Labubu的风过了?无用的产品才是艺术

IPD产品研发管理

产品 产品经理 产品设计 产品运营 盲盒

Vue3 的强势崛起,低代码搭车铺路?

秃头小帅oi

CAD怎么更改块内对象的图层

极客天地

2025年6月文章一览

codists

Python

得心应手:探索 MCP 与数据库结合的应用场景

亚马逊云科技 (Amazon Web Services)

AI搜索 MCP最佳实践

阿里云大数据AI技术

人工智能 数据库 大数据分析 向量检索服务 AI搜索

近700名开发者齐聚HDD赋能交流会,以代码共建共享鸿蒙新世界

最新动态

ES集群迁移方案总结

天翼云开发者社区

数据迁移

大北农集团与用友再度携手,共绘智慧农业未来

用友BIP

一个static关键字引发的线上故障:深度剖析静态变量与配置热更新的陷阱

不在线第一只蜗牛

Java

佰工钢铁与用友战略合作升级,共建“佰智AI” 大模型

用友BIP

CAD如何在动态块编辑中显示不可见的图形

极客天地

在苹果电脑上运行Windows软件的三种方法

阿拉灯神丁

Mac电脑运行win CrossOver Mac下载 Mac电脑软件 虚拟机安装

Python+Selenium 测试用例编写终极实战入门指南(一)

测试人

软件测试

Flink 任务类加载泄漏问题分析

Joseph295

钉钉AI震撼升级:加入多模态、工作流等能力_AI&大模型_钉钉_InfoQ精选文章