写点什么

钉钉 AI 震撼升级:加入多模态、工作流等能力

  • 2024-03-28
    北京
  • 本文字数:1724 字

    阅读完需:约 6 分钟

钉钉AI震撼升级:加入多模态、工作流等能力

3 月 28 日,钉钉 AI 助理重磅升级,上线图片理解、文档速读、工作流等产品能力,率先探索多模态、长文本与 RPA 技术在 AI 应用的落地。


基于阿里通义千问大模型,升级后的钉钉 AI 助理拥有更强的视觉推理能力和长文本速读能力。目前,用户在钉钉 IM 消息框或点击魔法棒按钮进入 AI 助理对话框,发送长文件、在线文档、网页链接、视频内容,即可根据内容识人、识地点、分析、答题、翻译、摘要、提取文字,甚至可以通过多轮交互进一步做智能问答。


钉钉 AI 已支持图像理解、视频速读,化身全能“小百科”


LLM(大语言模型)之后,大模型领域迎来了新的爆点“多模态”,为 AI 应用带来了更大的想象力。


基于通义千问 Qwen-VL-Max 视觉理解模型,钉钉 AI 助理能够准确描述和识别图片信息,并根据图片进行信息推理、扩展创作、文字提取、翻译等,相当于一个全能的“图片小百科”。




不管图片展示的是某件物体、某个人物、风景,还是菜谱、社交梗图、数学题和衣服标签,AI 助理都能一秒识别图片内容,并在此基础上进行多轮对话问答。比如,旅游时看到一个很美的建筑,拍照发给钉钉 AI 助理,就能迅速了解它的历史背景和相关故事。


利用这一能力,用户还可以实现识图翻译或提取图片中的文字,让信息获取更加便捷。比如,不知道某件衣服的洗涤方式,把衣服标签拍个照发给钉钉 AI 助理,就可以翻译上面的英文。


通义千问 Qwen-VL-Max 拥有更强的视觉推理和中文理解能力,整体性能堪比 GPT-4V 和 Gemini Ultra。在 MMMU、MathVista 等测评中远超业界所有开源模型,在文档分析(DocVQA)、中文图像相关(MM-Bench-CN)等任务上超越 GPT-4V,达到世界最佳水平。




此外,AI 助理也支持视频内容的速读。发送给 AI 助理的短视频、直播切片或培训视频可以被快速“观看”, AI 助理会根据视频内容生成字幕,提取关键词,并生成一份智能摘要,对于最高 2GB 的视频内容,仅需 3 分钟即可完成智能解读。


“文档速读”能力升级,从冗长信息中解放生产力


利用大模型技术从文本中检索、总结信息,可以说是每个人日常生活、工作、学习的需求场景。


基于通义千问大模型,钉钉 AI 助理可以快速阅读本地文件如 Word、PDF、PPT、Excel 等、钉钉文档、网页链接等多种格式文件,轻松解析各类学术论文、产品手册、使用教程、数据表格、新闻报道、多国语言的图书等。




比如,临时需要分析一个业务数据时,上传相关的 Excel 表格,AI 助理就可以直接给出数据结论;企业复杂的产品手册发送给 AI 助理后,可以快速总结和智能问答,大幅提升信息效率。


值得一提的是,钉钉 AI 助理对长文本的处理能力已支持单次阅读 500 页的文件,可以为法律、医学、金融等专业领域提供更全面、准确的信息服务。


比如,有研究者将一份《大模型与自动驾驶如何结合研究报告》的长论文发送后,AI 助理在几秒内就快速总结了相应的内容,并给出了这一研究具体是什么、研究的技术创新点、研究方法等诸多论文的关键要素。用户还可以进一步追问某个知识点的具体来源或相关信息,从阅览文档、反复检索的冗长工作中彻底解放。


AI 助理上线“工作流”, AI 也能干复杂的活了


随着 OpenAI 带火 Agent(智能体),大模型融入自动化技术成为当前最具共识的方向之一。


今年 1 月,钉钉 AI 助理正式上线,企业和个人 AI 助理已进入到工作和生产力场景中。为让 AI 助理可以完成一系列更复杂的任务,钉钉 AI 助理上线了工作流能力。


工作流是 AI Agent 的一种进阶玩法,不仅可以在创建时对 AI 执行任务的流程进行拆解和编排,使得 AI 助理可以主动接管完成相应操作,还能够打通外部的系统数据和 API 能力,进一步扩展了它的行动能力,比如搭建能自动写脚本并生成视频的创作 AI 助理。




为降低用户的使用门槛,钉钉官方还提供了多种工作流模板。已有企业使用工作流创建了门店信息收集助理,将用户反馈自动化整理,并存储到一张钉钉多维表中,帮助员工节约琐碎的时间;个人用户也通过连接微博 API,创建了自动追踪热点并撰写文章的助理,一个指令就能批量执行,大幅提升内容生产的效率。


目前,用户可在钉钉 APP 或 PC 客户端直接使用 AI 助理的各项功能,包括多模态、长文本和工作流,体验 AI 带来的便捷与高效。


关于以上内容的更多信息,钉钉 CTO 程操红将在 4 月 11 日 QCon 全球软件开发大会上进行更深度地讲解,敬请关注!



2024-03-28 12:266419
用户头像
鲁冬雪 GMI Cloud Head of China Marketing

发布了 370 篇内容, 共 314.4 次阅读, 收获喜欢 304 次。

关注

评论

发布
暂无评论
发现更多内容

flutter系列之:flutter架构什么的,看完这篇文章就全懂了

程序那些事

flutter 架构 程序那些事 5月月更

内存性能测试工具

穿过生命散发芬芳

5月月更 内存性能测试

IOC思想开窍之路

留乘船

Java spring ioc

模块七

ASCE

近一个月B站封禁直播间1874个:直播行业仍然是违规重灾区

石头IT视角

智能手表的机遇与挑战

Geek_99967b

物联网

3000帧动画图解MySQL为什么需要binlog、redo log和undo log

CoderW

后端 面试题 Binlog Redo Log MySQL 数据库

王者荣耀商城异地多活架构设计

小虾米

架构师实战营

CC2530 ADC配置步骤

DS小龙哥

5月月更

模块3-外包学生管理系统架构文档

Fan

「架构实战营」

如何在 JavaScript 中让代码更加精简

devpoint

ES6 6月月更

给微信小程序配一个App如何?

FinClip

finclip 小程序转app

在线HTML转ASP工具

入门小站

工具

在FinClip Hackathon中夺冠是一种什么样的体验?

FinClip

小程序 黑客马拉松 finclip

没有JDK和Maven,用Docker也能构建Maven工程

程序员欣宸

Java Docker maven 5月月更

eBPF 简介

申屠鹏会

ebpf

服务端技术进阶(三)从架构到监控报警,支付系统设计如何步步为营

No Silver Bullet

架构 支付系统 架构设计 5月月更 监控报警

探密"一学就会,一用就废"的OKR

Bruce Talk

OKR 敏捷 Agile

性能优化手记上篇之【原则】&【方法】

鲸品堂

所有资产都在涨,只有比特币在挨打

CECBC

linux删除目录下文件的几种方法

入门小站

如何获得一场黑客马拉松的胜利?听听AWS特约评委怎么说

FinClip

小程序 黑客马拉松 finclip

在线文本左边批量添加字符串工具

入门小站

工具

小程序生态构建能力,离不开UI定制自由

Speedoooo

ide 小程序ide

小程序转App仅需7步

Speedoooo

ide APP开发 小程序转app 前端IDE

中小互联网公司研发效能团队规模、职能划分和优劣势分析

laofo

DevOps cicd 研发效能 持续交付 互联网公司

有IDE工具能让小程序快速运行在自有App上?

Speedoooo

ide 开发者工具 开发工具 小程序ide

leetcode 4. Median of Two Sorted Arrays 寻找两个正序数组的中位数(困难)

okokabcd

LeetCode 查找

小程序经济,已经开始制约中小企业的服务及合作

Geek_99967b

小程序

拯救工程师,远程开发C++的四大秘笈|视频教程

OneFlow

c++ 教程分享

激活数字经济澎湃动能

CECBC

钉钉AI震撼升级:加入多模态、工作流等能力_AI&大模型_钉钉_InfoQ精选文章