限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

Devin 发布半月后,开源领域围攻编码智能体 | 大模型一周大事

  • 2024-04-08
    北京
  • 本文字数:2857 字

    阅读完需:约 9 分钟

大小:1.47M时长:08:32
Devin发布半月后,开源领域围攻编码智能体 | 大模型一周大事

大模型的快节奏发展,让了解最新技术动态、积极主动学习成为每一位从业者的必修课。InfoQ 研究中心期望通过每周更新大模型行业最新动态,为广大读者提供全面的行业回顾和要点分析。现在,让我们回顾过去一周的大模型重大事件吧。

一、重点发现

本周,普林斯顿大学 NLP 组发布了 SWE-agent,这是继 Devin 发布之后,编码领域智能体的又一突破。在这短短的一月内,Devin、OpenDevin、Devika、Autodev、SWE-agent 等项目集中攻克编码智能体(Code Agent)方向,编码领域已经成为智能体首要探索的领域。编码智能体是 Copilot 模式产品的下一个阶段吗?编码智能体商业化应用仍然面临经济成本账和用户体验的问题,这会是智能编码体下一步重点攻克的方向吗?AI agent 还会有其他典型领域突破吗?InfoQ 研究中心与大家一起关注。

二、具体内容

大模型持续更新

  1. 4 月 5 日,来自 MIT、普林斯顿等高校的华人团队推出了性价比极高的大语言模型 JetMoE-8B。其在推理过程中只有 22 亿个激活参数,实现了不到 10 万美元的训练成本。尽管预算有限,JetMoE-8B 却展现出了超越 Meta LLaMA2-7B 的能力,后者拥有庞大的训练资源。

开源领域

  1. 4 月 1 日,澜舟科技开源了 孟子 3-13B 大模型。该大模型在中英文语言、数学、编程方面表现较为出色,同时支持学术研究与免费商用。

  2. 4 月 2 日,通义千问团队推出 Qwen1.5-32B 和 Qwen1.5-32B-Chat。相较于其 72B 的模型,32B 模型的内存占用大幅减少,运行速度显著提升。通义千问团队希望通过 Qwen1.5-32B 的开源能为企业和开发者提供更具性价比的应用落地模型选项。

  3. 4 月 3 日,元象开源了 XVERSE-MoE-A4.2B 大模型。该大模型采用 MoE 结构,其激活参数量为 42 亿。相比于 XVERSE-13B-2 大模型,减少了 70% 的计算量与 50% 的训练时间。

科研领域

  1. 斯坦福大学和麦克马斯特大学的研究人员开发了用于设计抗生素分子的生成式 AI 模型 SyntheMol。该模型通过蒙特卡洛树搜索技术和大量的分子片段库中的数据,快速筛选出具有潜力的化合物,显著提高了新药发现的效率和成功率,为未来抗生素的研发提供了新的方向。

应用探索

新产品新应用/功能

  1. OpenAI 在官方网站上推出其创新的自定义声音合成技术 Voice Engine。这项技术允许用户仅通过提供一段大约 15 秒的声音样本,便能够创造出与原始声音极为相似的全新音频文件。

  2. PixVerse 推出了“角色-视频”新功能,允许用户上传图片并生成保持角色一致性的动态视频。这项功能通过丰富的背景和角色动态,使生成的视频内容生动且连贯。虽然有时生成效果会与原素材有一定差异,但是可以通过调整 prompt 进行改善。

  3. 香港中文大学(深圳)附属第二医院使用中文医疗大模型华佗 GPT 进行智能导诊服务。未来,除了智能导诊外,华佗 GPT 还将在医院探索智能预问诊、专科咨询、随访、病案之间等应用场景。

  4. 昆仑万维开放天工 SkyMusic AI 音乐生成大模型测试邀请,并计划于 4 月 17 日全面向社会开放使用。

智能体

  1. 普林斯顿大学 NLP 组发布了开源的 AI 程序员系统 SWE-agent。它能够在 GitHub 存储库中自主解决问题。基于 GPT-4 等大模型,SWE-agent 在 SWE-bench 测试集上达到了与闭源 AI 程序员 Devin 相似的准确度。SWE-agent 通过智能体-计算机接口(ACI)设计,可以执行代码浏览、编辑和执行等任务,显著提高了软件开发过程中的自动化水平。

  2. 阿里云正在内部积极推广通义灵码的智能系统来协助程序员进行代码编写、阅读、BUG 检测和代码优化等多项任务。相关人士表示,未来 20% 的代码将由通义灵码编写,程序员将更多集中在系统架构设计和关键业务开发的工作。

  3. 优必选正在探索将其人形机器人 Walker S 与文心大模型相结合,以此提升 Walker S 在具身智能领域的应用能力。通过整合文心大模型,Walker S 不仅保持了其原有的多模态感知和运动控制功能,还新增了更为先进的意图识别和细致规划的能力。

基础设施

  1. 3 月 31 日,无问芯穹团队首次召开产品发布会,推出无穹 Infini-AI 大模型开发与服务平台并向个人与企业开放注册并进行了客户案例展示。该平台实现多模型与多芯片间的软硬件协同优化和统一部署,并支持二十余个主流模型与十余种计算卡。

  2. 谷歌更新 Transformer 架构,推出 Mixture-of-Depths(MoD)。MoD 架构的核心创新在于动态分配计算资源,以便在模型中跳过一些不必要的计算,从而显著提高训练效率和推理速度。这种方法通过在输入序列的特定位置优化不同层次的模型深度中的资源分配,使模型能够专注于更重要的信息。

  3. 华为诺亚方舟实验室推出了一种新的大语言模型架构帝江,该模型基于频域自注意力变换核,实现了原始自注意力的线性逼近。帝江模型在保持与 LLaMA-7B 相当的精度的同时,仅需 1/10-1/50 的训练数据,实现了最多 5 倍的推理加速。

  4. 北京大学的团队在论文《Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation》中提出 HoT 框架。这是一种高效的三维人体姿态评估的框架,通过沙漏 Tokenizer 来减少视频姿态 Transformer 的高计算量。HoT 能够集成到现有 MotionBERT 等模型中,在不损失精度的情况下降低近 40% 的计算量。

  5. UIUC 与 LMFlow 团队在论文《LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning》中针对 LoRA 的局限性进行了研究,并提出了一种新的微调方法 LISA(Layerwise Importance Sampled AdamW)。LISA 的空间消耗与 LoRA 相当或更低,计算速度比 LoRA 快 50%,并且由于其参数激活较少,对更深的网络和梯度检查点技术更为友好。同时,LISA 的收敛性质更优,并且理论性质更易于分析。

其他

  1. 国家网信办于 2024 年 4 月 2 日公布了已备案的生成式人工智能服务大模型信息。截至 3 月 28 日,共有 117 个大模型完成了备案程序。其中,北京有 51 个,上海有 24 个,广东有 19 个。

  2. 4 月 1 日,OpenAI 放开使用限制,用户无需注册即可使用 ChatGPT。在放开注册使用限制的同时,OpenAI 也加强了内容保护措施,以防止某些不适宜的内容被用户生成。此外,基于 GPT-3.5 的 ChatGPT 仍保持免费使用外,用户可以订阅付费以使用 GPT-4。


报告预告

Sora 来袭,国内如何迅速跟上?开源在大模型市场进程中的价值正在被重新定义吗?人型机器人重回视野,其能力是否有所提升和刷新?Devin 和智能编码助手是同一条赛道上的不同节点?多家企业宣布 All in AI,对市场意味着什么?InfoQ 研究中心即将发布的《2024 年第 1 季度大模型监测报告》,即将给出答案。



每周动态更新和季度报告后续均会在 AI 前线上发布,欢迎持续关注 AI 前线公众号,共同见证大模型行业的发展与突破!



活动推荐

AICon 全球人工智能与大模型开发与应用大会暨通用人工智能开发与应用生态展将于 5 月 17 日正式开幕,本次大会主题为「智能未来,探索 AI 无限可能」。如您感兴趣,可点击「阅读原文」查看更多详情。



今天是会议 9 折购票阶段,购票或咨询其他问题请联系票务同学:13269078023,或扫描上方二维码添加大会福利官,可领取福利资料包。

2024-04-08 16:134717

评论

发布
暂无评论
发现更多内容

分析商品详情页中的数据,以了解产品的特点和优势

技术冰糖葫芦

API 接口

入门PostgreSQL:安装和设置数据库的完整指南!

互联网工科生

postgresql

亚马逊云科技宣布推出四项Amazon Supply Chain新功能

财见

2023-12-13:用go语言,密码是一串长度为n的小写字母,一则关于密码的线索纸条, 首先将字母a到z编号为0到25编号, 纸条上共有n个整数ai,其中a1表示密码里第一个字母的编号, 若i>1的

福大大架构师每日一题

福大大架构师每日一题

想突破转化瓶颈?安排上 AI ,比漏斗图更高效、更实用!

Kyligence

数据分析 转化分析

dDapp发行代币合约质押挖矿系统开发丨详情开发

l8l259l3365

软件测试/人工智能丨计算机视觉场景中,处理视频/图片数据并测试

测试人

一起学Elasticsearch系列-搜索推荐

Java随想录

Java 大数据 elastic 搜索

第31期 | GPTSecurity周报

云起无垠

多链铭文聚合协议20Exchange将为Ordi、SATS持仓用户快照空投

股市老人

深度 | AI数据标注迈入自动化时代,26年老兵掘金全球智能汽车市场

澳鹏Appen

自动驾驶 数据标注 4D标注

一款最近很火的开源低代码平台

伤感汤姆布利柏

开源 低代码

Trace 在多线程异步体系下传递

观测云

Trace 链路

从Rustup出发看Rust语言的编译生态

程序饲养员

编译器 rust语言

技术写作及技术作者的概述和重要性 - 了解技术写

小万哥

技术 程序人生 写作 软件开发 作者

flutter 代码混淆

Apache IoTDB PMC Chair 黄向东主办 2023 开放原子开发者大会开源工业物联网大数据分论坛,诚邀您的参加!

Apache IoTDB

Kyligence 荣登甲子光年 2023 AIGC 技术应用领域最具商业潜力榜

Kyligence

数据分析 智能决策

首届中国研究生操作系统开源创新大赛即将启动:开启创新之旅,推动开源繁荣

新消费日报

Java中的泛型通配符传递类型参数

技术冰糖葫芦

API 接口

SD-WAN实现分公司与总部组网高效互联

Ogcloud

网络 SD-WAN 组网

量化交易与人工智能:技术的交叉引发金融市场的变革

不在线第一只蜗牛

人工智能 金融 量化交易

HarmonyOS NEXT分布式系统硬件资源池应用场景技术原理及接入实践

新消费日报

天谋科技荣获国家高新技术企业认证

Apache IoTDB

一篇讲明白埋点,开源埋点系统助你优化用户体验

ClkLog

马斯克回应聊天机器人 Grok 抄 ChatGPT 作业;Figma 推出宏编程键盘丨 RTE 开发者日报 Vol.105

声网

Devin发布半月后,开源领域围攻编码智能体 | 大模型一周大事_AI&大模型_InfoQ研究中心_InfoQ精选文章