写点什么

Devin 发布半月后,开源领域围攻编码智能体 | 大模型一周大事

  • 2024-04-08
    北京
  • 本文字数:2857 字

    阅读完需:约 9 分钟

大小:1.47M时长:08:32
Devin发布半月后,开源领域围攻编码智能体 | 大模型一周大事

大模型的快节奏发展,让了解最新技术动态、积极主动学习成为每一位从业者的必修课。InfoQ 研究中心期望通过每周更新大模型行业最新动态,为广大读者提供全面的行业回顾和要点分析。现在,让我们回顾过去一周的大模型重大事件吧。

一、重点发现

本周,普林斯顿大学 NLP 组发布了 SWE-agent,这是继 Devin 发布之后,编码领域智能体的又一突破。在这短短的一月内,Devin、OpenDevin、Devika、Autodev、SWE-agent 等项目集中攻克编码智能体(Code Agent)方向,编码领域已经成为智能体首要探索的领域。编码智能体是 Copilot 模式产品的下一个阶段吗?编码智能体商业化应用仍然面临经济成本账和用户体验的问题,这会是智能编码体下一步重点攻克的方向吗?AI agent 还会有其他典型领域突破吗?InfoQ 研究中心与大家一起关注。

二、具体内容

大模型持续更新

  1. 4 月 5 日,来自 MIT、普林斯顿等高校的华人团队推出了性价比极高的大语言模型 JetMoE-8B。其在推理过程中只有 22 亿个激活参数,实现了不到 10 万美元的训练成本。尽管预算有限,JetMoE-8B 却展现出了超越 Meta LLaMA2-7B 的能力,后者拥有庞大的训练资源。

开源领域

  1. 4 月 1 日,澜舟科技开源了 孟子 3-13B 大模型。该大模型在中英文语言、数学、编程方面表现较为出色,同时支持学术研究与免费商用。

  2. 4 月 2 日,通义千问团队推出 Qwen1.5-32B 和 Qwen1.5-32B-Chat。相较于其 72B 的模型,32B 模型的内存占用大幅减少,运行速度显著提升。通义千问团队希望通过 Qwen1.5-32B 的开源能为企业和开发者提供更具性价比的应用落地模型选项。

  3. 4 月 3 日,元象开源了 XVERSE-MoE-A4.2B 大模型。该大模型采用 MoE 结构,其激活参数量为 42 亿。相比于 XVERSE-13B-2 大模型,减少了 70% 的计算量与 50% 的训练时间。

科研领域

  1. 斯坦福大学和麦克马斯特大学的研究人员开发了用于设计抗生素分子的生成式 AI 模型 SyntheMol。该模型通过蒙特卡洛树搜索技术和大量的分子片段库中的数据,快速筛选出具有潜力的化合物,显著提高了新药发现的效率和成功率,为未来抗生素的研发提供了新的方向。

应用探索

新产品新应用/功能

  1. OpenAI 在官方网站上推出其创新的自定义声音合成技术 Voice Engine。这项技术允许用户仅通过提供一段大约 15 秒的声音样本,便能够创造出与原始声音极为相似的全新音频文件。

  2. PixVerse 推出了“角色-视频”新功能,允许用户上传图片并生成保持角色一致性的动态视频。这项功能通过丰富的背景和角色动态,使生成的视频内容生动且连贯。虽然有时生成效果会与原素材有一定差异,但是可以通过调整 prompt 进行改善。

  3. 香港中文大学(深圳)附属第二医院使用中文医疗大模型华佗 GPT 进行智能导诊服务。未来,除了智能导诊外,华佗 GPT 还将在医院探索智能预问诊、专科咨询、随访、病案之间等应用场景。

  4. 昆仑万维开放天工 SkyMusic AI 音乐生成大模型测试邀请,并计划于 4 月 17 日全面向社会开放使用。

智能体

  1. 普林斯顿大学 NLP 组发布了开源的 AI 程序员系统 SWE-agent。它能够在 GitHub 存储库中自主解决问题。基于 GPT-4 等大模型,SWE-agent 在 SWE-bench 测试集上达到了与闭源 AI 程序员 Devin 相似的准确度。SWE-agent 通过智能体-计算机接口(ACI)设计,可以执行代码浏览、编辑和执行等任务,显著提高了软件开发过程中的自动化水平。

  2. 阿里云正在内部积极推广通义灵码的智能系统来协助程序员进行代码编写、阅读、BUG 检测和代码优化等多项任务。相关人士表示,未来 20% 的代码将由通义灵码编写,程序员将更多集中在系统架构设计和关键业务开发的工作。

  3. 优必选正在探索将其人形机器人 Walker S 与文心大模型相结合,以此提升 Walker S 在具身智能领域的应用能力。通过整合文心大模型,Walker S 不仅保持了其原有的多模态感知和运动控制功能,还新增了更为先进的意图识别和细致规划的能力。

基础设施

  1. 3 月 31 日,无问芯穹团队首次召开产品发布会,推出无穹 Infini-AI 大模型开发与服务平台并向个人与企业开放注册并进行了客户案例展示。该平台实现多模型与多芯片间的软硬件协同优化和统一部署,并支持二十余个主流模型与十余种计算卡。

  2. 谷歌更新 Transformer 架构,推出 Mixture-of-Depths(MoD)。MoD 架构的核心创新在于动态分配计算资源,以便在模型中跳过一些不必要的计算,从而显著提高训练效率和推理速度。这种方法通过在输入序列的特定位置优化不同层次的模型深度中的资源分配,使模型能够专注于更重要的信息。

  3. 华为诺亚方舟实验室推出了一种新的大语言模型架构帝江,该模型基于频域自注意力变换核,实现了原始自注意力的线性逼近。帝江模型在保持与 LLaMA-7B 相当的精度的同时,仅需 1/10-1/50 的训练数据,实现了最多 5 倍的推理加速。

  4. 北京大学的团队在论文《Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation》中提出 HoT 框架。这是一种高效的三维人体姿态评估的框架,通过沙漏 Tokenizer 来减少视频姿态 Transformer 的高计算量。HoT 能够集成到现有 MotionBERT 等模型中,在不损失精度的情况下降低近 40% 的计算量。

  5. UIUC 与 LMFlow 团队在论文《LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning》中针对 LoRA 的局限性进行了研究,并提出了一种新的微调方法 LISA(Layerwise Importance Sampled AdamW)。LISA 的空间消耗与 LoRA 相当或更低,计算速度比 LoRA 快 50%,并且由于其参数激活较少,对更深的网络和梯度检查点技术更为友好。同时,LISA 的收敛性质更优,并且理论性质更易于分析。

其他

  1. 国家网信办于 2024 年 4 月 2 日公布了已备案的生成式人工智能服务大模型信息。截至 3 月 28 日,共有 117 个大模型完成了备案程序。其中,北京有 51 个,上海有 24 个,广东有 19 个。

  2. 4 月 1 日,OpenAI 放开使用限制,用户无需注册即可使用 ChatGPT。在放开注册使用限制的同时,OpenAI 也加强了内容保护措施,以防止某些不适宜的内容被用户生成。此外,基于 GPT-3.5 的 ChatGPT 仍保持免费使用外,用户可以订阅付费以使用 GPT-4。


报告预告

Sora 来袭,国内如何迅速跟上?开源在大模型市场进程中的价值正在被重新定义吗?人型机器人重回视野,其能力是否有所提升和刷新?Devin 和智能编码助手是同一条赛道上的不同节点?多家企业宣布 All in AI,对市场意味着什么?InfoQ 研究中心即将发布的《2024 年第 1 季度大模型监测报告》,即将给出答案。



每周动态更新和季度报告后续均会在 AI 前线上发布,欢迎持续关注 AI 前线公众号,共同见证大模型行业的发展与突破!



活动推荐

AICon 全球人工智能与大模型开发与应用大会暨通用人工智能开发与应用生态展将于 5 月 17 日正式开幕,本次大会主题为「智能未来,探索 AI 无限可能」。如您感兴趣,可点击「阅读原文」查看更多详情。



今天是会议 9 折购票阶段,购票或咨询其他问题请联系票务同学:13269078023,或扫描上方二维码添加大会福利官,可领取福利资料包。

2024-04-08 16:134499

评论

发布
暂无评论
发现更多内容

Elasticsearch写入数据的过程是什么?以及是如何更新索引数据的

热爱java的分享家

Java 架构 程序人生 编程语言 经验分享

Hive基本理论和常用函数

犟马骝

Pulsar VS. Kafka(1): 统一的消息消费模型(Queue + Stream)

Apache Pulsar

kafka 架构 云原生 Apache Pulsar 消息中间件

极客时间算法训练营Week01

jjn0703

算法训练营

架构实战营 - 模块四作业

危险游戏

架构实战营

模块四作业

Asha

「架构实战营」

【LeetCode】N 叉树的最大深度Java题解

Albert

算法 LeetCode 11月日更

nginx配置详解

小鲍侃java

11月日更

你敢相信?我用了3个月成功破茧成蝶,从简历被拒到收割8个大厂offer

热爱java的分享家

Java 面试 程序人生 编程语言 经验分享

明道云对接企查查,一键矫正客户信息

明道云

模块四作业-redis 存储方案设计 - 学生考试试卷

Geek_cb2b43

Pulsar VS. Kafka(2): 以Segment为中心的架构

Apache Pulsar

kafka 架构 分布式 Apache Pulsar 消息中间件

终于有人将Github星标百万的Spring技术精髓收录成册

热爱java的分享家

Java 面试 程序人生 springboot 经验分享

记一次提升18倍的性能优化

捉虫大师

性能优化 Go 语言

System.Text.Json自定义Conveter

喵叔

11月日更

真香!Github一夜爆火,阿里性能优化不传之秘终于开源

热爱java的分享家

Java 程序人生 性能优化 编程语言 经验分享

不可思议,阿里巴巴首发:Java核心框架指导手册,竟1小时点击量破千万

热爱java的分享家

Java 面试 程序人生 编程语言 经验分享

【高并发】深度解析ScheduledThreadPoolExecutor类的源代码

冰河

Java 并发编程 多线程 高并发 异步编程

遇到了几道关于作用域的前端小题

空城机

JavaScript 大前端 11月日更

🏆【Alibaba中间件技术系列】「RocketMQ技术专题」让我们一起实践RocketMQ的服务搭建及配置操作

洛神灬殇

RocketMQ 11月日更 Apache RocketMQ 集群搭建

微博评论的高性能高可用计算架构

deng

架构实战

微服务架构中,二次浅封装实践

架构 分布式 微服务 技术栈 二次封装

第四模块总结

张靖

架构训练营

架构实战营-模块五

瓜子葫芦侠

「架构实战营」

调优达到上限?这份尊享版性能实战套餐,让你领先别人好几个级别

热爱java的分享家

Java 面试 程序人生 编程语言 经验分享

架构实战营模块四作业

孙志强

架构实战营

字节跳动面试官:SpringBoot统一接口返回和全局异常处理怎么玩?

热爱java的分享家

Java 架构 程序人生 编程语言 经验分享

区块链技术革命才刚刚开始

CECBC

先睹为快即将到来的HTML6

devpoint

JavaScript html5 11月日更

微博评论的高性能高可用计算架构

deng

架构实战

考试试卷存储方案

天天向上

架构实战营

Devin发布半月后,开源领域围攻编码智能体 | 大模型一周大事_AI&大模型_InfoQ研究中心_InfoQ精选文章