写点什么

国内科技企业和机构发力 AI 研发,50 余篇论文入选顶会 ICML2024

  • 2024-06-07
    北京
  • 本文字数:1344 字

    阅读完需:约 4 分钟

国内科技企业和机构发力AI研发,50余篇论文入选顶会ICML2024

近日,国际机器学习大会披露了 2024 国际机器学习大会(ICML2024)收录的论文。本届会议共有 9473 篇有效论文投稿,创历史新高,组委会最终录用了 2609 篇,接收率为 27.5%。


国际机器学习大会是全球机器学习领域的权威会议,迄今举办了 41 次会议。组委会成员来自卡内基梅伦大学、剑桥大学、谷歌、苹果等世界名校及全球知名科技企业。今年的国际机器学习大会将于 7 月 21 日~27 日在奥地利维也纳举办。


据了解,蚂蚁集团此次有 11 篇论文入选,覆盖图机器学习、网络/信息安全、人工智能、计算机视觉等多个人工智能和机器学习领域的前沿主题。论文试图改进和优化的技术问题,则聚焦在提高 AI 的经济性和可靠性上。


提高 AI 的经济性,主要看是否能把大模型做“小”,是否能持续工程提效,以及是否能持续度量和优化绿色指标,这决定大模型应用能否能成为主流。


《基于关键点的渐进式思维链蒸馏方法在大语言模型(LLMs)中的应用》正是一个把大模型做“小”的研究。该文提出了一种名为 KPOD 的新蒸馏方法,这是一种机器学习技术,能将大而复杂的模型(教师模型)所学到的知识迁移到一个小而简单的模型(学生模型)中,以大大减少模型的规模和计算成本,同时尽可能保留原始模型的性能。研究团队以 GPT-3.5-Turbo 作为教师模型,以 LLaMA-7B 和 Flan-T5 系列模型作为学生模型进行思维链蒸馏,结果表明,相较现有模型蒸馏技术,KPOD 能将推理准确率提升 5%。


《关注边界:基于重构决策边界的核心集选取》提出了一种新的核心集构建方法,首次在 ImageNet-1K 数据集上实现了使用 50%的数据训练,但是精度损失不超过 1%。


还有几篇论文就如何提高 AI 在计算、训练、推理等过程中的效率,提出了新的技术解决方案。


《Ditto: 量化感知的 Transformer 模型安全推理》一文针对大模型密态推理场景展开了研究,以更高的效率实现密态数据类型的切换,进而带来更优的密态推理性能。实验结果表明,Ditto 可以在不显著降低模型可用性的情况下实现推理效率的提升,性能相较最新工作提升约 2~4 倍。


《多源噪声标签下的自感知去噪方法》一文,从理论上分析了神经网络在面对多源噪声标记时具备的对样本级噪声和源级标注质量的感知能力,进一步提出了一种名为自感知去噪的多源噪声标签学习方法,利用神经网络的自我认知能力在训练期间进行去噪;并构建了一个选择性蒸馏模块以优化计算效率。


《通过随机微分方程统一贝叶斯流网络与扩散模型》一文提出了一种新采样方法 BFN-Solver,相比原始 BFN 采样器实现了 5-20 倍的速度提升。


提高 AI 的可信性,则是要让 AI 更准确专业、真实严谨、可控透明及安全可靠,终极目标是解决控制和“对齐”比人类聪明的模型。这对于 AI 在金融、医疗等严谨行业的落地应用尤为必要与重要。


《基于强化学习的检索增强大语言模型可信对齐》一文针对检索增强的大语言模型仍然会遭受幻觉困扰的问题,提出一种基于强化学习的算法“可信对齐”, 从理论上和实验上证明了大型语言模型可以通过这种方法对齐到可信状态,并将对齐的应用场景从满足人类偏好扩展到创建可信的 Agent 等场合。结果表明,基于“可信对齐”的检索增强大语言模型,无需人工标注,即可在 natural question 问答任务上带来平均 55%的 EM 提升和 53%的记忆率降低。


公开信息显示,此次被会议收录论文的还有清华大学、复旦大学、上海交通大学、中国人民大学、腾讯、联想等国内知名高校及企业。

2024-06-07 16:218557
用户头像
鲁冬雪 GMI Cloud Head of China Marketing

发布了 370 篇内容, 共 314.0 次阅读, 收获喜欢 304 次。

关注

评论

发布
暂无评论
发现更多内容

chatGPT是割韭菜的镰刀还是创业的新风口? | 社区征文

迷彩

AIGC 生成式人工智能 三周年征文 三周年连更

MySQL 并行复制方案演进历史及原理分析

Java你猿哥

Java MySQL ssm 并行复制 主从延迟

阿里P8撰写1500页程序性能调优笔记:GitHub标星79k

程序知音

Java 性能优化 JVM java架构 Java进阶

未来市场主流的五大LED显示屏

Dylan

技术 方案 LED显示屏

从0开始:活动打卡小程序开发笔记

CC同学

基于 Rainbond 的混合云管理解决方案

北京好雨科技有限公司

Kubernetes 云原生 rainbond 混合云架构

架构师必备!阿里P8耗时6个月手码架构师进阶笔记真的香

Java你猿哥

架构 前端架构 架构设计 架构师 后端架构

工业互联网:加速从“中国制造”迈向“中国智造”

华为云开发者联盟

云计算 工业互联网 华为云 华为云开发者联盟 企业号 5 月 PK 榜

CH32V307V-EVT-R1 简单上手入门

繁依Fanyi

嵌入式

Zero-ETL、大模型和数据工程的未来

Baihai IDP

人工智能 大模型 数据工程 企业号 5 月 PK 榜 LLMs

Wallys AP controllers devices/PQ4019 and IPQ4029 chipsets support 20 km remote transmission

Cindy-wallys

IPQ4019 ipq4029

实战解读:隐钥科技数据库加密解决方案及场景化解析

Lily

SAPUI5 本地工程中的键值对 sapux - true 的作用

汪子熙

前端开发 SAP Fiori SAP UI5 三周年连更

神秘的IP地址8.8.8.8地址到底是什么?为什么会被用作DNS服务器地址呢?

wljslmz

DNS 三周年连更

Github高赞!Alibaba最新亿级并发系统架构(2023 版全彩小册)

Java你猿哥

Java 架构 分布式 高并发 架构设计

分享:集群吞吐量以1抵5,车企MySQL八大痛点的解决方案

OceanBase 数据库

数据库 oceanbase

多种文件清理:Disk Cleanup Pro 激活版

真大的脸盆

Mac Mac 软件 磁盘清理 清理工具

数说热点 | 跟着《长月烬明》起飞,今年各地文旅主打的就是一个听劝

MobTech袤博科技

从0到100:小区物业报修小程序开发笔记

CC同学

阿里巴巴官方上线!号称国内Java八股文天花板(终极版)首次开源

Java你猿哥

Java 微服务 算法 JVM 多线程

字节首次公开!23年Java后端面试上岸手册 ,竟含全套后端面试考点

Java你猿哥

Java 算法 JVM 多线程 java面试

你想要的【微前端】都在这里了! | 京东云技术团队

京东科技开发者

前端 微前端 微前端框架 企业号 5 月 PK 榜 mirco

利用Python分析快手APP全国大学生用户数据(2022 年初赛第四题 )

繁依Fanyi

大数据

刘强:作业帮给OceanBase提了九条意见

OceanBase 数据库

数据库 oceanbase

面向万物智联的应用框架的思考和探索(上)

HarmonyOS开发者

HarmonyOS

Python网络爬虫原理及实践 | 京东云技术团队

京东科技开发者

Python 爬虫 python 爬虫 爬虫入门 企业号 5 月 PK 榜

一条SQL如何被MySQL架构中的各个组件操作执行的

华为云开发者联盟

sql 开发 华为云 华为云开发者联盟 企业号 5 月 PK 榜

广立微大数据平台全线升级 为芯片全生命周期保驾护航

科技热闻

SPFA 算法:实现原理及其应用

繁依Fanyi

算法 SPFA

主流框架都用SPI机制,看一下他们的区别和原理

Java你猿哥

ssm 框架 JavaSPI Spring SPI Dubbo SPI

【OpenAI】私有框架代码生成实践 | 京东云技术团队

京东科技开发者

openai ChatGPT ChatGPT4 企业号 5 月 PK 榜 私有框架

国内科技企业和机构发力AI研发,50余篇论文入选顶会ICML2024_AI&大模型_鲁冬雪_InfoQ精选文章