国内科技企业和机构发力 AI 研发，50 余篇论文入选顶会 ICML2024

近日，国际机器学习大会披露了 2024 国际机器学习大会（ICML2024）收录的论文。本届会议共有 9473 篇有效论文投稿，创历史新高，组委会最终录用了 2609 篇，接收率为 27.5%。

国际机器学习大会是全球机器学习领域的权威会议，迄今举办了 41 次会议。组委会成员来自卡内基梅伦大学、剑桥大学、谷歌、苹果等世界名校及全球知名科技企业。今年的国际机器学习大会将于 7 月 21 日～27 日在奥地利维也纳举办。

据了解，蚂蚁集团此次有 11 篇论文入选，覆盖图机器学习、网络/信息安全、人工智能、计算机视觉等多个人工智能和机器学习领域的前沿主题。论文试图改进和优化的技术问题，则聚焦在提高 AI 的经济性和可靠性上。

提高 AI 的经济性，主要看是否能把大模型做“小”，是否能持续工程提效，以及是否能持续度量和优化绿色指标，这决定大模型应用能否能成为主流。

《基于关键点的渐进式思维链蒸馏方法在大语言模型（LLMs）中的应用》正是一个把大模型做“小”的研究。该文提出了一种名为 KPOD 的新蒸馏方法，这是一种机器学习技术，能将大而复杂的模型（教师模型）所学到的知识迁移到一个小而简单的模型（学生模型）中，以大大减少模型的规模和计算成本，同时尽可能保留原始模型的性能。研究团队以 GPT-3.5-Turbo 作为教师模型，以 LLaMA-7B 和 Flan-T5 系列模型作为学生模型进行思维链蒸馏，结果表明，相较现有模型蒸馏技术，KPOD 能将推理准确率提升 5%。

《关注边界：基于重构决策边界的核心集选取》提出了一种新的核心集构建方法，首次在 ImageNet-1K 数据集上实现了使用 50%的数据训练，但是精度损失不超过 1%。

还有几篇论文就如何提高 AI 在计算、训练、推理等过程中的效率，提出了新的技术解决方案。

《Ditto: 量化感知的 Transformer 模型安全推理》一文针对大模型密态推理场景展开了研究，以更高的效率实现密态数据类型的切换，进而带来更优的密态推理性能。实验结果表明，Ditto 可以在不显著降低模型可用性的情况下实现推理效率的提升，性能相较最新工作提升约 2～4 倍。

《多源噪声标签下的自感知去噪方法》一文，从理论上分析了神经网络在面对多源噪声标记时具备的对样本级噪声和源级标注质量的感知能力，进一步提出了一种名为自感知去噪的多源噪声标签学习方法，利用神经网络的自我认知能力在训练期间进行去噪；并构建了一个选择性蒸馏模块以优化计算效率。

《通过随机微分方程统一贝叶斯流网络与扩散模型》一文提出了一种新采样方法 BFN-Solver，相比原始 BFN 采样器实现了 5-20 倍的速度提升。

提高 AI 的可信性，则是要让 AI 更准确专业、真实严谨、可控透明及安全可靠，终极目标是解决控制和“对齐”比人类聪明的模型。这对于 AI 在金融、医疗等严谨行业的落地应用尤为必要与重要。

《基于强化学习的检索增强大语言模型可信对齐》一文针对检索增强的大语言模型仍然会遭受幻觉困扰的问题，提出一种基于强化学习的算法“可信对齐”， 从理论上和实验上证明了大型语言模型可以通过这种方法对齐到可信状态，并将对齐的应用场景从满足人类偏好扩展到创建可信的 Agent 等场合。结果表明，基于“可信对齐”的检索增强大语言模型，无需人工标注，即可在 natural question 问答任务上带来平均 55%的 EM 提升和 53%的记忆率降低。

公开信息显示，此次被会议收录论文的还有清华大学、复旦大学、上海交通大学、中国人民大学、腾讯、联想等国内知名高校及企业。