发布在即!企业 AIGC 应用程度测评,3 步定制专属评估报告。抢首批测评权益>>> 了解详情
写点什么

过去一年,机器学习和深度学习领域的顶级研究论文盘点

  • 2020-02-25
  • 本文字数:3299 字

    阅读完需:约 11 分钟

过去一年,机器学习和深度学习领域的顶级研究论文盘点

本文作者在过去一年编辑了大量探索机器学习和深度学习的文章(这里有更多信息),因此想花点时间着重介绍最有趣的一些论文和研究,并分享了代码实现链接,以便广大开发者亲自尝试。(每篇论文分别给出了代码库和论文两个地址,点击文字即可访问)


本文最初发布于 Medium,经原作者授权由 InfoQ 中文站翻译并分享。

对比表征蒸馏

这篇模型蒸馏领域的论文利用对比目标族来捕获相关性和高阶输出相关性。在这篇文章中,它们被用来将知识从一个神经网络提取到另一个神经网络。


HobbitLong/RepDistiller

该库包含论文“对比表征蒸馏(CRD)”的实现


这篇论文考虑了三个蒸馏阶段:


  • 模型压缩

  • 将知识从一种形态转为另一种形态(如 RGB 到深度)

  • 将一系列网络蒸馏成一个网络


对比表征蒸馏:我们常常希望将表征性知识从一个神经网络转移到另一个神经网络。例如,蒸馏


对比学习的主要思想是学习一个在某些度量空间中正对接近、负对远离的表示。

通过可转换结构搜索进行网络修剪

这是一篇网络修剪领域的论文。本文提出将神经网络结构搜索直接应用于具有灵活通道和层大小的网络。最小化修剪后,网络的损失在学习通道的数量方面会有所帮助。


通过可转换结构搜索进行网络修剪

网络修剪减少了超参数化网络的计算成本,同时又不影响性能。


修剪后,网络的特征图由 K 个基于概率分布采样的特征图片段组成,损失会反向传播到网络权值和参数化分布。


D-X-Y/NAS-Projects

这个项目包含了以下在 PyTorch 中实现的神经结构搜索算法。更多的 NAS 资源……


本文提出的修剪方法分为三个阶段:


  • 使用标准的分类训练程序,训练未修剪的大型网络。

  • 通过可转换结构搜索(TAS)来搜索小型网络的深度和宽度,TAS 旨在寻找网络的最佳规模。

  • 利用简单知识蒸馏(KD)方法将未剪枝网络中的信息传递到搜索的小型网络中。

用于对象检测的数据扩充策略学习

虽然这本身不是一个模型架构,但本文提出创建可以应用于对象检测数据集的转换,这些转换可以转移到其他对象检测数据集,这些转换通常在训练时应用,使用的策略的训练代码如下:


tensorflow/tpu

首先,确保在谷歌云上使用 Tensorflow 1.13+。此外,还需要安装一些包。


该模型将增强策略定义为训练过程中随机选择的 n 个策略集合,该模型中应用的一些操作包括对颜色通道进行扭曲,对图像进行几何扭曲,仅对边框标注中的像素内容进行扭曲。


用于对象检测的数据扩充策略学习

数据扩充是训练深度学习模型的重要组成部分,尽管数据扩充已被证明。

XLNet:面向语言理解的广义自回归预训练

XLNet 是转换器领域非常令人兴奋的研究方向。XLNet 是一种广义的自回归预训练方法,它通过最大化因子分解顺序所有排序的期望来实现双向上下文学习。它不使用固定的前向或后向分解顺序。


zihangdai/xlnet

XLNet 是一种基于广义排序语言的无监督语言表示学习方法。


该方法最大化了一个序列的所有可能的因子分解顺序排列的期望对数似然。由于这些排列,每个位置的上下文可以由来自左边和右边的标记组成。由于每个位置都要学习利用所有位置的上下文信息,所以要捕获双向上下文。


XLNet:面向语言理解的广义自回归预训练

通过对双向上下文建模实现基于自编码的去噪预训练,与 BERT 类似。

Transformer-XL:一种超出固定长度上下文的注意力语言模型(ACL 2019)

Transformer-XL(意为超长)允许学习超过固定长度的依赖,而又不破坏时间一致性。它结合了片段级递归机制和位置编码方案。TransformerXL 学习的依赖关系,比 RNN 长 80%,比普通转换器长 450%。它可以在 TensorFlow 和 PyTorch 上使用。


Transformer-XL:一种超出固定长度上下文的注意力语言模型

转换器有学习长期依赖关系的潜力,但受到固定长度上下文的限制。


论文作者将递归引入到他们的深层自注意力网络中。它们重用前一片段中获得的隐藏状态,而不是从头计算每个新片段的隐藏状态。被重用的隐藏状态充当递归片段的记忆。


kimiyoung/transformer-xl

这个存储库包含了论文中的 PyTorch 和 TensorFlow 代码


这在片段之间建立了一种递归联系。由于信息是通过递归联系传递的,所以对长期依赖关系进行建模成为可能。作者还介绍了一个更有效的相对位置编码公式,该公式可以推广到比训练中观察到的更长的注意力长度。

无传感器深度预测:利用单目视频的无监督学习结构(AAAI 2019)

本文研究了场景深度和机器人自我运动的无监督学习,其中监督由单目视频提供。这是通过在学习过程中引入几何结构来实现的。它包括对场景和单个对象、摄像机的自我运动以及从单目视频输入中学习的对象运动建模。作者还介绍了一种在线优化方法。


tensorflow/model

这是一种基于单目视频的无监督深度和自适应的学习方法。


作者介绍了一种与自我运动网络结构相同的对象运动模型。不过,它专门用于预测单个 3D 物体的运动。


无传感器深度预测:利用单目视频的无监督学习结构

从 RGB 输入中预测场景深度对于室内外机器人导航都是一项具有挑战性的任务。


它以 RGB 图像序列作为输入,由预先计算的实例分割掩膜补充。运动模型的工作是学习预测三维空间中每个物体的变换向量,这会在相应的目标帧中创建观察到的对象外观。

Auto-Keras:一个高效的神经结构搜索系统

本文提出了一个框架,使贝叶斯优化指导网络形态,从而获得有效的 NAS。基于他们的方法,作者们构建了一个名为Auto-Keras的开源 AutoML 系统。


keras-team/autokeras

Official Website: autokeras.com

Auto-Keras 是一种用于自动化机器学习的开源软件库(AutomML)……


该方法的主要构建块是在贝叶斯优化算法的指导下,通过变换神经结构来探索搜索空间。由于 NAS 空间不是欧几里德空间,作者通过设计一个神经网络核函数来解决这一挑战。核函数是将一个神经结构变转换为另一个神经结构的编辑距离。


Auto-Keras:一个高效的神经结构搜索系统

神经结构搜索(NAS)被提出用于自动调整深度神经网络。

深度感知视频帧插值(CVPR 2019)

本文提出了视频帧插值方法,通过探测深度信息来检测遮挡。作者开发了一种深度感知的流投影层,该层整合了对距离较近的物体进行采样的直接流,而不是对距离较远的物体进行采样的直接流。


baowenbo/DAIN

Wenbo Bao, Wei-Sheng Lai, Chao Ma, Xiaoyun Zhang, Zhiyong Gao, and Ming-Hsuan Yang IEEE Conference on Computer Vision…


层次化特征学习是通过从相邻像素处获取上下文信息来实现的。然后,基于光流和局部插值核,通过扭曲输入帧、深度图和上下文特征生成输出帧。


深度感知视频帧插值

视频帧插值的目的是在原始帧之间合成不存在的帧。


作者提出了一种深度感知视频帧插值(DAIN)模型,该模型有效地利用光流、局部插值核、深度图和上下文特征来生成高质量的视频帧。

OpenPose:利用部位亲和域的多人二维姿态估计

OpenPose 是一个开源的实时系统,用于多人 2D姿态估计,包括身体、脚、手和面部关键点。本文提出了一种实时检测图片和视频中二维人体姿态的方法。


CMU-Perceptual-Computing-Lab/openpose_train

OpenPose Training 包括 OpenPose 的训练代码,以及一些可能的试验性模型


该方法采用非参数表示,即部分亲和域(PAFs)。这篇论文的部分作者来自 IEEE。该方法以图像作为 CNN 的输入,预测出检测人体部分的置信度图和部分关联的 PAFs。本文还介绍了一个具有 15K 人足实例的足数据集。


OpenPose:利用部位亲和域的多人二维姿态估计

实时多人 2D 姿态是让机器了解人的重要一步。

FastFCN:重新思考语义分割模型主干中的扩展卷积

本文提出了一种新的联合上采样模块 Joint Pyramid Upsampling(JPU),它代替了传统的占用大量时间和内存的扩展卷积。它的工作原理是将高分辨率图的提取功能转化为联合上采样问题。


wuhuikai/FastFCN

FastFCN 的官方实现:重新思考语义分割主干中的扩展卷积。


该方法以全连通网络(FCN)为主干,利用 JPU 对低分辨率最终特征图进行上采样,得到高分辨率特征图,用 JPU 替换扩展卷积不会导致任何性能损失。


FastFCN:重新思考语义分割模型主干中的扩展卷积

现代的语义分割方法通常在主干中采用扩展卷积来提取。

小结

希望这篇文章能让你对过去一年机器学习和深度学习研究领域有一些深入了解。我尽量把原始论文的链接和代码都包含了进来,广大开发者可以进行尝试以检验效果。


英文原文:2019’s Top Machine and Deep Learning Research Papers


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-02-25 09:001331
用户头像
赵钰莹 InfoQ 主编

发布了 870 篇内容, 共 598.8 次阅读, 收获喜欢 2669 次。

关注

评论

发布
暂无评论
发现更多内容

排名前 16 的 Java 工具类

Bruce Duan

java工具类

JDBC【1】-- 初级入门之增删改查

秦怀杂货店

数据库 jbdc crud

大量类加载器创建导致诡异FullGC

AI乔治

Java 架构 JVM GC

踩了一个java命令行参数顺序的坑

AI乔治

Java 架构 stream

JDBC【3】-- SPI技术以及在数据库连接中的使用

秦怀杂货店

数据库 spi

甲方日常 51

句子

工作 随笔杂谈 日常

记一次 Java 服务性能优化

AI乔治

Java 架构 性能优化 高性能

Mac 安装Homebrew慢的问题解决

秦怀杂货店

Mac homebrew

Mybatis【2.1】-- 从读取流到创建SqlSession发生了什么?

秦怀杂货店

数据库 mybatis SQLSession

serialVersionUID作用是什么以及如何生成的?

秦怀杂货店

Java 序列化 serialVersionUID 反序列化

HTTP2服务器推送的第一次尝试

Gopher指北

HTTP2.0 Go 语言

免费图床+CDN:GitHub+jsDeliver

jiangling500

GitHub CDN 免费图床 jsDeliver

架构师训练营第八周作业

四夕晖

JDBC【2】-- 工作原理以及简单封装

秦怀杂货店

Java JDBC 工作原理

一次“诡异”的JVM缓存加载问题排查

AI乔治

Java 缓存 架构 JVM

transient关键字的作用以及几个疑问的解决

秦怀杂货店

序列化 反序列化 transient

权威报告发布:京东智联云首次参评即跻身机器学习卓越表现者阵营

京东科技开发者

人工智能 云计算 供应链

Scala语法特性(二):控制语句及函数方法

正向成长

Scala函数 Scala控制语句

线程池运用不当的一次线上事故

AI乔治

Java 架构 高并发 线程池

你还在使用迭代器删除集合数据,out了,Java 中函数removeIf 不香么

Geek_6f0746

Java JAVA集合 Java迭代器

你以为只是简单的排序?(二)

书旅

数据结构与算法 Go 语言

四周 习题与总结

水浴清风

常用Git命令速查手册

jiangling500

git

Java反射说得透彻一些

秦怀杂货店

Java 反射 java反射

Spring Boot 监听 Redis Key 失效事件实现定时任务

Bruce Duan

Redis监听 监听过期键

背后技术:双11还能创造什么?

人工智能 数据挖掘 大数据 科技

下笔如有神:这是一个基于营销行业的 AI 技术实践

京东科技开发者

人工智能 自然语言处理 nlp

Mybatis【1】-- 第一个Mybatis程序

秦怀杂货店

mybatis 入门 教程

Mybatis【2】-- 多个mapper文件以及namespace作用

秦怀杂货店

mybatis Mapper namespace

JVM系列-java内存模型(JMM)

诸葛小猿

JMM Java内存模型 共享变量读写

普渡科技荣登甲子光年“2020中国最具商业潜力的20家机器人Cool Vendor”

DT极客

过去一年,机器学习和深度学习领域的顶级研究论文盘点_AI&大模型_Derrick Mwiti_InfoQ精选文章