NLP 社区调查问卷结果公布：“NLP 寒冬”将在未来 30 年内来临

来自纽约大学，华盛顿大学和约翰斯·霍普金斯大学的研究者们发布了NLP社区调查问卷的结果，问卷中收集了 480 位业界活跃的 NLP 研究员们对于 AI 领域自然语言处理中几个问题的想法。问卷中也包括了一些元问题，是关于对其他研究人员的看法。

问卷的目标是表现 NLP 社区中观念的真实分布情况，以及社会学理念——研究人员对其他研究人员观念的看法。问卷的调查范围是在过去三年中在 NLP 领域至少发表过 2 篇论文的研究人员。问卷中的问题涵盖了 NLP 研究的六个大类，也包括了通用人工智能（Artificial General Intelligence AGI）和社会焦点问题。团队选择了社区中经常讨论的问题，也有引发公众分歧的课题。

不可避免地，我们主观地挑选了一系列问题，然后将复杂问题转化为简单的衡量标准，但是我们希望的是，问卷的结果能够给社区讨论以及以后的问卷一些参考意见。这不是任何辩论的最终言论，但是我们希望这可以激发新的讨论，作为人们所持有的立场范围的初始研究，也能够让社区避免误导自己。

问卷调查中的问题涵盖了以下类别的内容：

• 领域的状态：工业所扮演的角色，以及近期出现“AI 寒冬”的可能性；

• 规模化、归纳偏见以及毗邻领域：是大型规模适合解决 NLP 问题，还是需要语言学的经验来解决 NLP 问题；

• AGI 和主要风险：NLP 研究是否在向着 AGI 发展，AGI 是否会带来社会风险；

• 语言理解：语言模型是否真的理解了语言；

• 未来研究方向：NLP 研究是否在正确的轨道上；

• 伦理：NLP 是否带来积极的影响，以及某些研究领域是否是遵循伦理的。

除了详述他们是否同意某一个问题，受访者需要预测其他受访人同意这个问题的概率。收集这些元回复的目的是帮助研究人员理解社会学理念，因为错误的社会学理念会“减缓沟通以及导致精力的浪费“

关于拓展 AI 模型在 NLP 问题解决中扮演的角色的问题，在 NLP 研究人员实际的想法和他们认为的社区信念之间出现了“惊人的不匹配”。问卷的受访人群估计，接近 50%的研究人员同意，规模化能够解决 “几乎所有“ 问题，以及不到 40%的研究人员觉得解决重要问题需要的是语言学理论和专家设计。 然而，在一个高亮部分结果的Twitter 讨论中，主要作者 Julian Michael 指出：

研究领域中不到 20%的人认为扩展现有的技术，将足够解决所有应用中的 NLP 问题。大多数人认为，语言学或者认知科学视角将成为未来发展的重点部分。

在 Hacker News 关于当前AI技术的局限性的讨论中，AI 作者和研究员 Gwern Branwen引用了 NLP 问卷的结果，并且为规模化辩护：

AGI 和规模化的反对者仍占主流，尽管他们摆出了受压迫的少数群体的姿态……如果你支持规模化，那么你仍旧是研究人员中的少数群体，追求着不流行而且具有广泛争议的范式。（尽管不受欢迎而且规模很小，它仍旧产生如此不可思议的结果且有着首屈一指的表现，在我看来，是值得赞扬的，这也是为什么新晋研究人员应该进行拓展探索的最好的论据之一——它仍旧被低估着）

虽然调查论文已经包括了图表和数据摘要，但是调查问卷的网站表示，用于探索结论的基于web的面板“即将推出”。

原文链接：

University Researchers Publish Results of NLP Community Metasurvey