爱奇艺、腾讯、vivo,不同行业的 AI 应用落地之道如何借鉴? 了解详情
写点什么

为何 NLP 领域难以出现“独角兽”?

2019 年 8 月 21 日

为何NLP领域难以出现“独角兽”?

引言:比尔·盖茨曾说过,「语言理解是人工智能皇冠上的明珠」。自然语言处理的进步将会推动人工智能整体进展。NLP 的历史几乎跟计算机和人工智能的历史一样长。自计算机诞生,就开始有了对人工智能的研究,而人工智能领域最早的研究就是机器翻译以及自然语言理解。


随着大数据和技术设施的完善,人工智能技术在近年来迎来了井喷式的发展。在产业方面,不少专注于计算机视觉的公司也获得了长足发展。其中比较具有代表性的是估值已经超过 20 亿美元的商汤科技,在经历了数轮大额融资之后,其隐隐有从独角兽变成巨头的趋势。


不过,人工智能另一个相关领域自然语言处理似乎没有达到这种高度。在技术方面,这一领域的技术准确率远远没有达到计算机视觉和语音识别的水平,技术产品也因为较高的错误率,缺少实际价值。那么NLP技术到底有哪些难点呢



什么是 NLP?

在人工智能出现之前,计算机只能处理结构化的数据,就比如我们平时用的表格里的数据,但是网络中大部分的数据都是非结构化的,比如我们看到的文章、图片、视频等等。在这些数据中,文本数据又往往是最多的,为了能够分析和利用这些文本信息,我们就需要利用 NLP 技术,让机器理解这些文本信息,并加以利用。


人类可以通过语言来交流,而为了让计算机之间互相交流,人们让所有计算机都遵守一些规则,计算机的这些规则就是计算机之间的语言。自然语言处理(NLP)就是在机器语言和人类语言之间沟通的桥梁,以实现人机交流的目的。


NLP 的两个部分:NLU 和 NLG

自然语言理解(NLU) 则是 NLP 的一部分,这几年深度学习技术的发展使 NLU 能在一些场景中落地。自然语言理解就是希望机器像人一样,具备正常人的语言理解能力,由于自然语言在理解上有很多难点(下面详细说明),所以 NLU 是至今还远不如人类的表现。


NLU 目前应用的领域主要集中在机器翻译、机器客服、智能音箱等领域,但由于需要大量的数据训练和 NLU 本身存在的一些语言语义上的难点,其实机器还不是非常智能。


自然语言生成(NLG)是 NLP 的重要组成部分,NLU 负责理解内容,NLG 负责生成内容。他的主要目的是降低人类和机器之间的沟通鸿沟,将非语言格式的数据转换成人类可以理解的语言格式。


自然语言生成 – NLG 有 2 种方式:


  1. text – to – text:文本到语言的生成

  2. data – to – text :数据到语言的生成


NLP 的难点

对于机器来说,难点主要分为 5 类问题:


  1. 语言的多样性,我们日常所用的语言是没有规律的,不同的组合可以表达出很多的含义。

  2. 语言的歧义性,如果不联系上下文,缺少环境的约束,语言有很大的歧义性

  3. 语言是一个开放集合,我们可以任意的发明创造一些新的表达方式。

  4. 语言需要知识依赖,需要联系到实践知识。

  5. 语言的上下文


应用场景复杂,很难出现“独角兽”

总的来说,NLP 技术领域之所以没有出现如计算机视觉领域那些独角兽公司,是因为自然语言处理的技术难度太大,和应用场景太复杂。一个公司的成立发展都是由需求驱动的,自然语言应用主要是机器翻译,虽然机器翻译的需求长期存在,但机器翻译的水平一直未取得突破性的进展,即使到今天,机器也很难翻译有背景的复杂句子。


另外,自然语言处理的应用太依赖于 UI 了。图像识别基本不需要 UI,直接在系统内部集成一些技术就行。一些公司做翻译软件,如果 UI 做得不行,用户体验不行,人们就不会愿意使用。


技术产业化最重要的是商业模式,也就是怎么让技术挣钱。图像识别公司的挣钱模式已经成立了,但翻译付费就难多了。所以自然语言是从研究到技术到落地到商业化,面临一系列的挑战。目前的现状是,自然语言处理技术更多的是作为公司内部技术,比如内部的商业情报或人机接口功能。


NLP 技术发展,未来可期

从今年的 ACL 大会可以看出 NLP 技术的火爆。会议共收到了 2900 余篇提交的论文,投稿规模相较于 2018 年增长了 75%!自然语言处理领域实在是炙手可热,学术界和工业界的热情都创下了历史新高。


从商业层面来讲也涌现出了微软小冰、小米小爱等比较成熟的机器人产品,相信在未来的不久 NLP 技术一定会给我们带来更多的惊喜。


大咖现场分享 NLP 技术干货

王斌博士,是小米人工智能实验室主任,NLP 首席科学家。中国中文信息学会理事,计算语言学、信息检索、社会媒体处理、语言与知识计算等专委会委员及《中文信息学报》编委,中国计算机学会中文信息处理专业委员会委员。


加入小米之前,他在中科院计算所、信工所从事自然语言处理和信息检索相关的科研工作。在AICon全球人工智能与机器学习大会现场,他将会带来 NLP 技术方面的相关演讲,各位感兴趣的小伙伴欢迎来现场听他分享。


AICon全球人工智能与机器学习技术大会,将于 11 月 21-22 日在北京国际会议中心举行。颜水成、贾扬清、崔宝秋等 AI 技术大咖届时也会来现场,跟大家聊一聊今年在 AI 商业化场景落地的大背景下,又涌现出了哪些新技术。本次大会我们设立了机器学习、计算机视觉、NLP、AI 芯片、搜索推荐、产业互联网、硅谷 AI 技术实践等 13+技术专场,细分到 AI 技术的各个领域,为大家全方位的展示 AI 技术在国内目前发展的现状。感兴趣的小伙伴可以联系小姐姐 Amy:18514549229(同微信)


2019 年 8 月 21 日 11:131620

评论

发布
暂无评论
发现更多内容

Hadoop 简介

yuanhang

hadoop

干货:不同场景容器内获取客户端源IP的方法

华为云开发者社区

容器 服务端 场景

jvm疯狂吞占内存,罪魁祸首是谁?

易观大数据

详解增强算术赋值:“-=”操作是怎么实现的?

Python猫

Python 编程

前端 10 问之 TypeScript (第一篇)

局外人

typescript 前端进阶

终于有架构大牛把分布式系统概念讲明白了,竟然用了足足800页

周老师

Java 编程 程序员 架构 面试

LeetCode题解:232. 用栈实现队列,使用两个栈 入队 - O(1), 出队 - O(n),JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

Hadoop3 环境搭建

yuanhang

你不可不知道的Design Thinking

长沙造纸农

设计 思维方式 设计思维 设计实践 设计师

Atlassian Team Tour 9月23日登陆中国,报名通道已开启!

Atlassian

敏捷开发 数字化转型 金融 Jira

通证是下一代互联网数字经济的关键

CECBC区块链专委会

区块链 通证经济

面试官问我:看过sharding-jdbc的源码吗?我吧啦吧啦说了一通!!

冰河

数据库 分布式事务 微服务 分布式数据库 ShardingJDBC

阿里P9开源阿里内部秒杀系统设计方案以及设计原则,还不收藏

小Q

Java 架构 系统设计 秒杀 并发

Hadoop 客户端节点

yuanhang

hadoop3

众盟科技:跨越时空70年,一场别样的房地产直播开启人文探索

脑极体

作为一个架构师,我是不是应该有很多职责?

架构师修行之路

程序员 架构师

易观方舟Open API 及最佳实践

易观大数据

XSKY全新一代SDS一体机五大场景之超融合

XSKY融合存储

众盟科技:跨越时空70年,一场别样的房地产直播开启人文探索

人称T客

甲方日常 12

句子

工作 随笔杂谈 日常

Spring 5 中文解析核心篇-集成测试之TestContext(下)

青年IT男

单元测试 Spring5

flutter在行动之踩坑的日子(1)

霜蓝手环

flutter 跨平台 Flutter Android Apk 编程之路

Nodejs使用es module开发CLI

zayfen

nodejs Module ES cli esm

华为HMS:风雨突然,仍求自我

脑极体

面经手册 · 第10篇《扫盲java.util.Collections工具包,学习排序、二分、洗牌、旋转算法》

小傅哥

Java 数据结构 算法 归并排序 洗牌算法

【API进阶之路】用API打造一条自动化内容生产流水线

华为云开发者社区

自动化 API 部署

.NET多线程(Thread,ThreadPool,Task,Async与Await)

AI代笔

金九银十:搞定这两个GitHub标星50K开源项目,拿个30k轻松吧?

云流

编程 程序员 算法 架构师 java面试

第13周总结+作业

林毋梦

实战解析丨如何对Mysql连接请求的tcpdump内容进行分析

华为云开发者社区

TCP/IP 数据传输

2020年史诗级‘面试宝典’横空而出,金九银十就靠“它”涨薪了

云流

学习 程序员 架构师 java面试 程序员求职

阿里巴巴客户端架构演进之路

阿里巴巴客户端架构演进之路

为何NLP领域难以出现“独角兽”?-InfoQ