2月5-7日QCon全球软件开发大会携手100+位大咖讲师落定北京,点击查看完整日程>> 了解详情
写点什么

明略技术合伙人徐安华:数据量决定了特定领域自然语言处理最终效果

  • 2016-07-08
  • 本文字数:3212 字

    阅读完需:约 11 分钟

自然语言处理及文本挖掘技术的应用正变得更加广泛,尤其是在一些公共服务以及企业级应用方面的作用更加突出,比如执法机构需要用到的犯罪嫌疑分析,或者是企业决策用到的商业智能分析,以及普通人日常都需要用到的智能搜索功能等等,这些看似简单的应用背后,实际所需要的技术是比较复杂而专业的,因此为了更加深入地了解关于自然语言处理及文本挖掘技术发展情况相关的话题,InfoQ 专门采访了明略数据技术合伙人、SCOPA 产品搜索及自然语言处理组技术经理徐安华。

InfoQ:在进行自然语言处理的过程当中,会用到哪些工具?而这些工具又各自有什么样的特点?

徐安华:自然语言处理工具的使用,一般是由具体的自然语言处理过程来决定的。常见的处理过程主要就是进行分词处理,也就是将语句切分成几个有意义的词,接下来还要进行实体识别以及关系挖掘,有时可能还包括关健词提取、情感分析分类等工作。

在这个过程中需要用到的,基本上就是跟这个过程相对应的那些工具,而这些工具基本上都在试图去覆盖这里面涉及所有的内容。一般来说这些工具可分为两大类,一类是来源于开源社区,比如中文分词组件 jieba,而另外一类是来源于国内的一些大学的研究成果,像复旦、哈工大等等,都提供了比较好的工具,尤其是哈工大,它在自然语言处理领域久负盛名。国外的话,做得比较好的开源工具有 NLTK 等,而公认的比较突出的国外大学,比如有斯坦福等,它提供的工具叫做斯坦福 NLP。

这些工具,实际都是在特定领域,或者是针对学术圈里面的一些特定情况下的应用,来去描述其自然语言处理效果的,因此在实际使用时,还是要根据自己的需求去增加定制化的东西。

至于这些工具各自的特点,可以说开源社区工具在覆盖的广度和可用性上肯定是要比学术圈内的工具做得更好,比较典型的比如刚才提到 NLTK,它其实已经面向整个文本挖掘里面所涉及到的方方面面内容,都提供了相关的工具。

然而要想进一步提升自然语言处理的精准度或者是精确的解决企业的业务问题,还是需要在这些现有的工具基础上,加入一些自己定制开发的东西,最后形成自己的一套自然语言处理工具。

InfoQ:能否谈谈自然语言处理及文本挖掘在技术层面上的难点有哪些吗?而对于企业级用户来说,又该怎样做才能克服这些困难?

徐安华:自然语言处理与文本挖掘比较难的一点就是准确率问题。准确率直接影响着自然语言处理技术在产品化运用过程中的最终效果。现在很多在学术界准确率较高的自然语言处理技术其实在产品化之后,用户体验都不太好,依然会感觉到人可以精确识别的部分,机器识别起来却还是非常困难。

从技术上来说,解决方法可能就是需要非常大量的人工来训练相应的模型,当然这里指的就是叫做基于监督的模型,基于监督的模型在特定领域的效果非常好,但它的缺点在于可能换一类文本,准确率就会下降。因此现在很多人都试图去寻找完全无监督的,可以不用人工去进行标注的这种方式去训练模型,通过机器自己的学习,也能够正常进行这种分词处理,或者是进行命名实体识别。

具体问题还是需要做具体分析。现在来看,并没有一种放之四海而皆准的方法,即使是基于深度学习的技术,其实也是在特定领域之内才可能会有实际用处,它的实际效果,其实跟现在主流的这种基于监督的方法而得到的模型的效果是差不多的,甚至有些情况下还不如后者。

而对于企业级用户来说,要想克服这些困难,一方面还是需要找到一些专业的人才,具体的问题还是应该在具体的应用场景下进行分析,除了之前提到的工具之外,更重要的是只有这种具有专业知识的人才能够有经验和能力去更好的解决这些问题,而想要完全依靠工具去解决则是非常不现实的。

InfoQ:国内目前在自然语言处理以及文本挖掘技术方面的发展情况怎么样?目前是否面临着一些普遍存在但是又应该去解决的问题呢?

徐安华:国内自然语言处理以及文本挖掘的应用,我认为做得比较好的是百度、腾讯等,还有一些其他的拥有海量非结构化数据的企业,正是因为他们有大量的数据,因此才在建立模型、固化模式等方面比其他数据量相对比较少的企业更有经验,他们的数据就是他们最大的优势。

至于说到算法,其实这些年来并没有出现突破性的进展,大部分情况下各家比拼的还是数据量,数据量的大小决定了很多算法最终达到的效果,包括百度的语音识别技术,即使是利用了深度学习技术,但要想实现这么高的准确率,必须是建立在拥有海量的语音数据的基础之上才可以。

普遍存在的问题依然是准确率。要想做到一个全行业都能非常精准的识别自然语言,或者是非结构化数据里面提到的一些信息,也都是非常困难的。我们认为只有在垂直的领域下,才能根据很多的语言习惯和语言模型,将自然语言及文本挖掘技术进行产品化。但对于全行业都通用的高准确率自然语言处理解决方案,至少目前来看的的话,现有的这些手段都没有办法解决这一问题。

InfoQ:对于明略数据目前的业务来说,哪些领域或行业的用户在自然语言处理以及文本挖掘方面的需求比较大,他们的业务有什么样的特点?

徐安华:公安用户其实在自然语言处理还有文本挖掘上需求量比较大。原因在于这个特定领域积累了大量的历史数据,这些数据中记录了很多相关的事件或案件描述,这些描述中包含很多关键的要素,而这其中的问题就在于如何把新加进来的描述,跟已经存在库里的一些事件信息去进行关联分析,而文本挖掘就是解决这一问题的关键技术之一。

另外一个问题在于搜索,这个需求是在同时进行很多的事件描述的录入时,就同步进行关联分析或查找,而普通的搜索手段就无法有效的解决这种海量的实时数据录入问题了,再加上在这个过程中还要跟已有的库中的信息做关联,这时依然需要利用自然语言处理及文本挖掘技术来解决问题。

InfoQ:那么比较成功的案例是否也是在公安部门的应用当中?是否可以介绍一个比较成功的自然语言处理技术应用案例?

徐安华:自然语言处理比较成功的典型案例确实依然是在公安部门中的应用,也就是明略对于公安部门内部的一些事件描述文本的处理。利用这个领域之内长期积累而建立的模型,我们可以把一段事件描述里提到的一些关键要素拆解出来,准确率也越来越高。这样的话就更便于我们进行后续的文本关联分析,以补充和完善现有的信息库。

另外一方面,则是数据挖掘的效果最后需要将它进行产品化,也就是需要跟搜索引擎相关的技术做结合,将文本关联分析功能做成一个应用,形成一个可进行实时处理的具体产品。

InfoQ:今年在自然语言处理以及文本挖掘技术方面可能会出现哪些新趋势?

徐安华:目前比较受关注的趋势基本上在于两方面。首先是知识图谱的应用正变得更加广泛。之前对知识图谱的应用更多的是停留在大企业中,用来解决一些搜索问题。但是现在因为有更多相关的开源项目被公布出来,再加上也有一些企业将知识图谱构建技术公布了出来,这就使得更多的企业级客户,以及公安的客户来说去使用这种技术,来提高它现有的这种文本挖掘,以及这个文本处理的准确率,以及这个更加人性化的去识别一些这个相关的这个要素,其实会是一个趋势。

第二个趋势是深度学习,深度学习在图片挖掘领域获得成功之后,迅速朝向文本挖掘领域拓展,谷歌、Facebook 等公司都已经公布出来一些自己专门用来进行自然语言处理的深度学习框架以及相关的一些产品,甚至有些深度学习的产品,已经在朝 iOS 或者是安卓系统设备平移,这样一来可能后续的自然语言处理以及文本挖掘技术将不再停留在服务器端,在说移动端或者其他更小的便携设备上,也可以去进行自然语言处理,或者说能够受益于自然语言处理技术,甚至是享受到更宽泛意义上的人工智能的优势。


关于受访者

徐安华现为明略数据技术合伙人、SCOPA 产品搜索及自然语言处理组技术经理。2004 级北大计算机本科,2008 级北大计算机系统结构方向硕士,曾经在 Intel、爱奇艺工作 4 年时间,Linux kernel 代码贡献者,显卡虚拟化项目 XenGT 早期主要开发人员,拥有多篇专利。2014 年底加入明略数据,致力于在 Hive、Impala、SparkSQL 上实现行列级别权限,目前专注于自然语言处理与文本挖掘。

2016-07-08 07:331790

评论

发布
暂无评论
发现更多内容

预约下载 | 《Serverless 开发速查手册》全新上线

阿里巴巴云原生

谷歌云对象存储攻防

火线安全

安全攻防 对象存储 云安全

天翼云虚拟IP地址及其在高可用集群中的应用

天翼云开发者社区

虚拟机

易观分析:开源是隐私计算技术应用和生态构建的关键

易观分析

隐私计算 开源社区 开源技术

天翼云RDS数据库如何修改数据库参数

天翼云开发者社区

数据库 RDS

安全大讲堂 | 陈屹力:未来云原生安全能力建设将强调体系化的安全防护

腾讯安全云鼎实验室

云原生 安全大讲堂 云原生安全

如何选择天翼云云硬盘

天翼云开发者社区

云硬盘

艾瑞:技术驱动、生态助力,移动应用行业展望“黄金十年”

Geek_2d6073

天翼云云硬盘的磁盘模式及共享盘

天翼云开发者社区

云存储 云硬盘

中国科协发布 2021 开源创新榜,阿里巴巴 2 大开源社区、5 大开源项目上榜

阿里巴巴云原生

Go Data Structures: Interfaces [中译]

hyx

源码 Go 语言

CSDN 数据库Meetup|OceanBase 技术专家讲述 SQL 的一生

OceanBase 数据库

oceanbase OceanBase 开源 OceanBase 社区版 OceanBase社区

实现简易的 Vue 响应式

CRMEB

【性能测试工具lmbench】快来测测你的系统可以打几分

优麒麟

Linux 开源 系统管理 优麒麟

想让DBA瞬间崩溃,那就让他去做SQL性能优化

华为云开发者联盟

数据库 sql 遍历 存储 优化SQL

如何搭建B端产品帮助中心

小炮

帮助中心 B端用户

物理裸机配置如何转换为天翼云云主机配置

天翼云开发者社区

云主机

初创企业CRM系统解决方案

低代码小观

初创公司 企业微信 企业管理系统 CRM系统 客户关系管理系统

巧用对象存储回源绕过SSRF限制

火线安全

Web 云安全 web漏洞

阿里本地生活端智能架构设计与技术探索

阿里巴巴终端技术

端智能

Web 键盘输入法应用开发指南(10)—— 性能与原理

天择

JavaScript 浏览器 键盘 输入法 3月月更

8家正规云南等保测评机构名单看这里!

行云管家

等保 等保测评 等保2.0 云南

2022年网络运维必备软件和工具推荐

行云管家

运维 网络运维 IT运维 云管理

华为云发布实时音视频行业加速器,为企业解决技术与商业双重难题

华为云开发者联盟

音视频 RTC 华为云 华为云实时音视频 DevRun

关于黑帕云用户迁移明道云的详细说明

明道云

高性能的连接管理和数据路由组件,OceanBase 生态工具 ODP 详解

OceanBase 数据库

oceanbase OceanBase 开源 OceanBase 社区版

【OpenHarmony移植案例与原理】XTS子系统之应用兼容性测试用例开发

华为云开发者联盟

测试 OpenHarmony XTS 应用兼容性测试

不仅仅是一把瑞士军刀 —— Apifox的野望和不足

Liam

Java 程序员 Jmeter Postman swagger

明确生态边界的钉钉,让ToB从业者们松了口气

ToB行业头条

KubeVela: 如何用 100 行代码快速引入 AWS 最受欢迎的 50 种云资源

阿里巴巴云原生

明略技术合伙人徐安华:数据量决定了特定领域自然语言处理最终效果_大数据_刘羽飞_InfoQ精选文章