AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

悟空:用 Go 语言编写的全文搜索引擎

  • 2015-09-02
  • 本文字数:2355 字

    阅读完需:约 8 分钟

最近 Go 语言 1.5 版正式发布,国内关于 Go 语言的学习和应用也逐渐火热,InfoQ 也将关注并推动国内 Go 语言社区的发展。悟空开源项目是用 Go 语言编写的全文搜索引擎,InfoQ 记者采访了它的作者陈辉,了解了这个项目背后的一些信息。

悟空搜索引擎的特点是高度可定制,具有如下特性:

项目的架构如下图:

引擎中处理用户请求、分词、索引和排序分别由不同的协程(goroutines)完成。

  1. 主协程,用于收发用户请求
  2. 分词器(segmenter)协程,负责分词
  3. 索引器(indexer)协程,负责建立和查找索引表
  4. 排序器(ranker)协程,负责对文档评分排序

具体的原理可以在入门教程里查看,并且在这个教程里,作者用不到 200 行 Go 代码实现一个微博搜索网站。

这个项目的作者是陈辉,以前在 Google 美国工作,2014 年回国后加入阿里巴巴,现在是阿里巴巴广告事业部的大数据营销总经理。

在这篇文档里,他谈到了创建悟空搜索引擎的初衷:

知识应该容易获得

……

通用的搜索引擎并不能解决这个问题:首先,不能有针对性的垂直搜索,对内容的抓取和索引简单粗暴,无法得到结构化数据,看不到隐藏的内容属性;其次,通用搜索引擎对内容的排序无法进行定制,实时性不够,无法成为网站社区的有机的一部分。

一个好的网络社区应该允许用户在阅读时搜索,搜索成为阅读的一部分;网站内部的流量应该是个性化的、有机的,而不应该由生硬的推荐系统主导用户阅读的方向。很可惜这样的网络社区很少,这种局面的造成一部分是因为缺乏一个开源的、容易定制的、高效的搜索引擎的存在。

他的另一个初衷是认为搜索引擎技术应该普及:“所有大数据领域的工程师都应该在职业生涯的某个时刻试着重写一个搜索引擎,了解一下其中的技术问题,并尝试去解决这些问题。”

InfoQ 记者对他进行了采访,了解了他对 Go 语言的看法,以及悟空搜索引擎背后的一些故事。

InfoQ:您是如何和 Go 语言结缘的,现在是否仍然关注 Go 语言?

陈辉:最早是从 Google 内部的海报上知道 Rob Pike 给的 TechTalk,关于一种新的编程语言,我对新的编程语言一直比较感兴趣,于是就去听了一下。

当时在 Google 内部有一种鄙视 Python 的风气,有个资深的工程师还写了一篇文章《为什么你不应该用 Python》,认为超过 100 行的代码就不应该用 Python 写。我自己在使用 Python 时也很头疼,感觉这就是一种 ad hoc 的语言,写出来的代码很不好维护,更要命的是还很丑陋,写完就不想再多看一眼。

听完 TechTalk 的第一感觉就是 Go 可以取代 Python 进行快速开发,于是用 Go 写了几个内部小项目,非常顺手,当时 Rob Pike 还亲自 review 了我的代码,给了不少使用规范的建议。

后来我的开源项目基本上都用 Go 写了,包括中文分词,机器学习等,见我的 GitHub 项目列表

现在因为工作比较忙很少再写,不过如果有人想重头创作一个项目,我仍然会向他推荐 Go。

InfoQ:说说您使用 Go 语言的体会,它有哪些优缺点?

陈辉:最大的优点是易于维护,代码写完之后几个月再去看完全没有生疏感,仿佛在 Go 中实现一个功能只有这么一种写法。而且还有 gofmt 这个格式化工具,让团队中所有人的代码风格都是一样的。Go 是一种不会让团队其他小伙伴看代码时皱眉头的语言,没有什么比这更重要了。

其次 Go 语言有 C 语言的优势,但没有 C++ 的弱点。首先是强类型语言,任何严肃的软件项目都不应该选择使用弱类型语言。然后 Go 的 interface 能满足 90% 以上的 OOP 需求,但又没有 C++ 的种种陷阱。最后,执行速度足够快。

然后,Go 有很好的代码管理、build 和 profiling 功能。import 一个 GitHub 的就好像使用本地目录一样,这天然解决了开源软件中的协同开发的问题。profiling 的能力强大,加上 build 体系替代了一个好的 IDE 的最主要的功能。

最后,goroutines 提供了天然的并发编程支持,这也是我最喜欢使用的功能之一。

当然它也不是没有缺点,在我眼里 Go 的缺点:对 virtual function 的支持不是很好(或者不存在?),无法通过继承实现代码复用。另外,pointer 的使用有时候让人困惑。

InfoQ:请介绍一下“悟空”开源项目的开发历史。

陈辉:最早是 13 年 7 月开始写的,基本上是利用周末的时间,花了一个月写完了悟空最主要的代码,8 月初扔到了 GitHub 上。14 年一月份给引擎添加了持久存储,中间有几位 contributor 贡献了代码。

透露一下,阿里巴巴内部有使用悟空。

InfoQ:悟空和其它搜索引擎相比,有哪些特点?

陈辉:据我所知还有一个 Go 写的搜索引擎,Bleve,不过好像不支持中文分词。

悟空不是一个完整的搜索引擎,我也从来不打算让它变完整。我只想写一些容易被修改的、能融入你的业务需求的基础代码,这些代码只实现基本功能,同时也足够精简,让你能了然于心,可以快速修改实现你想要的功能。换句话说,你只要花一天时间就可以熟悉悟空的代码,让它成为你自己的搜索引擎。

InfoQ:能否介绍一下悟空搜索引擎应用到高并发和大数据量场景下,可能会出现的性能瓶颈?以及有哪些优化手段?

陈辉:目前悟空的索引结构都是基于内存的,单机的内存大小成为瓶颈。解决方式有两个,一是引入 SSD 等存储,二是分布到多台机器上。我比较倾向于后者,因为内存会越来越便宜。

InfoQ:悟空搜索引擎未来有什么开发计划?

陈辉:如果有时间,可能会加入 docker 的支持。

如果你想了解更多关于悟空搜索引擎,这里有.NET 社区知名开发者 Oren Eini 的一篇探索它代码的文章,感兴趣的读者可以阅读。

2015-09-02 00:2812600
用户头像

发布了 164 篇内容, 共 113.7 次阅读, 收获喜欢 392 次。

关注

评论

发布
暂无评论
发现更多内容

Tapdata 与优炫数据库完成产品兼容性互认证

tapdata

数据库 Tapdata 实时数据 交互式 优炫数据库

跟我读论文丨Multi-Model Text Recognition Network

华为云开发者联盟

人工智能 文字识别 语言模型 视觉特征

活动报名:如何零基础快速上手开源的 Tapdata Live Data Platform?

tapdata

开源 开源社区 Tapdata 实时数据

学习大数据技术之前做好这些准备

小谷哥

“万物互联,使能千行百业”,2022 开放原子全球开源峰会 OpenAtom OpenHarmony 分论坛即将开幕

kk-OSC

开源 开放原子全球开源峰会

李宏毅《机器学习》丨5. Tips for neural network design(神经网络设计技巧)

AXYZdong

机器学习 7月月更

大数据培训机构如何选择

小谷哥

8个方法管理 GitHub 用户权限

SEAL安全

git GitHub 安全 软件安全 软件供应链安全

tsconfig.json在配置文件中找不到任何输入,怎么办?

华为云开发者联盟

JavaScript 前端

智能运维场景解析:如何通过异常检测发现业务系统状态异常

云智慧AIOps社区

人工智能 机器学习 异常检测 智能运维 状态管理

接口文档进化图鉴,有些古早接口文档工具,你可能都没用过

Liam

Postman 接口文档 API swagger API文档

【干货】知识共享的障碍及解决方法

Geek_da0866

算法题每日一练---第4天:图像模糊问题

知心宝贝

算法 前端 后端 7月月更

为Python打包创建一个世外桃源,解决打包太大且启动慢的问题

迷彩

pyinstaller 7月月更 Python打包

DistSQL 深度解析:打造动态化的分布式数据库

SphereEx

数据库 开源社区 ShardingSphere SphereEx #开源

阿里云技术专家郝晨栋:云上可观测能力——问题的发现与定位实践

阿里云弹性计算

DevOps 运维 可观测性

这样优化Spring Boot,启动速度快到飞起!

艾小仙

Java 微服务 springboot Eureka 微服务治理

你离「TDengine 开发者大会」只差一条 SQL 语句!

TDengine

tdengine 开源 时序数据库

个人实战经验:数据建模 “账户数据是属于维度还是账户域 ”

松子(李博源)

数据仓库 数据建模 数据中台场景实践

wallys/new product/DR7915/MT7915+MT7975/WiFi6 MiniPCIe Module 2T2R

wallys-wifi6

知识分享|分享一些提升企业文档管理水平的方法

Baklib

26岁从计算机视觉界“黄埔军校”博士毕业,他想为车打造一双慧眼

华为云开发者联盟

人工智能 计算机视觉 天才少年 激光感知

极客星球丨字节跳动一站式数据治理解决方案及平台架构

MobTech袤博科技

架构 运维 数据治理 全链路

Review 后台管理系统实战:请求参数的 2 种封装风格

掘金安东尼

前端 编程范式 7月月更

如何快速开发一个简单实用的MES系统?

优秀

MES系统

还在用 ListView?使用 AnimatedList 让列表元素动起来

岛上码农

flutter ios 安卓开发 跨平台开发 7月月更

学习java开发技术有用吗?

小谷哥

开发动态 | StoneDB 2022年版本发布里程碑

StoneDB

云原生 #数据库 大数据 开源 #开源

易观分析《2022年中国数据安全市场数据监测报告》正式启动

易观分析

技术

java程序员培训班怎么选?

小谷哥

学好Web前端开发能找到好工作吗

小谷哥

悟空:用Go语言编写的全文搜索引擎_架构_徐川_InfoQ精选文章