【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

LinkedIn 已将可自定义的索引引擎 IndexTank 开源

  • 2012-01-04
  • 本文字数:701 字

    阅读完需:约 2 分钟

LinkedIn 已将 IndexTank 开源,这是一种运行在云中的文档索引引擎,它让用户可以自定义编制索引的过程,并对结果进行微调。

IndexTank 是在一年之前发布的,在十月份被LinkedIn 收购,并在最近开放了源代码。IndexTank 是与 Google 自定义搜索类似的云服务,它基于 Amazon Web Services 运行,给网站提供了为其中的内容编制索引的功能,而网站的访问者会在稍后搜索这些内容。IndexTank 声称他们的用户拥有完全的控制权,可以决定对什么编制索引,何时编制索引,以及如何对结果排序。这意味着网站可以在搜索结果的基础之上,对想要优先显示的文档做出改善,而不需要依赖于Google 的搜索算法。

和很多站点不同,IndexTank 不会爬取网页的内容,从而对其建立索引,而是会由站点向索引引擎发送要索引的数据。这样,文档在创建之后就可以索引到,这提供了实时的结果。另外,我们可以免费添加这项服务。

IndexTank 包括三个主要组件:

  • 索引引擎——只对简单文本建立索引的引擎。而 PDF、微软文档以及其他文档类型需要在建立索引之前转换为文本格式。
  • API ——可以通过 Java、Python、.NET、Ruby 和 PHP 客户端访问的 RESTful 的接口。
  • Nebulizer ——一种多租户框架,其中存放不限数量、运行在 IaaS 基础架构上的索引引擎。

IndexTank 加入了 Zoie ,那是一种基于 Apache Lucene 构建的实时搜索引擎,并由 LinkedIn 于 2008 年开源。

IndexTank 声称他们已经在一年间吸引了成千上万的用户,其中最值得关注的就是 Reddit ,但这家公司在被 LinkedIn 收购的时候还没有盈利。

IndexTank 的源代码可以在 GitHub: Index Engine API plus Nebulizer 处下载。

查看英文原文: LinkedIn Open Sources IndexTank, a Customizable Indexing Engine

2012-01-04 07:232820
用户头像

发布了 340 篇内容, 共 125.7 次阅读, 收获喜欢 13 次。

关注

评论

发布
暂无评论
发现更多内容
LinkedIn已将可自定义的索引引擎IndexTank开源_开源_Abel Avram_InfoQ精选文章