写点什么

与 Julien Nioche 探讨基于 Apache Storm 的开源爬虫流水线 StormCrawler

  • 2016-12-26
  • 本文字数:1569 字

    阅读完需:约 5 分钟

Julien Nioche 是 DigitalPebble 公司的总监、PMC 成员和 Apache Nutch 网络爬虫项目的代码提交者。 StormCrawler 是一组可重用的组件,可以构建基于流式框架 Apache Storm 的分布式网络爬虫。Julien Nioche 就 StormCrawler 接受了我们的采访,谈了他的一些看法。

Nioche 是该项目的主要贡献者,InfoQ 采访他以了解更多关于 StormCrawler 的情况,以及在相同领域内它与其他技术相比有什么特点。

InfoQ:爬虫处理流水线在什么阶段可以受益于 StormCrawler?

Julien Nioche:StormCrawler 提供了代码和资源,可以用它来实现所有爬虫处理流水线的核心阶段,比如调度、获取、解析和生成索引等。它也为常用项目提供了可供调用的模块,比如 Apache Solr Elasticsearch MySQL 或者 Apache Tika 等。它还有一套可扩展的功能,可以用 XPath sitemaps 、URL 过滤器或语言识别等去做数据提取。

InfoQ:与其他爬虫技术,比如 Apache Nutch 和 Python 的 Scrapy 等相比较,StormCrawler 有什么特点?

Nioche:StormCrawler 是基于我开发 Apache Nutch 的经验开发的,很大程度上要归功于它,主要是一些概念(比如 FetcherBolt、URL 和解析过滤器的设计)和早期实现。StormCrawler 实现了 Nutch 的功能,并且像 Nutch 2.x 版一样,可以使用不同的后端数据库(HBase、Cassandra 等等)。

StormCrawler 和 Nutch 之间的主要区别是,后者基于(并且催生了)Apache Hadoop 项目,而且是批量驱动的。URL 提取、内容解析和生成索引都是作为单独的步骤完成的。这会导致当提取 URL 的时候,CPU 和磁盘的使用率相对较低,而网络流量高。而当解析或生成索引时则反之,CPU 和磁盘的使用率高,网络流量低。

与它相反,StormCrawler 基于流处理框架 Apache Storm 实现的,并且所有的操作都可以在同一时间进行:URL 提取、解析和生成索引都不断地并行进行。这就使整个爬取过程更加高效,而且没有长尾的工作量,而这是面向批处理方法的常见问题。与 Nutch 不同,处理内容不一定要保存在磁盘上(但如果必要的话也可以保存在磁盘上)。也可以用 StormCrawler 更容易地实现更丰富的用例,比如需要低延迟的时候,或者当 URL 成为流不断到达的时候(比如用户生成的事件,像访问页面等)。

把两者之间进行对比,我们可以发现 StormCrawler 运行在一个分布式的、可扩展的环境中,而 Scrapy 是单进程的,即使有像 Frontera 那样的项目去做分布式爬虫,。

StormCrawler 代表了 Apache Storm 的分布式和可靠性(再加上其他的功能,比如用户界面、指标框架和日志等)。

Scrapy 和 StormCrawler 都在力图实现用户友好性和为数据抓取提供好的解决方案。

总之我认为,StormCrawler 是 Nutch 的可扩展性和 Scrapy 的用户友好性的结合体。

InfoQ:爬取的工作量往往是 I/O 密集型的。与其他的替代品,比如 Apache Spark 或 Apache Flink 等相比,使用 Apache Storm 作为流处理框架的优势是什么?

Nioche:Apache Storm 设计和概念简单并且高效。Spark 那时还不存在。Spark 对数据进行小批量流处理的方式,及其声明式的风格并不非常适合我的需求。

爬行的主要挑战之一是礼貌,这个概念的意思是爬虫访问 Web 服务器的频率。与大多数的流式应用不同,它的目的并不只是尽可能快地获得尽可能多的信息,而是要有礼貌地执行但同时优化吞吐量。我们要进行更好的控制,Apache Storm 的机制恰好可以满足我们的需求。

InfoQ:StormCrawler 接下来的版本的路线图是什么?

Nioche:StormCrawler 的发展是由社区驱动的。最新发布的稳定版本是1.2,它是基于Storm 的1.x 版本开发的。下一个要发布的版本将包括语言识别模块,并且很有可能会提供一个新端口来支持 Elasticsearch 5 。在某种程度上即将发布的主要功能是实现基于 Selenium 的协议,这将适用于基于 Ajax 的网站。

查看英文原文 Julien Nioche on StormCrawler, Open-Source Crawler Pipelines Backed by Apache Storm

2016-12-26 18:007109
用户头像

发布了 152 篇内容, 共 77.9 次阅读, 收获喜欢 64 次。

关注

评论

发布
暂无评论
发现更多内容

Neo4j APOC 使用

wkq2786130

neo4j apoc

canal 笔记

wkq2786130

MySQL canal

JVM性能调优监控工具 jps jstat jinfo jmap jhat jstack

wkq2786130

Java JVM

Java的异常处理

Bruce Duan

java异常处理

C++ 线程安全的单例模式总结

小林coding

c++ 设计模式 单例模式 线程安全

记一次bem命名规范使用优化方案

前端有的玩

Vue npm React bem

一张PDF了解JDK11 GC调优秘籍-附PDF下载

程序那些事

Java jdk GC 秘籍 JDK11

为什么 Flink 无法实时写入 MySQL?

Apache Flink

flink

架构师训练营第七周作业

王铭铭

OrientDB etl 工具 导入 rdbms数据

wkq2786130

GoF设计模式 | 工厂方法模式

Peision

Java 23种设计模式

创业使人成长系列 (5)-申请国家高新企业

石云升

高新企业

玩转混合加密 | 精美配图

阿宝哥

安全 加密解密 数据加密

前后端分离跨域问题解决方案

Peision

Java 前后端分离 springboot

架构师训练营第七课总结

曾祥斌

neo4j 批量 导入 数据 的 几种方式

wkq2786130

neo4j

jvm-config

wkq2786130

Java JVM

elasticsearch-restful-api笔记

wkq2786130

elasticsearch

蚂蚁金服上市了,我不想努力了

YourBatman

IPO 财务自由 蚂蚁金服 财富自由

GoF设计模式 | 单例模式

Peision

Java 后端 23种设计模式

前后端统一结果集封装

Peision

Java json 前后端分离 springboot

百万并发「零拷贝」技术系列之初探门径

码农神说

Java 架构 零拷贝

专访英特尔唐炯:对旗下产品性能及未来路线图充满信心

最新动态

jqGrid表格封装和使用方法

Seven_xw1213

Java 大前端 封装 jqgrid

手撕设计模式

Peision

Java 后端 设计模式 23种设计模式

解决 Harbor 启动失败故障

FeiLong

Docker Harbor Docker-compose

vcenter 5.5故障处理

小小文

vcenter

Cmder 使用 笔记

wkq2786130

cmder tools

写在《SRE生存指南》出版之际

冯文辉

DevOps SRE

性能优化-架构师体现技术全面性的时刻

LEAF

职业吐槽与反思(一)

石君

职场 吐槽

与Julien Nioche探讨基于Apache Storm的开源爬虫流水线 StormCrawler_大数据_Alexandre Rodrigues_InfoQ精选文章