Zalando 公司使用 Apache Flink 进行微服务和流处理架构

Javier Lopez 和 Mihail Vieru 日前在 Reactive Summit 2016 大会上发表了关于基于云的数据集成和分发平台的演讲，该平台可用于商业智能用户案例的流处理。

Zalando 公司是欧洲在线时尚零售商，该公司正在从整体服务架构逐渐转变为微服务架构，并且从等级组织结构向敏捷组织结构转变。

事件流的处理方式使 Zalando 的技术团队能够实现几近实时的商业智能。他们使用诸如 Flink 、 Kafka 和 Elasticsearch 之类的技术来处理事件流。

在他们的架构中，各应用程序通过 REST API 互相沟通，而数据库隐藏在 Amazon Virtual Private Cloud (VPC) 基础架构里面。所有团队都将数据发布到中央事件总线。该架构模型由应用程序（调用微服务（REST API）来与事件总线交互）、Kafka、Exporter 和 AWS S3 数据存储组成。他们还用 Data Lake 为数据提供分布式访问和精细的安全性保护。

Lopez 和 Vieru 讨论了如何在微服务架构中使用 Flink 框架。 Flink 用于处理基于事件、摄取和处理时间的流数据。它还负责背压处理，这种背压处理是通过系统架构隐式实现的。

Zalando 公司的业务流程涉及 1000 多种事件类型，并且每个事件类型都有一个 Kafka 主题。他们通过关联的事件类型（如 Join＆Union）来分析流程，并根据业务规则完善数据。他们还使用滑动窗口（1 分钟至 48 小时）的平台快照来进行流处理。

该架构还包括用于安全性的 OAuth 、基于 Postgres DB 的配置服务、告警服务和 Python 可视化组件。

两位演讲者还探讨了流处理的两个用例：几近实时的业务流程监控解决方案和流 ETL。实时的流程监控有助于分析如订单速度、交付速度等数据流和控制服务水平协议（SLA）。流式 ETL 用于释放与关系型数据仓库相关的资源，这种解决方案有助于提高数据仓库的负载，减少延迟并使平台更具可扩展性。

他们还谈到了未来用于流处理的用例，比如几近实时的销售和价格监控以及检测欺诈性付款。BPM 和 Flink 的 CEP 库及状态功能的复杂事件处理能力将用于这些用例。

有关他们的事件流处理架构的更多详细信息，请访问该公司的博客网站。

查看英文原文： Microservices and Stream Processing Architecture at Zalando Using Apache Flink

感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ， @丁晓昀），微信（微信号： InfoQChina ）关注我们。