写点什么

Zalando 公司使用 Apache Flink 进行微服务和流处理架构

  • 2016-11-06
  • 本文字数:957 字

    阅读完需:约 3 分钟

Javier Lopez 和 Mihail Vieru 日前在 Reactive Summit 2016 大会上发表了关于基于云的数据集成和分发平台的演讲,该平台可用于商业智能用户案例的流处理。

Zalando 公司是欧洲在线时尚零售商,该公司正在从整体服务架构逐渐转变为微服务架构,并且从等级组织结构向敏捷组织结构转变。

事件流的处理方式使 Zalando 的技术团队能够实现几近实时的商业智能。他们使用诸如 Flink Kafka Elasticsearch 之类的技术来处理事件流。

在他们的架构中,各应用程序通过 REST API 互相沟通,而数据库隐藏在 Amazon Virtual Private Cloud (VPC) 基础架构里面。所有团队都将数据发布到中央事件总线。该架构模型由应用程序(调用微服务(REST API)来与事件总线交互)、Kafka、Exporter 和 AWS S3 数据存储组成。他们还用 Data Lake 为数据提供分布式访问和精细的安全性保护。

Lopez 和 Vieru 讨论了如何在微服务架构中使用 Flink 框架。 Flink 用于处理基于事件、摄取和处理时间的流数据。它还负责背压处理,这种背压处理是通过系统架构隐式实现的。

Zalando 公司的业务流程涉及 1000 多种事件类型,并且每个事件类型都有一个 Kafka 主题。他们通过关联的事件类型(如 Join&Union)来分析流程,并根据业务规则完善数据。他们还使用滑动窗口(1 分钟至 48 小时)的平台快照来进行流处理。

该架构还包括用于安全性的 OAuth 、基于 Postgres DB 的配置服务、告警服务和 Python 可视化组件。

两位演讲者还探讨了流处理的两个用例:几近实时的业务流程监控解决方案和流 ETL。实时的流程监控有助于分析如订单速度、交付速度等数据流和控制服务水平协议(SLA)。流式 ETL 用于释放与关系型数据仓库相关的资源,这种解决方案有助于提高数据仓库的负载,减少延迟并使平台更具可扩展性。

他们还谈到了未来用于流处理的用例,比如几近实时的销售和价格监控以及检测欺诈性付款。BPM 和 Flink 的 CEP 库及状态功能的复杂事件处理能力将用于这些用例。

有关他们的事件流处理架构的更多详细信息,请访问该公司的博客网站

查看英文原文 Microservices and Stream Processing Architecture at Zalando Using Apache Flink


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-11-06 19:003234
用户头像

发布了 22 篇内容, 共 57956 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

Enum Parse 中的坑

喵叔

28天写作 12月日更

DotNetCore 开发工具箱之调度小能手——Coravel

为自己带盐

dotnet 28天写作 12月日更 Coravel

山的那一边,是什么?(16/28)

赵新龙

28天写作

小程序的发布【小程序专题3】

坚果

小程序 28天写作 12月日更

100行代码让您学会JavaScript原生的Proxy设计模式

汪子熙

JavaScript 设计模式 代理模式 28天写作 12月日更

数据库牛人是如何进行SQL优化的?

Ethereal

数据库 sql SQL优化

TCP/IP的底层队列

程序员历小冰

网络 TCP/IP 28天写作 12月日更

Apache Log4j2,RASP 防御优势及原理

阿里巴巴云原生

阿里云 云原生 漏洞 可观测 Apache Log4j2

2021的科技卦象·震·到元宇宙玩“躲猫猫”

脑极体

【docker 总结】第四篇 - 镜像和容器操作

Brave

Docker 12月日更

Spring Boot Serverless 实战系列“架构篇” | 光速入门函数计算

阿里巴巴云原生

阿里云 Serverless 架构 云原生 函数计算

什么是Kubernetes?Kubernetes是怎样工作的?

Ethereal

云计算 Kubernetes

Go+ XML 编码和解码处理教程(5.5)

liuzhen007

28天写作 12月日更

如何在 AWS 云中从 Amazon EC2 启动 RHEL 8?

Ethereal

云计算 AWS RHEL 8 Amazon EC2

数据分析流程浅析

圣迪

数据分析 数据 CRISP-DM

Dubbo框架学习笔记四

风翱

dubbo 12月日更

解决问题

Nydia

读《思辨与立场》-04自我理解

wood

28天写作 批判性思维 思辨与立场

5分钟认识802.11标准,言简意赅!

Ethereal

网络技术 无线技术 网络技术联盟站 802.11

开源轻量级 IM 框架 MobileIMSDK v6.1.2 发布

JackJiang

TCP websocket 即时通讯 IM MobileIMSDK

如何基于 Docker 快速搭建 Springboot + Mysql + Redis 项目

秦怀杂货店

Java redis Docker springboot redis sentinel

React进阶(七):props 属性介绍

No Silver Bullet

React 12月日更 props

Hystrix Dashboard

李子捌

微服务 28天写作 12月日更

JavaScript操作 DOM 的这些事件基础

你好bk

JavaScript 前端 DOM BOM WebApi

管理中的推理事件随笔

搬砖的周狮傅

随笔杂谈 推理

前端开发:Vue中获取input输入框值的方法

三掌柜

28天写作 28 12月日更 12月

Python爬虫120例之案例58,手机APP爬虫,“武器库”的准备and皮皮虾APP的测试

梦想橡皮擦

12月日更

实现macOS热门功能,我只用了60行代码!

Jackpop

All in one:如何搭建端到端可观测体系

阿里巴巴云原生

阿里云 云原生 可观测

当我们在聊高可用时,我们其实在聊什么?

xcbeyond

28天写作 12月日更

[Pulsar] Pulsar Resources介绍

Zike Yang

Apache Pulsar 12月日更

Zalando公司使用Apache Flink进行微服务和流处理架构_大数据_Srini Penchikala_InfoQ精选文章