10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

Zalando 公司使用 Apache Flink 进行微服务和流处理架构

  • 2016-11-06
  • 本文字数:957 字

    阅读完需:约 3 分钟

Javier Lopez 和 Mihail Vieru 日前在 Reactive Summit 2016 大会上发表了关于基于云的数据集成和分发平台的演讲,该平台可用于商业智能用户案例的流处理。

Zalando 公司是欧洲在线时尚零售商,该公司正在从整体服务架构逐渐转变为微服务架构,并且从等级组织结构向敏捷组织结构转变。

事件流的处理方式使 Zalando 的技术团队能够实现几近实时的商业智能。他们使用诸如 Flink Kafka Elasticsearch 之类的技术来处理事件流。

在他们的架构中,各应用程序通过 REST API 互相沟通,而数据库隐藏在 Amazon Virtual Private Cloud (VPC) 基础架构里面。所有团队都将数据发布到中央事件总线。该架构模型由应用程序(调用微服务(REST API)来与事件总线交互)、Kafka、Exporter 和 AWS S3 数据存储组成。他们还用 Data Lake 为数据提供分布式访问和精细的安全性保护。

Lopez 和 Vieru 讨论了如何在微服务架构中使用 Flink 框架。 Flink 用于处理基于事件、摄取和处理时间的流数据。它还负责背压处理,这种背压处理是通过系统架构隐式实现的。

Zalando 公司的业务流程涉及 1000 多种事件类型,并且每个事件类型都有一个 Kafka 主题。他们通过关联的事件类型(如 Join&Union)来分析流程,并根据业务规则完善数据。他们还使用滑动窗口(1 分钟至 48 小时)的平台快照来进行流处理。

该架构还包括用于安全性的 OAuth 、基于 Postgres DB 的配置服务、告警服务和 Python 可视化组件。

两位演讲者还探讨了流处理的两个用例:几近实时的业务流程监控解决方案和流 ETL。实时的流程监控有助于分析如订单速度、交付速度等数据流和控制服务水平协议(SLA)。流式 ETL 用于释放与关系型数据仓库相关的资源,这种解决方案有助于提高数据仓库的负载,减少延迟并使平台更具可扩展性。

他们还谈到了未来用于流处理的用例,比如几近实时的销售和价格监控以及检测欺诈性付款。BPM 和 Flink 的 CEP 库及状态功能的复杂事件处理能力将用于这些用例。

有关他们的事件流处理架构的更多详细信息,请访问该公司的博客网站

查看英文原文 Microservices and Stream Processing Architecture at Zalando Using Apache Flink


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-11-06 19:003342
用户头像

发布了 22 篇内容, 共 59978 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

华为阅读携手人民邮电出版社上架独家鸿蒙相关书籍,覆盖鸿蒙开发全流程

最新动态

探索BPMN—工作流技术的理论与实践|得物技术

得物技术

Java 效率 工作流 企业号2024年7月PK榜

凤凰项目(Phoenix Project)精要 - 随笔 - 中

Anliven

读书笔记 团队管理 DevOps 运维 团队效能

第60期 | GPTSecurity周报

云起无垠

Databend 开源周报第 154 期

Databend

乘云数字受邀Zabbix MeetUp济南站,分享《DataBuff在打造可观测性数据底座上的探索》

乘云数字DataBuff

可观测性 zabbix Meetup

京东百万级调度系统(Buffalo)架构解密

京东零售技术

大数据 企业号2024年7月PK榜

视频处理器:全彩LED显示屏的幕后英雄

Dylan

视频 显示器 LED显示屏 全彩LED显示屏 led显示屏厂家

如何用数据驱动业务增长?火花思维落地“数据飞轮”的实践模式

新消费日报

无需业务改造,一套数据库满足 OLTP 和 OLAP,GaiaDB 发布并行查询能力

百度Geek说

企业号2024年7月PK榜

提升20%!京东广告模型系统负载均衡揭秘

京东零售技术

负载均衡算法 AIGC LLM 企业号2024年7月PK榜

凤凰项目(Phoenix Project)精要 - 随笔 - 上

Anliven

读书笔记 团队管理 DevOps 运维 团队效能

奇妙敏捷之旅·青岛站:有趣、有料、有温度,精彩瞬间→

禅道项目管理

敏捷开发 IPD 造车 集成产品开发体系 敏捷之旅

万字长文年中盘点,2024上半年大模型技术突破与应用展望

可信AI进展

人工智能

【等保测评】24年无锡等保测评机构名单

行云管家

等保 等级保护 等保测评 无锡

一分钟让你知道等保合规堡垒机定义以及重要性

行云管家

等保 堡垒机 等级保护 等保合规

分析性能提升40%,阿里云Hologres流量场景最佳实践

阿里云大数据AI技术

大数据 最佳实践 流批一体 hologres

10款主流AI生成PPT软件,轻松打造专业好看的PPT演示文稿

彭宏豪95

人工智能 效率工具 PPT 办公软件 AI生成PPT

国内外零信任法律法规一览

芯盾时代

零信任模型 身份管理

Mac经典单机游戏推荐:星际争霸母巢之战 for Mac 汉化版

你的猪会飞吗

Mac游戏下载 Mac游戏推荐 Mac游戏分享

凤凰项目(Phoenix Project)精要 - 随笔 - 下

Anliven

读书笔记 团队管理 DevOps 运维 团队效能

2024快应用开发者大会亮点揭秘,携手AI共塑未来十年服务分发新格局

科技热闻

解析微店商品详情的 API 接口获取之道

Noah

Zalando公司使用Apache Flink进行微服务和流处理架构_大数据_Srini Penchikala_InfoQ精选文章