AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

Netflix 发布 Genie3

  • 2017-07-16
  • 本文字数:946 字

    阅读完需:约 3 分钟

Genie 是一个分布式的 RESTful 架构的任务编排引擎,用于 Netflix 的数据平台。Genie 有两个主要使用场景:第一个是创建和提交自定义的数据处理任务请求,其次是设置本地环境来开发和测试在 Genie 集群上运行的新应用程序和任务。

Netflix 宣布 Genie3 支持几项新特性,包括对较早的任务执行引擎进行重新设计、增强安全功能、增加依赖关系缓存,同时API 也有更新。

Genie 引擎的早期版本不支持领导选举,导致工作节点不必要地执行相同的任务。现在,通过 Zookeeper 或手动配置属性设置单个节点的 IP 地址即可支持集群领导选举。早期版本中所有任务的单一运行脚本运行时间过长,无法满足安全隔离的要求,并降低了在项目扩张阶段项目维护者引入代码更改时隔离风险的能力。Genie3 引入新的方法,使用改进的数据模型来保证运行时间并实现了配置的模块化、描述性和版本化。

在 Genie3 中,任务由若干抽象过程组成,以确保可扩展性。应用程序的运行时间和可执行命令可以通过其API 进行配置。Genie 独立于特定运行时配置或待处理数据,生成Spark、Hadoop、Pig、Hive、PrestoDB 和Sqoop 等类型的应用程序运行脚本。作为开发人员,本地模式工作流能够为不同运行时生成运行脚本,同时还集成了REPL 和stdout 的底层实现以支持测试和开发。

Genie3 的 API 组件覆盖了 Genie 的全部功能。

集群 API、命令 API、应用 API 和作业 API 提供了操作 Genie3 所需的语义。集群 API 负责管理 Genie 的逻辑 worker 集群,不包括基础架构本身。集群 API 还协助管理集群相关的元数据、启动时 worker 集群的基准状态、可用于集群的命令和基准包的安装。从这一点来看它与 Puppet 或 Chef 类似,只是它专注于 Genie 应用程序命令在运行时所需的工作集群的特定安装包和配置。这样可以使应用程序在启动时更加灵活、不受限制,否则应用程序就需要在启动时下载并安装依赖包。

命令 API 的语义在底层应用程序上运行,并且必须指向特定应用程序,但允许定义自己的启动和运行时配置。

作业 API 允许 Genie 用户调度或执行一组命令,并跟踪有关作业执行状态的数据。Genie3 附带了用于 MySql、PostgreSQL 和 HSQLDB 的 JDBC 驱动程序,用于支持 Genie 及其 API 的存储配置。

Genie 3 还支持基于 OAuth2 X.509 公钥证书。

查看英文原文: Netflix Announces Genie 3

感谢张卫滨对本文的审校。

2017-07-16 18:423462
用户头像
蔡芳芳 InfoQ 总编辑

发布了 813 篇内容, 共 590.8 次阅读, 收获喜欢 2808 次。

关注

评论

发布
暂无评论
发现更多内容

RAG vs. MCP: 你不知道你需要的 AI 充电接口

数据追梦人

初探 YashanDB 共享集群:重新定义高可用数据库的新范式

数据库砖家

数据库

在iPhone / iPad上轻松模拟GPS位置AnyGo

Rose

Mermaid代码生成流程图全攻略!办公绘图不要太简单!

职场工具箱

AI 流程图 AIGC Mermaid AI 绘图

JEB Pro v5.28 (macOS, Linux, Windows) - 逆向工程平台

sysin

JEB

安全企业内部im,BeeWorks即时通讯

BeeWorks

即时通讯 IM 私有化部署 企业级应用

苹果Mac截图和屏幕录制工具:CleanShot X

Rose

Splunk Enterprise 9.4.2 发布 - 机器数据管理和分析

sysin

Splunk Enterprise

得物可观测平台架构升级:基于GreptimeDB的全新监控体系实践

得物技术

可观测性 存算分离 流式计算 GreptimeDB

2024全新AI脚本插件合集182款

Rose

CrossOver25中文破解版下载安装教程,CrossOver 软件激活码分享,CrossOver 25 for Mac如何永久免费使用

阿拉灯神丁

激活码生成器 Mac软件 CrossOver Mac下载 crossover mac 破解版 苹果电脑必备软件

老牌原声鼓音源Toontrack EZDrummer for Mac安装教程

Rose

3D动画和视觉特效(VFX) SideFX Houdini for Mac

Rose

YashanDB 在 GIS 领域的实践与优势解析

数据库砖家

数据库

浅析金仓数据库KingbaseES自治事务

金仓技术

KingBase 金仓数据库

如何让 MCP 集成 API 更顺畅、无烦恼

数据追梦人

PHP集成开发环境 JetBrains PhpStorm v2025.1.0.1 最新激活秘钥

Rose

Microsoft System Center 2025 version 2503 Multilanguage - Windows 服务器管理软件

sysin

Windows Server

PS/LR滤镜插件套装Nik Collection 6安装教程

Rose

TextIn MCP Server正式发布,无代码搭建智能文档处理Agent!

合合技术团队

人工智能 算法 #大数据

Nipper 3.7.0 Windows x64 - 网络设备漏洞评估

sysin

Nipper

YashanDB|OCI 接口快速上手指南:从环境配置到代码实战,一文带你搞定!

数据库砖家

数据库

YashanDB|一文读懂 Outline 功能实战验证:绑定、失效、主备、升级全覆盖!

数据库砖家

数据库

初学者视角下的思考|YashanDB 安装流程能不能再友好一点?

数据库砖家

数据库

Audition 2025(AU2025)中文直装版-Mac/win

Rose

YashanDB Docker 镜像实践指南:一次配置,多处部署!

数据库砖家

数据库

CrossOver 25.0.1 for macOS & Linux - 领先的 Wine 解决方案

sysin

crossover

YashanDB|数据文件损坏怎么查?教你用 dump + rowid 快速定位!

数据库砖家

数据库

YashanDB|执行计划突然变差?小心统计信息时间戳不一致!

数据库砖家

数据库

程序编程必备工具:SQLPro Studio可视化数据库管理

Rose

Microsoft System Center 2022 version 2503 Multilanguage - Windows 服务器管理软件

sysin

Windows Server

Netflix发布Genie3_大数据_Dylan Raithel_InfoQ精选文章