10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

Netflix 发布 Genie3

  • 2017-07-16
  • 本文字数:946 字

    阅读完需:约 3 分钟

Genie 是一个分布式的 RESTful 架构的任务编排引擎,用于 Netflix 的数据平台。Genie 有两个主要使用场景:第一个是创建和提交自定义的数据处理任务请求,其次是设置本地环境来开发和测试在 Genie 集群上运行的新应用程序和任务。

Netflix 宣布 Genie3 支持几项新特性,包括对较早的任务执行引擎进行重新设计、增强安全功能、增加依赖关系缓存,同时API 也有更新。

Genie 引擎的早期版本不支持领导选举,导致工作节点不必要地执行相同的任务。现在,通过 Zookeeper 或手动配置属性设置单个节点的 IP 地址即可支持集群领导选举。早期版本中所有任务的单一运行脚本运行时间过长,无法满足安全隔离的要求,并降低了在项目扩张阶段项目维护者引入代码更改时隔离风险的能力。Genie3 引入新的方法,使用改进的数据模型来保证运行时间并实现了配置的模块化、描述性和版本化。

在 Genie3 中,任务由若干抽象过程组成,以确保可扩展性。应用程序的运行时间和可执行命令可以通过其API 进行配置。Genie 独立于特定运行时配置或待处理数据,生成Spark、Hadoop、Pig、Hive、PrestoDB 和Sqoop 等类型的应用程序运行脚本。作为开发人员,本地模式工作流能够为不同运行时生成运行脚本,同时还集成了REPL 和stdout 的底层实现以支持测试和开发。

Genie3 的 API 组件覆盖了 Genie 的全部功能。

集群 API、命令 API、应用 API 和作业 API 提供了操作 Genie3 所需的语义。集群 API 负责管理 Genie 的逻辑 worker 集群,不包括基础架构本身。集群 API 还协助管理集群相关的元数据、启动时 worker 集群的基准状态、可用于集群的命令和基准包的安装。从这一点来看它与 Puppet 或 Chef 类似,只是它专注于 Genie 应用程序命令在运行时所需的工作集群的特定安装包和配置。这样可以使应用程序在启动时更加灵活、不受限制,否则应用程序就需要在启动时下载并安装依赖包。

命令 API 的语义在底层应用程序上运行,并且必须指向特定应用程序,但允许定义自己的启动和运行时配置。

作业 API 允许 Genie 用户调度或执行一组命令,并跟踪有关作业执行状态的数据。Genie3 附带了用于 MySql、PostgreSQL 和 HSQLDB 的 JDBC 驱动程序,用于支持 Genie 及其 API 的存储配置。

Genie 3 还支持基于 OAuth2 X.509 公钥证书。

查看英文原文: Netflix Announces Genie 3

感谢张卫滨对本文的审校。

2017-07-16 18:423587
用户头像
蔡芳芳 InfoQ 总编辑

发布了 818 篇内容, 共 607.1 次阅读, 收获喜欢 2822 次。

关注

评论

发布
暂无评论
发现更多内容

ManageEngine卓豪深入教育行业IT服务台痛点

ServiceDesk_Plus

ManageEngine卓豪

Playwright | 测试框架集成​指南:参数化测试 + 多浏览器并行执行

测试人

软件测试

使用Amazon Q和MCP优化深度学习环境

qife122

深度学习 MCP

Redis 部署模式详解

电子尖叫食人鱼

redis

欢乐互娱:StarRocks 助力游戏数据平台实现极速分析与高效运营

镜舟科技

存算分离架构 StarRocks 湖仓一体 实时分析 Bitmap索引

分享一个 MySQL binlog 分析小工具

不在线第一只蜗牛

MySQL 数据库

保险科技行业需要用到堡垒机吗?哪些情况需要?

行云管家

网络安全 数据安全 堡垒机

我的代码出现幻觉?说好的a = 1; x = b,怎么成了x = b; a = 1?

poemyang

并发编程 多线程 有序性 Java并发编程

【2/100】英伟达没做到的事,国产的 HAMi 做到了!

霓漠Nimbus

nvidia k8s MLOps GPU容器虚拟化 AI Infra

豆包编程邀你来玩|一起来听「北大同学的 AI 玩学指南」

字节跳动终端技术

AI编程 豆包

开源能源管理系统:数字化时代能源安全与效能提升的核心引擎

开源能源管理系统

开源 能源管理系统

火山引擎DataAgent:AI完成从“数据洞察”到“自主行动”质变

火山引擎开发者社区

AI 火山引擎

“高并发”对于Python爬虫有多重要?反封控的底层逻辑在这!

kookeey代理严选

python 爬虫 高并发 海外IP 动态代理IP 静态住宅IP

聚力创新 智启未来:第四届中国PMO&PM大会,引领项目管理新航向

新消费日报

六个观点剖析FXTM富拓是不是一个合格卓越的经纪商

极客天地

建筑矿山设备工厂南京厂区能源管理升级:MyEMS 开源系统的实践与成效

开源能源管理系统

开源 智慧矿山 能源管理系统

速卖通商品详情API响应数据python解析

tbapi

速卖通API 速卖通商品详情接口 速卖通数据采集

Coze开源版?别吹了!

王磊

基于深度学习的YOLO框架的人脸表情检测识别系统【附完整源码+数据集】

程序员Geek

人工智能、

AI如何重塑芯片设计未来

qife122

半导体 芯片设计

MES系统赋能智能制造:看板管理、数据采集与过程优化

万界星空科技

mes 数据大屏 电子看板 生产管理软件 制造业转型

TRAE + Milvus MCP,现在用自然语言就能搞定向量数据库部署了!

火山引擎开发者社区

字节跳动 Trae

灵宝CASBOT亮相WAIC 2025,双新品发布诠释“人机共生”愿景

极客天地

速卖通商品详情API详解

tbapi

速卖通API 速卖通商品详情接口 速卖通数据采集

类似CrossOver的软件哪个最好用?苹果电脑除了虚拟机用什么软件能独立运行游戏?

凡凡不烦

虚拟机 Mac软件 CrossOver Mac下载 如何在Mac上运行win游戏

群聊记录太多怎么办? 用 TRAE + Chatlog MCP 实现微信群聊记录总结

火山引擎开发者社区

MCP Trae

Jarvis Agent高级主题

SkyFire

agent LLM Jarvis

微店商品列表API响应数据解析

tbapi

微店API 微店商品数据采集 微店商品列表接口

JetBrains TRAE 插件上线 cue 能力,立即体验

火山引擎开发者社区

Trae

恒星AI产品发布会盛大举行,开启AI影视创作新纪元

科技热闻

【1/100】好的软件通常自带最佳实践 - NVIDIA GPU Operator 篇

霓漠Nimbus

gpu nvidia MLOps K8s Operator AI Infra

Netflix发布Genie3_大数据_Dylan Raithel_InfoQ精选文章