写点什么

Netflix 发布 Genie3

  • 2017-07-16
  • 本文字数:946 字

    阅读完需:约 3 分钟

Genie 是一个分布式的 RESTful 架构的任务编排引擎,用于 Netflix 的数据平台。Genie 有两个主要使用场景:第一个是创建和提交自定义的数据处理任务请求,其次是设置本地环境来开发和测试在 Genie 集群上运行的新应用程序和任务。

Netflix 宣布 Genie3 支持几项新特性,包括对较早的任务执行引擎进行重新设计、增强安全功能、增加依赖关系缓存,同时API 也有更新。

Genie 引擎的早期版本不支持领导选举,导致工作节点不必要地执行相同的任务。现在,通过 Zookeeper 或手动配置属性设置单个节点的 IP 地址即可支持集群领导选举。早期版本中所有任务的单一运行脚本运行时间过长,无法满足安全隔离的要求,并降低了在项目扩张阶段项目维护者引入代码更改时隔离风险的能力。Genie3 引入新的方法,使用改进的数据模型来保证运行时间并实现了配置的模块化、描述性和版本化。

在 Genie3 中,任务由若干抽象过程组成,以确保可扩展性。应用程序的运行时间和可执行命令可以通过其API 进行配置。Genie 独立于特定运行时配置或待处理数据,生成Spark、Hadoop、Pig、Hive、PrestoDB 和Sqoop 等类型的应用程序运行脚本。作为开发人员,本地模式工作流能够为不同运行时生成运行脚本,同时还集成了REPL 和stdout 的底层实现以支持测试和开发。

Genie3 的 API 组件覆盖了 Genie 的全部功能。

集群 API、命令 API、应用 API 和作业 API 提供了操作 Genie3 所需的语义。集群 API 负责管理 Genie 的逻辑 worker 集群,不包括基础架构本身。集群 API 还协助管理集群相关的元数据、启动时 worker 集群的基准状态、可用于集群的命令和基准包的安装。从这一点来看它与 Puppet 或 Chef 类似,只是它专注于 Genie 应用程序命令在运行时所需的工作集群的特定安装包和配置。这样可以使应用程序在启动时更加灵活、不受限制,否则应用程序就需要在启动时下载并安装依赖包。

命令 API 的语义在底层应用程序上运行,并且必须指向特定应用程序,但允许定义自己的启动和运行时配置。

作业 API 允许 Genie 用户调度或执行一组命令,并跟踪有关作业执行状态的数据。Genie3 附带了用于 MySql、PostgreSQL 和 HSQLDB 的 JDBC 驱动程序,用于支持 Genie 及其 API 的存储配置。

Genie 3 还支持基于 OAuth2 X.509 公钥证书。

查看英文原文: Netflix Announces Genie 3

感谢张卫滨对本文的审校。

2017-07-16 18:423559
用户头像
蔡芳芳 InfoQ 总编辑

发布了 818 篇内容, 共 604.4 次阅读, 收获喜欢 2820 次。

关注

评论

发布
暂无评论
发现更多内容

技术升级,详解私有云轻运维模式

青椒云云电脑

私有云 云桌面

【ODPS新品发布第1期】DataWorks全新发布:增强分析/数据建模个人版等新能力

阿里云大数据AI技术

大数据 阿里云

奇点云:企业级数据基础设施的设计思路是“操作系统”

奇点云

AI 奇点云 数据云操作系统

D-SMART对接OceanBase4 看 OB的可观测性:值得夸赞的和要吐槽的都不少

DBAIops社区

DBAIops D-SMART

为什么工厂要部署私有云

青椒云云电脑

私有云

云电脑云手机相继亮相,传统PC会被淘汰吗?

青椒云云电脑

云电脑

财务共享中心进行数据服务应该从哪里入手?

用友BIP

财务共享

Canvas 低代码工具,多人自研开发全流程优化|ModelWhale 版本更新

ModelWhale

云计算 Jupyter Notebook canvas 数据驱动 在线编程

实施全面预算管理 健全企业内部控制

智达方通

内部控制 企业内部控制 全面预算管理 全面预算管理系统

企业直播为什么要选择私有云

青椒云云电脑

私有云 私有云平台

引领PC行业大步向前,英特尔做了哪些努力?

E科讯

用户指南系列 | 使用 Greptime 官方工具高效地进行 PromQL 查询

Greptime 格睿科技

数据库 软件 云原生

低代码:简化开发流程,提高工作效率

树上有只程序猿

低代码 应用开发 JNPF

Footprint Analytics 与 Xterio 携手合作,将推动 Web3 游戏领域的数据驱动革命

Footprint Analytics

区块链 web3

用友BIP资产云携手洋井石化,打造行业领先的智慧资产管理系统

用友BIP

资产云

华为云ROMA Connect亮相Gartner®全球应用创新及商业解决方案峰会,助力企业应用集成和数字化转型

云计算 华为云 峰会

华秋亮相第五届模拟半导体大会,助力电子行业高质量发展

华秋电子

PCB

程序设计之——手把手教你如何从Excel文件中读取学生信息

飞算JavaAI开发助手

吃货大作战!华为Mate 60负一屏点外卖每天狂送优惠!

最新动态

私有云厂商怎么选?私有云三大技术盘点

青椒云云电脑

私有云 私有云厂商

【重磅】《中台技术财务应用蓝皮书》正式发布

用友BIP

智能财务

鸿蒙开发套件之DevEco Profiler助您轻松分析应用性能问题

HarmonyOS开发者

HarmonyOS

告别烟囱式建设,DT时代同样需要操作系统

极客天地

倒计时7天!2023 PRO_大会:这些PRO,如“7”而至!

ToB行业头条

ARTS-WEEK5-23.9.11~23.9.17

Echo!!!

Netflix发布Genie3_大数据_Dylan Raithel_InfoQ精选文章