谷歌发布可在Hadoop中运行原生代码的C语言版本MapReduce开源框架-InfoQ

谷歌上周宣布发布C 语言版本的MapReduce 开源框架 MR4C ，利用该框架开发者可以在 Hadoop 框架中运行原生代码。

MR4C 框架将原生开发算法的性能和灵活性与 Hadoop 执行框架的可扩展性和生产力相结合。该项目的目标是抽象化 MapReduce 框架的细节，让用户将精力集中在开发定制化算法之上。

该框架最初由 Skybox 团队开发，用于卫星图像处理和地理空间数据科学的用例。该团队希望既能利用用 C 和 C++ 语言开发的图像处理库又能利用适于可扩展数据处理的 Hadoop 框架的作业跟踪和集群管理能力。

在 MR4C 中，算法存储在原生共享对象中，这些对象通过本地文件或统一资源标识符（URI）访问数据。输入 / 输出数据集、运行时参数和外部函数库都通过 JavaScript 对象表示法（JSON）文件进行配置。映射器分裂和资源分配可以用基于 Apache YARN （适用于 Hadoop v2）的工具配置或在集群层级配置（适用于 MapReduce v1（MRv1））。多个算法的工作流可以通过自动生成的配置连接在一起。该框架还支持用 Hadoop JobTracker 接口浏览日志回调和过程报告。而且还可以用与目标 Hadoop 集群所用的相同接口在本地机器上对工作流进行测试。关于这个框架更多详细信息，可以从 MR4C GitHub网站上检出该框架的相关文档和源码。如果有兴趣参与到项目中，MR4C 团队已经创建了一个网页来帮助项目贡献者。

查看英文原文： Google Open Sources MapReduce Framework for C to Run Native Code in Hadoop

发布

暂无评论

实战演练（六）：集成 ELK Stack 日志套件
2020 年 5 月 21 日
大数据架构：大数据技术架构的思想和原理是什么？
面对如此庞大的数据，如何存储，如何利用大规模的服务器集群处理计算大量的数据，就是大数据技术的核心关键。
2020 年 2 月 3 日
MapReduce
大数据
2020 年 9 月 2 日
在 GPU 上运行 Hadoop 任务？ParallelX 或许将带来更多帮助
在面对大规模计算密集型算法时，MapReduce范式的表现并不总是很理想。为了解决其瓶颈，一支小型创业团队构建了名为ParallelX的产品——它将通过利用GPU的运算能力，为Hadoop任务带来显著的提升。预计ParallelX将在近期公布一些数据及白皮书。
AWS DevOps 架构
来自 Amazon、Cloudera、Microsoft 与 IBM 的 Hadoop-as-a-Service
如今，公司越来越多地依赖大数据进行决策。Amazon、Cloudera和IBM都发布了它们的Hadoop-as-a-Service产品，Microsoft的类似产品也将在明年问世。
IBM 微软 AWS 云计算 DevOps 大数据架构 AI
十二周总结
本周主要学习HDFS、MapReduce编程模型以及yarn、spark框架。大数据生态的发展是基于Google发布的三驾马车论文“Google File System”、“Google MapReduce”以及“BigTable”；这三篇论文对应的开源实现分别为Hdfs、MapReduce以及Hbase。
2021 年 1 月 10 日
第十三周总结
Spark特点
2020 年 12 月 20 日
第十三周学习笔记
Spark特点
2020 年 12 月 20 日
Hadoop 安装配置
大数据专栏系列文章: 本章介绍 hadoop 的环境安装
2021 年 1 月 10 日
架构师训练营 - 学习总结 - 第十三讲
Spark
2020 年 9 月 9 日
流式计算的代表：Storm、Flink、Spark Streaming
实时处理最大的不同是这类数据跟存储在HDFS上的数据不同，是实时传输的，这类大数据的实时处理系统也叫大数据流计算系统。
2018 年 12 月 1 日
Arun Murthy 谈 Apache YARN
Apache Hadoop YARN是一种新的Hadoop资源管理器，前不久被提升为高层次的Hadoop子项目。InfoQ有幸在Hortonworks与YARN的创始人和架构师Arun Murthy进行了讨论。
Apache 语言 & 开发架构
SubstrateVM：AOT 编译框架
SubstrateVM的设计初衷是提供一个高启动性能、低内存开销，和能够无缝衔接C代码的Java运行时。它是一个独立的运行时，拥有自己的内存管理等组件。
2018 年 10 月 12 日
Apache Hadoop 1.0.0 支持 Kerberos 验证，支持 Apache HBase，提供针对 HDFS 的 RESTful API
无
DevOps 大数据语言 & 开发架构 AI
第十三周数据应用 (二)
Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架, 专门用于大数据量下的迭代式计算。
2020 年 12 月 20 日
深入对比 Spark 与 Flink：帮你系统设计两开花
Spark和Flink都在某种程度上统一了批处理和流处理，那么它们都有哪些异同点呢？
2019 年 6 月 5 日
Hadoop 及其发行商的未来
Hadoop诞生十多年间，其生态圈逐渐兴盛又衰落，围绕其生态圈又诞生了诸多企业，而亚马逊却最终成为最大的受益者。
2018 年 3 月 12 日
架构师训练营 - 学习笔记 - 第十二周
大数据与 Hadoop, HDFS
2020 年 9 月 1 日
week 13 总结
Spark特点
2020 年 9 月 9 日
Apache Hadoop 机器学习引擎 Submarine 及生态 | QCon
中。进行模型的在线推测和模型增量更新。的生态系统。中进行离线模型训练。项目主干分支，让你可以零开发成本的搭建自己的机器学习开发平台。
QCon AI 机器学习 Hadoop

发现更多内容

创作场景

谷歌发布可在 Hadoop 中运行原生代码的 C 语言版本 MapReduce 开源框架

评论

万字多图 | UML 入门指南

用AI「驯服」人类幼崽，手头有娃的可以试试

区块链十年与传统金融的变化

不同公司产品经理岗位对比

在数据分析、挖掘方面，有哪些ETL工具值得推荐？

公安指挥中心大屏可视化系统开发，情报研判分析平台建设

一文带你探究Sentinel的独特初始化

初识ClickHouse——安装与入门

iOS性能优化 — 五、App启动优化

『CDN』让你的网站访问起来更加柔顺丝滑

我在极客时间录课的故事（一）：从源码管理聊到一体化学习环境

当音乐学博士搞起编程...

即构小程序直播组件集成教程

为什么我认为 Deno 是一个迈向错误方向的 JavaScript 运行时？

「产品经理训练营」第一章作业

一文解析DDD中台和微服务设计

Volcano架构设计与原理介绍

物流快递公司APP架构设计

敏捷里为何倡导固定迭代周期？

DevSecOps安全检查清单

矿机挖矿APP系统模式开发平台

架构师训练营第十三周作业

来不及解释！Linux常用命令大全，先收藏再说

“反垄断”来袭，对产业区块链有什么启发

区块链科普系列：区块链是什么？

面试官：你真的了解Redis分布式锁吗？

自动量化搬砖套利交易机器人系统软件APP开发

生产者与消费者模式，数组阻塞队列（ArrayBlockingQueue）

架构师训练营W13作业

4大应用场景，16张高阶布局大屏，最具价值的数据可视化都在这里！

特斯拉自建ERP的背后

创作场景

谷歌发布可在 Hadoop 中运行原生代码的 C 语言版本 MapReduce 开源框架

评论

更多内容推荐

推荐阅读

电子书

大厂实战PPT下载