抖音技术能力大揭密!钜惠大礼、深度体验,尽在火山引擎增长沙龙,就等你来! 立即报名>> 了解详情
写点什么

Qizmt:MySpace 的开源 MapReduce 框架

2009 年 9 月 18 日

MapReduce 是由 Google 提出并实现的编程模型,可利用大量机器所组成的集群处理或生成海量数据集。此外,由 Yahoo! 公司资助的 Hadoop 项目则是 MapReduce 的开源实现,在 Facebook 等大型应用中得到了广泛使用。而现在,MySpace 也将其 MapReduce 框架 Qizmt 开源了,可用于在大规模 Windows 集群上开发或运行分布式计算程序。

MySpace Qizmt 可用于各种分布式计算场景,例如:

  • 数据挖掘
  • 数据分析
  • 媒体处理
  • 内容索引

Qizmt 的主要功能有:

  • 使用 C#快速开发 MapReduce 任务。
  • 简单的“自己动手(Do-It-Yourself)”安装程序
  • 内置集成开发环境 / 调试器
    • 自动将堆分配标为红色
    • 为 MapReduce 任务的快速开发提供自动完成功能
    • 在目标集群中对 MapReduce 任务进行单步调试
  • 可在集群中的任意机器上:
    • 编辑任务
    • 调试任务
    • 执行任务
    • 管理任务
  • 为 MapReduce 任务提供“差值交换(Delta-only exchange)”选项
  • 可配置的数据冗余或机器级别的故障转移
  • 可轻易为集群增加机器以提高处理能力
  • 集群程序集缓存(Cluster Assembly Cache),用于将.NET dll 释放为 MapReduce 任务
  • 三种任务类型:
    • MapReduce - 用于对大规模数据进行基于集合的处理
    • 远程 - 用于不适合 MapReduce 模型的问题
    • 本地:- 用于组织一系列 MapReduce 和远程任务
  • 执行 MapReduce 过程中的三种数据交换方式
    • 排序 - 在集群中对键 / 值对进行排序
    • 分组 - 不将键 / 值对进行排序,而将它们发送到同一个归并器(reducer)中
    • 散列排序 - 排序随机数据的超快方式

MySpace Qizmt 项目现已发布于 Google Code ,支持装有.NET 3.5 SP1 的 Windows 2003 Server,Windows 2008 Server 及 Windows Vista 操作系统。

2009 年 9 月 18 日 14:423659
用户头像

发布了 157 篇内容, 共 45.3 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

快速理解二十三种设计模式(速记)

simon

设计模式 23种设计模式 Java设计模式

从“小众”到“首选”,推动云原生产业落地华为云作用几何?

华为云开发者社区

云计算 架构 容器

甲方日常 51

句子

工作 随笔杂谈 日常

JVM系列-java内存模型(JMM)

诸葛小猿

JMM Java内存模型 共享变量读写

权威报告发布:京东智联云首次参评即跻身机器学习卓越表现者阵营

京东科技开发者

人工智能 云计算 供应链

python+requests对app和微信小程序进行接口测试

测试人生路

Python 接口测试

五面进军饿了么!复盘总结11月上半月大厂面试真题,押题命中率高达95%以上

Java架构追梦

Java 阿里巴巴 架构 面试经历 面试题总结

在Android中使用DataBinding(Kotlin)

simon

android Android进阶 JetPack DataBinding 数据绑定

线程池运用不当的一次线上事故

AI乔治

Java 架构 高并发 线程池

transient关键字的作用以及几个疑问的解决

秦怀杂货店

序列化 反序列化 transient

Java反射说得透彻一些

秦怀杂货店

Java 反射 java反射

HTTP2服务器推送的第一次尝试

Gopher指北

golang HTTP2.0

排名前 16 的 Java 工具类

Bruce Duan

java工具类

Spring Boot 监听 Redis Key 失效事件实现定时任务

Bruce Duan

Redis监听 监听过期键

下笔如有神:这是一个基于营销行业的 AI 技术实践

京东科技开发者

人工智能 自然语言处理 nlp

亿级大表分库分表实战总结(万字干货,实战复盘)

比伯

Java 编程 程序员 架构 计算机

你还在使用迭代器删除集合数据,out了,Java 中函数removeIf 不香么

Geek_6f0746

Java JAVA集合 Java迭代器

普渡科技荣登甲子光年“2020中国最具商业潜力的20家机器人Cool Vendor”

DT极客

背后技术:双11还能创造什么?

阿里云情报局

人工智能 数据挖掘 大数据 科技

【涂鸦物联网足迹】涂鸦云平台标准指令集说明

IoT云工坊

人工智能 cpu 物联网 智能家居 指令集

刷Github时发现了一本阿里大神的算法笔记!标星70.5K

Java架构师迁哥

Mybatis【2.1】-- 从读取流到创建SqlSession发生了什么?

秦怀杂货店

数据库 mybatis SQLSession

Spring / Spring boot 异步任务编程 WebAsyncTask

Bruce Duan

异步任务编程 WebAsyncTask

anyRTC AI降噪|让声音更清晰

anyRTC开发者

人工智能 AI 音视频 WebRTC RTC

serialVersionUID作用是什么以及如何生成的?

秦怀杂货店

Java 序列化 serialVersionUID 反序列化

你以为只是简单的排序?(二)

书旅

go 数据结构与算法

完美!阿里P8仅用242页笔记,就由浅入深讲解了SQL概念

Java~~~

Java sql 阿里巴巴 SQL语法 sql查询

影响王兴的一本书

池建强

读书笔记 无限游戏 王兴

一次“诡异”的JVM缓存加载问题排查

AI乔治

Java 缓存 架构 JVM

记一次 Java 服务性能优化

AI乔治

Java 架构 性能优化 高性能

成年人的世界都不容易-看看做到年薪50万的程序员,到底有多累?

Java架构师迁哥

Study Go: From Zero to Hero

Study Go: From Zero to Hero

Qizmt:MySpace的开源MapReduce框架-InfoQ