用Apache Spark进行大数据处理 - 第六部分: 用Spark GraphX进行图数据分析

2017 年 5 月 30 日

本文要点

  • 学习图数据处理和分析
  • 用 Apache Spark GraphX 库进行图数据分析
  • 图类算法,如 PageRank、Connected Components 和 Triangle Counting
  • Spark GraphX 组件和 API
  • Spark GraphX 应用举例

这是“用 Apache Spark 进行大数据处理”系列文章的第六篇。其他文章请参考:第一部分:介绍第二部分:Spark SQL 第三部分:Spark Streaming 第四部分:Spark Machine Learning 第五部分:Spark ML Data Pipelines

大数据呈现出不同的形态和大小。它可以是批处理数据,也可以是实时数据流;对前者需要离线处理,需要较多的时间来处理大量的数据行,产生结果和有洞察力的见解,而对后者需要实时处理并几乎同时生成对数据的见解。

我们已经了解了如何将Apache Spark 应用于处理批数据(Spark Core)以及处理实时数据(Spark Streaming)。

有时候,所需处理的数据是很自然地联系在一起的。譬如,在社交媒体应用中,有Users、Articles 和Likes 等实体,需要把它们当作一个单独的数据逻辑单元来管理和处理。这类数据被称为图数据( Graph data )。与传统的数据处理相比,对图数据进行分析要用到不同类型的技术和方法。

原文链接:【 https://www.infoq.cn/article/apache-spark-graphx 】。未经作者许可,禁止转载。

登录后可解锁全站优质内容

免费畅享技术公开课、顶尖技术团队访谈、一线互联网大厂技术实践

文章
视频
电子书
研究报告
立即登录
2017 年 5 月 30 日 17:12 14512
用户头像

发布了 3 篇内容,共 71385 次阅读,收获喜欢 2 次。

关注

评论

发布
暂无评论
发现更多内容

TOGAF认证自学宝典

涛哥

架构 企业架构

平台化服务的基石:隔离与交互策略模型

孤岛旭日

企业架构 用户权限 权限系统

UML练习1-食堂就餐卡系统设计

一剑

架构师训练营第一周总结

Cloud.

极客大学架构师训练营

第一周架构师总结

不在调上

作业1 餐卡系统设计

Geek_2e7dd7

ARTS-week3

王钰淇

ARTS 打卡计划

随遇而安的适配器模式 | Spring 中的适配器

海星

Java spring 面试 设计模式 Java 25 周年

架构师训练营-第一周学习总结

zcj

极客大学架构师训练营

架构师训练营-第一周作业

zcj

极客大学架构师训练营

【架构师训练营】第一个周课程总结

Mr.hou

极客大学架构师训练营

架构师必备技能(灵魂拷问篇)

王鹏飞

架构师

ReentrantLock 公平锁和非公平锁源码分析

张sir

Java 多线程 Java 25 周年

区块链如何打通征信行业的“任督二脉”?

CECBC区块链专委会

CECBC 区块链技术 征信 数据共享

架构师训练营第1周作业——食堂就餐卡系统设计

在野

极客大学架构师训练营

食堂就餐卡系统架构设计

Cloud.

提高 TCP 性能的方法,你知多少?

小林coding

TCP 性能优化 高并发 网络

Facebook缓存技术演进:从单集群到多区域

伴鱼技术团队

架构 系统架构 分布式系统 缓存穿透 cache

第一周总结

芒夏

极客大学架构师训练营

系统梳理主流定时器算法实现的差异以及应用

奈学教育

定时器

系统梳理主流定时器算法实现的差异以及应用

古月木易

定时器

FPGA

Kevin Z

译-面向前端开发人员的Docker入门指南

费马

Docker Linux 容器 运维 前端

食堂打卡系统架构设计文档

Frank Zeng

架构师训练营-第1课总结-202006-架构设计

👑👑merlan

架构设计 UML #总结#

学习总结

Geek_2e7dd7

架构师训练营第一周学习总结

不谈

食堂就餐卡系统设计

王鹏飞

架构设计

架构师训练营第一周课堂学习总结

Frank Zeng

谈反应式编程在服务端中的应用,数据库操作优化,从20秒到0.5秒

newbe36524

C# Reactive netcore

架构师训练营第一周学习总结

jiangnanage

架构设计

用Apache Spark进行大数据处理 - 第六部分: 用Spark GraphX进行图数据分析-InfoQ