写点什么

谷歌 BigQuery 现在允许查询所有 GitHub 开源项目了

  • 2016-07-12
  • 本文字数:943 字

    阅读完需:约 3 分钟

谷歌 GitHub 宣布,谷歌BigQuery 现在为GitHub 上280 多万个托管开源项目提供了一个完整的快照。这让用户可以使用SQL 查询托管在GitHub 上的将近20 亿个开源文件。

GitHub 的 BigQuery 数据集以 GitHub Archive 项目为基础,该项目旨在获取 GitHub 特定时点的快照,以便存储用来进行进一步的分析。借助 GitHub 的 BigQuery 数据集,现在随时可以通过任意类似 SQL 的查询查询 GitHub Archive 项目的内容。

GitHub 开源项目经理 Arfon Smith 举了一个例子,新的 BigQuery 数据集可以用来找出哪个Go 程序包最常用,或者哪一所美国学校的开源贡献者最多。他还指出,总体上,该数据集还有利于研究人员研究开源社区或者最新的开发趋势。

谷歌开发大使Felipe Hoffa 另外添加了几个有关潜在用途的示例,比如找出使用给定开源库的每个项目,或者分析其使用方式,以便收集有用的数据,确定那个库的未来发展方向。

在Medium 上发表的一篇博文中,Hoffa 列出了一些由谷歌工程师及其他开发人员创建的查询。这些查询可以用来分析 Go 程序,找出最常用的Java 导入最常用的angular 指令以及最常用的emacs 程序包

GitHub 的 BigQuery 数据集包含大约 1.5TB 的数据,每小时自动更新。下面是基本的使用步骤:

谷歌每月免费提供 1TB 的数据处理,但是,正如谷歌开发大使给我们的提醒,在主数据集(bigquery-public-data:github_repos.contents)上执行一个查询就会用完这1TB 的免费数据。因此,他建议使用23GB 的官方摘录数据(bigquery-public-data:github_repos.sample_contents)或者谷歌提供的任意专注于流行语言的摘录数据,诸如Go、Ruby、JavaScript、PHP、Python 和Java。BigQuery 还可以用来创建自定义数据集,但在这种情况下,用户需要支付存储费用。

谷歌BigQuery 公共数据集是谷歌根据一项特别计划通过BigQuery 提供的一系列数据集,用户只需要为他们执行的查询付费,但不用为数据集存储付费。谷歌BigQuery 公共数据集提供的其他数据集包括美国人名、Hacker News 自2006 年以来的故事和评论、1029 年和2016 年之间的全球气候数据,等等。

查看英文原文 Google BigQuery Now Allows to Query All Open-Source Projects on GitHub

2016-07-12 19:004480
用户头像

发布了 1008 篇内容, 共 421.7 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

架构师第 7 课作业及学习总结

小诗

「架构师训练营第 1 期」

大作业二

饭桶

架构师第 13 课作业及学习总结

小诗

「架构师训练营第 1 期」

架构师第 10 课作业及学习总结

小诗

Dubbo微服务调用时序图

Andy

架构师第 5 课作业及学习总结

小诗

「架构师训练营第 1 期」

DAPP智能合约APP开发|DAPP智能合约软件系统开发

系统开发

数字货币合约交易系统软件APP开发

系统开发

架构师第 8 课作业及学习总结

小诗

「架构师训练营第 1 期」

架构师训练营第 1 期 - 第 13 周 - 学习总结

wgl

「架构师训练营第 1 期」

JVM 垃圾回收机制分析

Andy

架构师第 9 课作业及学习总结

小诗

「架构师训练营第 1 期」

大作业一

饭桶

第 12 周作业

Steven

极客时间 架构大作业,快递平台架构搭建

博古通今小虾米

极客时间 架构

大数据计算引擎Spark

积极&丧

Python 100 天从新手到大师

GitHub指北

接私活必备的 6 个开源项目

GitHub指北

软件架构设计实战

Andy

Prometheus官方文档【查询篇-运算符】

卓丁

Prometheus Monitor 监控告警 普罗米修斯 PromQL

大作业二

「架构师训练营第 1 期」

架构师第 11 课作业及学习总结

小诗

「架构师训练营第 1 期」

架构师第 12 课作业及学习总结

小诗

架构师训练营大作业

Cheer

十二周总结

水浴清风

重学JS | this的指向问题

梁龙先森

大前端 编程语言 28天写作

架构师训练营第 1 期 - 第 13 周 - 命题作业

wgl

「架构师训练营第 1 期」

「架构师训练营 4 期」 第二周 - 0201

凯迪

作业-第12周

arcyao

软件架构知识树

Andy

供应链产品溯源介绍

无誉

区块链 产品 电商 供应链 盘点2020

谷歌BigQuery现在允许查询所有GitHub开源项目了_开源_Sergio De Simone_InfoQ精选文章