大数据与机器学习周报 第 12 期：谷歌在欧洲创建新的人工智能团队

大数据培训 Spark 数据倾斜问题的解决方法

​注意，要区分开数据倾斜与数据过量这两种情况，数据倾斜是指少数task被分配了绝大多数的数据，因此少数task运行缓慢；数据过量是指所有task被分配的数据量都很大，相差不多，所有task都运行缓慢_大数据培训。

Spark 数据倾斜解决方案

数据倾斜：就是数据分到各个区的数量不太均匀,可以自定义分区器,想怎么分就怎么分

Spark 数据倾斜解决

数据倾斜就是数据分到各个区的数量不太均匀,可以自定义分区器,想怎么分就怎么分。

QCon 北京：构建大数据生态需要哪些核心技术？

2016年QCon全球软件开发大会北京站为期三天的会议已圆满结束，参会者对整体内容设置及安排反馈良好。这里我们梳理出22号“大数据生态构建”厂商共建专场的重点演讲内容，为没能到现场聆听的小伙伴们奉上饱满的干货内容。

阿里用户数据洞察实践（下）

AutoML 最新进展：目前还不能满足“人机回圈”的需求

InfoQ专题小组探讨关于AutoML的最新进展。

2014 纽约机器学习会议集锦

机器学习会议于四月十一日（星期五）在纽约盛大召开。这是首次在纽约召开机器学习会议，这次会议取得了空前巨大的成功，以至于会议入场券很快就宣告售罄。会议一整天都围绕机器学习的话题展开，其中有相当一部分话题还涉及到了大数据以及如何大规模应用机器智能的问题。

Ember Data 之模型定义

前面在《Ember.js 项目开发之 Ember Data》介绍了Ember Data，本文将继续介绍模型的定义。

机器学习实践：基于支持向量机算法对鸢尾花进行分类

List item使用scikit-learn机器学习包的支持向量机算法，使用全部特征对鸢尾花进行分类。

21｜广告产品彩蛋：课程答疑与推荐书目

铛铛铛，三个彩蛋

大数据开发之如何用 Scala 进行 spark 开发

​1、开发第一个Spark程序 1)创建一个Spark Context 2)加载数据 3)把每一行分割成单词 4)转换成pairs并且计数

区块链 + 新基建：数字社会的四驾马车

区块链在内的“四驾马车”，如何推动数字社会的发展？

数据湖（二）：什么是 Hudi

Apache Hudi是一个Data Lakes的开源方案，Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi能够基于HDFS之上管理大型分析数据集，可以对数据进行插入、更新、增量消费等操作，主要目的是高效减少摄取过程中的数

Spark SQL 字段血缘在 vivo 互联网的实践

字段血缘可以很好的帮助我们了解数据生成的处理过程，在探索中我们发现了可以通过Spark的扩展来优雅的实现这一功能

开篇词 | 数据给你一双看透本质的眼睛

数据给你一双看透本质的眼睛，这里是《数据分析思维课》，我是郭炜。

Spark 未来趋势：为什么需要数据湖？

特征平台需求层次理论

本文是「算法工程化实践调研」系列的第 1 篇，翻译 Eugene Yan 的技术博客 Feature Stores - A Hierarchy of Needs [1]。

开篇词 | 入门 Spark，你需要学会“三步走”

通过“学、用、写”不断迭代的学习方式，我把零散的开发技巧归纳成了结构化的知识体系。

技术实践干货 | 初探大规模 GBDT 训练

本文是此前评估在 Spark 上做大规模 GBDT 训练时写的一篇入门级教程与框架评估。目前市面上似乎没有多少使用 Spark 来跑 GBDT 的分享，故分享出来看看是否有做过类似场景的同学可以一道交流。

数据湖应用解析：Spark on Elasticsearch 一致性问题

摘要：脏数据对数据计算的正确性带来了很严重的影响。因此，我们需要探索一种方法，能够实现Spark写入Elasticsearch数据的可靠性与正确性。