年终盛会：QCon 上海站将于 12 月举办，拟邀请 70 位嘉宾前来分享！>>> 了解详情 



 写点什么

大数据清洗

收录了大数据清洗频道下的 50 篇内容

大数据挖掘更多时间都在于清洗数据

编者按：本文作者汪榕曾写过一篇文章：《以什么姿势进入数据挖掘会少走弯路》，是对想入行大数据的读者的肺腑之言，其中也表达了作者的一些想法，希望大家不要随便去上没有结合业务的收费培训班课程；而后，他有了结合他本人的工作经验，写一系列帮助大家进行实践学习课程文章的想法，InfoQ也觉得这是件非常有意义的事情，特别是对于大数据行业1-3年工作经验的人士，或者是没有相关工作经验但是想入行大数据行业的人。课程的名称是“数据挖掘与数据产品的那些事”，目的是：1. 引导目标人群正确学习大数据挖掘与数据产品；2. 协助代码能力薄弱的学习者逐渐掌握大数据核心编码技巧；3. 帮助目标人群理解大数据挖掘生态圈的数据流程体系；4. 分享大数据领域实践数据产品与数据挖掘开发案例；5.交流大数据挖掘从业者职业规划和发展方向。这系列文章会在InfoQ上形成一个专栏，本文是专栏的第三篇。

作者 : 汪榕

2017-01-10

8709

复盘 1：直播大数据采集（一期）

因为在直播公司的缘故，所以会涉及很多直播相关的业务。

作者 : Jim Tang

2020-01-06

机器学习在美团配送系统的实践：用技术还原真实世界

本文来自美团点评技术文章系列。

作者 : 美团技术团队

2020-02-27

又来抢大数据饭碗？AWS 发布 SageMaker：省略数据清洗、建模、调参等步骤

美国拉斯维加斯时间2017年11月29日上午，AWS CEO Andy Jassy在一年一度的AWS re:Invent大会上发布了主题演讲。在短短两小时内，Andy宣布了一系列令人兴奋的新服务。其中最重要的包括一款售价249美元的、名为DeepLens的人工智能摄像机；一套用于开放并部署机器学习算法的SageMaker平台；外加实时视频识别、文字翻译等多项应用层服务。

作者 : Vincent蔡芳芳

2017-11-30

1993

利用 AWS GreenGrass ML Inference 为你的物联网赋予智能

想对产线做预防性维护减少停机？想在门口的智能门铃上自动判断出现的人是不是家人？

作者 : 亚马逊云科技 (Amazon Web Services）

2019-10-21

一篇文章说清楚如何提升大数据质量

数据质量问题不仅仅是一个技术问题，它也可能出现在业务和管理的过程中。要想提高数据质量，就必须懂行业、懂组织、懂业务。

作者 : 苏槐

2020-04-13

5944

经典大数据架构案例：酷狗音乐的大数据平台重构

本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典，而这篇讲解了对原来的架构上进行重构的工作内容，总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。

作者 : 王劲

2016-01-14

26364

突破 MySQL 三大技术瓶颈，分布式数据库在翼鸥教育中的技术实践

数据库选型时有哪些考量因素？

作者 : 刘江策划: 李冬梅

03-01

有关数据治理的本质及实践，看这一篇就够了

本篇文章就结合龙石数据的理论研究和实践经验，帮助大家揭开数据治理的面纱。

作者 : 苏槐策划: 蔡芳芳

2019-08-14

4902

Hadoop 怎么了，大数据路在何方

本文以Hadoop的盛衰变化为楔子聊下大数据分析的发展现状和未来趋势。

作者 : 姚延栋

2020-05-12

苏宁 11.11：基于 Apache Ignite 日均十亿数据对账实践应用

遵循避免重复开发、抽象共通规则、建设专职系统的思路，苏宁内部很早就开发实施了一套数据对账开放平台（以下简称为“对账平台”）并得到良好应用。

作者 : 蒋旭曦任道亮

2018-11-12

6149

苏宁基于 Spark Streaming 的实时日志分析系统实践

目前业界基于 Hadoop 技术栈的底层计算平台越发稳定成熟，计算能力不再成为主要瓶颈。多样化的数据、复杂的业务分析需求、系统稳定性、数据可靠性，这些软性要求，逐渐成为日志分析系统面对的主要问题。2018 年苏宁易购践行双线融合模式，提出了智慧零售的大战略，其本质是数据驱动，为消费者提供更好的服务，苏宁日志分析系统作为数据分析的第一环节，为数据运营打下了坚实基础。

作者 : 王富平

2018-03-12

6112

高技能人才或是未来 5-10 年大数据发展的最大瓶颈

是什么使大数据充满挑战，我们应如何解决这些问题？

作者 : Gary Cheung 译者: MQ 策划: 刘燕

2019-10-26

5498

明略数据杨威：借助新技术为金融行业实现高效数据变现

金融行业一直以其特殊的行业属性与业务需求区别于其他传统行业，而在大数据应用方面，金融行业同样也是如此。从建立金融大数据平台的角度来看，其既具有其他传统行业的普遍需求，同时又在其他行业需求不明显的方面要求颇为严格，这自然就为金融企业大数据平台的建立带来了很多困难。那么到底该如何满足金融行业大数据业务需求，并克服种种技术难题，最终建立起能够促进金融企业实现高效数据变现的大数据平台呢？明略数据作为主要面向传统行业的大数据平台供应商，在金融行业中同样具备丰富的技术经验，为此InfoQ对明略数据产品经理杨威进行了独家专访。

作者 : 刘羽飞

2015-07-29

1132