大数据

关注
收录了大数据频道下的 2990 篇内容
大数据无论在现在还是未来,都是企业和技术人关注的焦点。讲述获取、存储、管理、分析的方方面面,关注软件、实践、生态,挖掘最新的前沿技术,同时也思考大数据与AI和云计算的深度结合。
  • 全部
  • 文章
  • 视频
  • 话题
  • 电子书
Kafka降本实用指南
Kafka 降本实用指南

节省的成本是非常可观的。

企业需要关注的零信任 24 问
企业需要关注的零信任 24 问

在产业数字化升级与业务上云的趋势下,传统企业保护边界逐渐被瓦解,企业被攻击面大幅增加,零信任这一网络安全的理念受到更多的关注,国内外围绕零信任展开大量的研究和实践。

OLAP进阶:Excel可直接分析的大数据语义层
OLAP 进阶:Excel 可直接分析的大数据语义层

如何在异构化、割裂化严重的大数据平台上解决数据孤岛的挑战,并支持丰富的 OLAP 分析能力和进阶分析功能,如可计算度量、多对多关系?

WAIC|高精准、低成本,九章云极DataCanvas突破AutoML难题
WAIC|高精准、低成本,九章云极 DataCanvas 突破 AutoML 难题

在上海世博中心拉开帷幕。WAIC·AI 开发者论坛”,并发表“Hypernets:自动化机器学习的基础框架”主题演讲。

别再把数据当作商品了
别再把数据当作商品了

为什么 87% 的机器学习应用项目从未进入生产阶段?

基于Data Mesh构建分布式领域驱动架构的最佳实践
基于 Data Mesh 构建分布式领域驱动架构的最佳实践

在数据平台团队的推动下,我们彻底地重新思考了组织内的数据使用情况。

那些数据工作中的角色
那些数据工作中的角色

数据工作中有一类非常重要的角色,那就是数据分析师。

Rego 不好用?用 Pipy 实现 OPA
Rego 不好用?用 Pipy 实现 OPA

还不知道 Pipy 是什么的同学可以先看下简介:是一个轻量级、高性能、高稳定、可编程的网络代理。库。

无需扩容成本,百亿集群数据过期性能优化看这就行
无需扩容成本,百亿集群数据过期性能优化看这就行

某百亿级 mongodb 业务只保存近期 7 天的数据,由于数据量大、流量高,数据过期删除点比较集中,同时不能错峰方式解决问题,因此如何利用最小物理成本来满足业务需求就成为了本集群性能优化的难点。

唯品会亿级数据服务平台落地实践
唯品会亿级数据服务平台落地实践

本文主要介绍唯品会自研数据服务 Hera 的相关背景、架构设计和核心功能。

带你一起解读企业架构的过去、现在与未来 | InfoQ大咖说
带你一起解读企业架构的过去、现在与未来 | InfoQ 大咖说

本次分享,就会从当前数字化与平台的趋势和挑战出发,引出并介绍企业架构概念、发展历史以及经典企业架构的困境。

Mozilla怒喷当前推荐系统技术:算法“陈旧弱智”,效果非常糟糕!
Mozilla 怒喷当前推荐系统技术:算法“陈旧弱智”,效果非常糟糕!

显示出来的结果只是“冰山的一角”,其中每项发现都值得进一步跟踪并做出深刻剖析。

网易严选 x 网易有数:数据产品+数据中台双引擎模式实践
网易严选 x 网易有数:数据产品 + 数据中台双引擎模式实践

严选通过商品数据运营平台、营销数据运营平台、移动数据工作台和供应链数据运作平台等 4 种数据产品驱动全链路的业务。

透过数字化转型再谈数据中台(四):数据中台不是买来的,是干出来的
透过数字化转型再谈数据中台(四):数据中台不是买来的,是干出来的

本文是系列文章中的第四篇,主要分享数据中台组织结构的一些探索。数据中台不是买来的,是干出来的。

算法在哈啰顺风车中的实践应用
算法在哈啰顺风车中的实践应用

如果科技让出行更美好,可以推动出行的进化,那么 AI 算法模型的应用,就是其中一个最大的推动力。

架构师(2021年7月)架构师(2021年7月)
架构师(2021 年 7 月)

本期推荐内容:京东云靠什么撑起 618 大促?后 Hadoop 时代,大数据分析路在何方?Data Mesh,数据架构的下一个变革!

你做的数据运营,90%都是无用功
你做的数据运营,90% 都是无用功

在过去 20 年时间,零售在国内市场发生了很大的变化。

如何高效实现图片搜索?Dropbox的核心方法和架构优化实践
如何高效实现图片搜索?Dropbox 的核心方法和架构优化实践

在这篇文章中,我们将基于机器学习中的技术描述图像内容搜索方法背后的核心思想,然后讨论如何在 Dropbox 现有的搜索基础架构上构建高效的实现。

减少传统数据湖带来的混乱,Intuit如何构建数据网格策略?
减少传统数据湖带来的混乱,Intuit 如何构建数据网格策略?

本文接下来将带你全面了解我们的愿景、内在挑战以及在 Intuit 构建更好的数据驱动系统的策略。你可以将其视为通过 Intuit 视角形成的数据网格。

1年将超过15PB数据迁移到谷歌BigQuery,PayPal的经验有哪些可借鉴之处?
1 年将超过 15PB 数据迁移到谷歌 BigQuery,PayPal 的经验有哪些可借鉴之处?

这是我们在 Google Cloud Platform 上长期旅程的第一步。

京东实时计算架构演进之路
京东实时计算架构演进之路

随着公司高速发展,数据体量的改变对于技术的选型也是不断进行变更的。

京东618实时数据大屏核心技术解密
京东 618 实时数据大屏核心技术解密

618 用户下单,大屏上如何能够做到实时、准确的统计呢?

MySQL进阶垫脚石:线程长时间处于killed状态怎么破?
MySQL 进阶垫脚石:线程长时间处于 killed 状态怎么破?

MySQL 中使用 kill 命令去杀死连接时,如果使用 show processlist 会发现线程会处于 killed 状态一段时间,而不是立即杀掉。

数据湖 VS  数据仓库,哪个更好用?
数据湖 VS 数据仓库,哪个更好用?

本文对比了数据仓库和数据湖这两个大数据存储和处理中的不同概念,分别从定义、特点和应用方面比较了它们之间的差异,方便你在业务中作出正确的选择。

2021年,就业市场增速放缓的数据科学行业,还有多少“钱“景?
2021 年,就业市场增速放缓的数据科学行业,还有多少“钱“景?

浅析数据科学就业市场的现状与“钱”景。

这300条数据变更,引发了十亿级核心集群的罢工惨案!
这 300 条数据变更,引发了十亿级核心集群的罢工惨案!

本文通过分享本次踩坑来分享整个故障经过,该故障为一次经典的 mongodb 分片 sharding 集群踩坑故障,包括变更通知不到位、部署架构不到位、变更考虑不仔细等。

保姆级教程:滴滴如何基于开源引擎,打造自主可控服务体系
保姆级教程:滴滴如何基于开源引擎,打造自主可控服务体系

滴滴基于开源引擎搭建大数据基础设施,始于数据驱动业务运营与商业决策的 BI 需求,随着实时数据流量达到百 MB/S,存储达到 PB 级,开源数据引擎的服务运营会遇到各种各样的稳定性、易用性、运维友好性挑战。

亚马逊云科技推出“智能湖仓”架构,在中国区域半年新增近40项相关服务及特性
亚马逊云科技推出“智能湖仓”架构,在中国区域半年新增近 40 项相关服务及特性

亚马逊云科技“智能湖仓”架构,为解决客户现实挑战而生,为处理复杂场景而设计。2021 年 6 月 24 日,亚马逊云科技针对数据及数据分析等服务持续发力,推出引领大数据未来的“智能湖仓”架构,成为云计算领域红极一时的创新应用。

  • 用户头像
    关注

    InfoQ编辑

  • 用户头像
    关注

    InfoQ高级编辑

  • 用户头像
    关注

    InfoQ高级编辑

    自研分布式数据库 OceanBase 对 HTAP 的探索
    自研分布式数据库 OceanBase 对 HTAP 的探索

    潘毅 | 蚂蚁集团 资深技术专家

    立即下载
    美团点评下一代全栈监控

    尤勇 | 美团点评 研究员

    立即下载
    顺丰科技架构升级之路

    刘潭仁 | 顺丰科技 架构委员会负责人

    立即下载