大数据

关注
收录了大数据频道下的 2853 篇内容
大数据无论在现在还是未来,都是企业和技术人关注的焦点。讲述获取、存储、管理、分析的方方面面,关注软件、实践、生态,挖掘最新的前沿技术,同时也思考大数据与AI和云计算的深度结合。
  • 全部
  • 文章
  • 视频
  • 话题
  • 电子书
同程旅行大数据集群在 Kubernetes 上的服务化实践
同程旅行大数据集群在 Kubernetes 上的服务化实践

本文介绍了同程旅行大数据集群在 Kubernetes 上服务化建设的一些实践和经验。

爱奇艺大数据生态的实时化建设
爱奇艺大数据生态的实时化建设

数据作为互联网时代的基础生产资料,在各大公司企业拥有举足轻重的地位。

干货 | 百万QPS,秒级延迟,携程基于实时流的大数据基础层建设
干货 | 百万 QPS,秒级延迟,携程基于实时流的大数据基础层建设

canal 是阿里巴巴开源的 Mysql binlog 增量订阅和消费组件,在业界有非常广泛的应用。

流数据并行处理性能比较:Kafka vs Pulsar vs Pravega
流数据并行处理性能比较:Kafka vs Pulsar vs Pravega

当高性能遇上并行性

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目
DolphinScheduler 正式毕业,成为 Apache 软件基金会顶级项目

4 月 8 日,Apache 基金会官方宣布 Apache DolphinScheduler 项目正式毕业,成为 Apache 顶级项目。

通俗易懂数仓建模—Inmon范式建模与Kimball维度建模
通俗易懂数仓建模—Inmon 范式建模与 Kimball 维度建模

在数据仓库领域,有两位大师,一位是“数据仓库”之父 Bill Inmon,一位是数据仓库权威专家 Ralph Kimball,两位大师每人都有一本经典著作,Inmon 大师著作《数据仓库》及 Kimball 大师的《数仓工具箱》,两本书也代表了两种不同的数仓建设模式!

vivo AI计算平台的监控高可用方案
vivo AI 计算平台的监控高可用方案

本文主要分享了 VContainer 的监控高可用方案的选型和部署实践,以及各种踩坑经验。

Apache Kylin 在有赞的高性能运维实践
Apache Kylin 在有赞的高性能运维实践

有赞科技的郑生俊来分享 Apache Kylin 在有赞的高性能运维实践

MLSQL 一分钟让 Kylin 装备 ETL 能力!
MLSQL 一分钟让 Kylin 装备 ETL 能力!

在本次分享中,祝威廉演示了如何在 Kylin 中快速完成数据处理,用户不用离开 Kylin 即可完成大规模数据分析整个 Pipeline,同时也分享了未来 Kylin 和 MLSQL 之间联动的更多可能性。

OPPO数仓与数据湖融合架构升级的实践与思考
OPPO 数仓与数据湖融合架构升级的实践与思考

对话 OPPO 鲍永成:没有完备的数据体系,空谈湖仓之争没意义

“通才架构师”的消亡:从无到有,再到上百万个框架
“通才架构师”的消亡:从无到有,再到上百万个框架

大多数技术人员都只对其中核心的 7 到 8 个东西非常了解。

实时数据仓库的发展、架构和趋势
实时数据仓库的发展、架构和趋势

随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀,业界最近几年就一直聚焦并探索于两个相关的热点问题:实时数仓建设和大数据架构的批流一体建设。

熵简科技在投研数智化建设中的思考与实践
熵简科技在投研数智化建设中的思考与实践

大数据时代,如何充分利用起各种数据资源,通过大数据及 AI 的技术手段搭建起一套智能化的投资研究平台,成为广大金融资管机构的迫切需求。

Yelp故障转移策略的实现
Yelp 故障转移策略的实现

讲述 Yelp 工程师如何协调其流量故障转移流程,并在可靠性、性能和成本效率之间实现微妙平衡的故事。

一年追回超200亿, 打击医保欺诈骗保行为,有了AI新“武器”
一年追回超 200 亿, 打击医保欺诈骗保行为,有了 AI 新“武器”

医保智能监控正在成为打击欺诈骗保战役中的有力“武器”。

干货 | 实时数据聚合怎么破
干货 | 实时数据聚合怎么破

实时数据分析一直是个热门话题,需要实时数据分析的场景也越来越多,如金融支付中的风控,基础运维中的监控告警,实时大盘之外,AI 模型也需要消费更为实时的聚合结果来达到很好的预测效果。

B站二次上市,研发再投48亿港元,将重点聚焦哪些技术?
B 站二次上市,研发再投 48 亿港元,将重点聚焦哪些技术?

关于 B 站在 AI、大数据、云、信息技术上的投入和进展。

基于Horovod on Ray的弹性深度学习
基于 Horovod on Ray 的弹性深度学习

如今已经是 2021 年,深度学习领域出现了很多变化。因此,我们不得不重新审视现有的深度学习平台,以适应不断增长的需求和新的要求。

BenchSci 通过 Google Cloud 帮助制药公司交付新药
BenchSci 通过 Google Cloud 帮助制药公司交付新药

每个初创企业都应该有一个崇高的目标,即使他们不能 100%地确定自己将如何实现目标。是一家加拿大生物技术初创公司,其使命是帮助科学家将新药研发速度提高 50%。

矩阵元获批“上海市分布式隐私人工智能技术创新中心”
矩阵元获批“上海市分布式隐私人工智能技术创新中心”

增强科技创新中心策源能力的意见》,推进重点产业领域技术创新,经专家评审论证,确定将“上海市特种数控装备技术创新中心”等 18 家技术创新中心列入 2020 年度上海市技术创新中心建设立项计划。

物联网及电子交易的实时BI分析场景探讨
物联网及电子交易的实时 BI 分析场景探讨

本文将基于实时数据可视化软件 Altair Panopticon 与大家共同探讨物联网及电子交易的实时 BI 分析场景。

畅想数据湖

大家好,我是一哥,周末有读者私聊我咨询了一些问题,遂想起了之前看过的一些关于数据湖的知识,下面是基于之前的所见和自己的思考而成文。

我,大厂离职,拿着千万美元融资搞了个近乎全是程序员的公司
我,大厂离职,拿着千万美元融资搞了个近乎全是程序员的公司

大厂干得好好的却离职自己做,创业对这个技术宅而言到底有什么吸引力?

MySQL 数据实时同步到 Elasticsearch的技术方案选型和思考
MySQL 数据实时同步到 Elasticsearch 的技术方案选型和思考

本文具体探讨 MySQL 数据实时同步到 Elasticsearch 的技术方案和思考,同时使用一定篇幅介绍一些前置知识,从理论到实践,让读者更好地理解这块内容和相关问题。

OCR技术在爱奇艺的应用实践及演进
OCR 技术在爱奇艺的应用实践及演进

结合目前的业务需求,说说爱奇艺在探索中遇到的痛点和难点以及识别技术中的一些细节。

Flink集成Iceberg在同程艺龙的实践
Flink 集成 Iceberg 在同程艺龙的实践

本文将分享同程艺龙将 Flink 与 Iceberg 深度集成的落地经验和思考。

独家专访抖音春晚互动总指挥:如何做到27天成功交付?| 顶尖技术团队访谈
独家专访抖音春晚互动总指挥:如何做到 27 天成功交付?| 顶尖技术团队访谈

本期,InfoQ 走进抖音春晚红包支持团队,了解扛起 703 亿红包互动总数和累计 12.21 亿春晚直播间观看人次的抖音背后的技术平台和研发团队。

分布式任务 + 消息队列框架 go-queue

在业务开发中我们经常会遇到消息队列和异步任务,本文介绍如何通过 go-queue 实现基于 kafka 的有保障消息队列和基于 beanstalkd 的分布式延迟任务系统。

  • 用户头像
    关注

    InfoQ编辑

  • 用户头像
    关注

    InfoQ高级编辑

  • 用户头像
    关注

    InfoQ高级编辑

    基于DOM 的可协作幻灯片编辑器架构模式
    基于DOM 的可协作幻灯片编辑器架构模式

    刘怡年 | 石墨文档 幻灯片技术负责人

    立即下载
    10 道大厂面试必考 Linux 性能优化题

    倪朋飞 | 微软首席软件开发经理,Kubernetes 项目维护者 《Linux 性能优化实战》专栏作者

    立即下载
    如何利用深度学习提高高精地图生产的自动化率

    邹亮 | DeepMap 技术总监

    立即下载