大数据

关注
收录了大数据频道下的 10390 篇内容
讲述数据获取、存储、管理、分析的方方面面,关注软件、实践、生态,挖掘最新的前沿技术,同时也思考大数据与AI和云计算的深度结合。
  • 全部
  • DataOps
  • 数据集成
  • DataMesh
  • 数据编织
  • 数据湖仓
  • 在离线混部
  • 实时计算
  • 其他
  • 全部
  • 文章
  • 视频
  • 话题
  • 电子书
Vike发布Photon平台,搭载新一代JavaScript部署基础设施并集成Cloudflare服务
Vike 发布 Photon 平台,搭载新一代 JavaScript 部署基础设施并集成 Cloudflare 服务

Vike 推出 Photon,这是一个可以在任何平台上部署 JavaScript 服务器的下一代基础设施。Photon 标志着开发人员在服务器部署与集成方式上的重大转变。

超载保护:平台工程缺失的支柱
超载保护:平台工程缺失的支柱

在平台工程中,过载保护经常被忽视,导致团队创建不一致的、脆弱的修复程序。集中的速率限制、配额、自适应控制和清晰的可见性为服务提供了可预测的方式来处理流量峰值、减少可靠性债务并防止跨系统的级联故障。

颠覆认知!MongoDB存储引擎WiredTiger是一种“特殊B + tree”
颠覆认知!MongoDB 存储引擎 WiredTiger 是一种“特殊 B + tree”

颠覆认知!MongoDB 存储引擎 WiredTiger 是一种“特殊 B + tree”

腾讯云 MongoDB 备份回档功能矩阵:物理回档500G 数据 1 小时级、按Key闪回万条记录秒级恢复
腾讯云 MongoDB 备份回档功能矩阵:物理回档 500G 数据 1 小时级、按 Key 闪回万条记录秒级恢复

腾讯云 MongoDB 备份回档功能矩阵:物理回档 500G 数据 1 小时级、按 Key 闪回万条记录秒级恢复

腾讯云 MongoDB 精细化限流:1% 损耗 + 动态规则管控,多租户场景必备
腾讯云 MongoDB 精细化限流:1% 损耗 + 动态规则管控,多租户场景必备

腾讯云 MongoDB 精细化限流:1% 损耗 + 动态规则管控,多租户场景必备

“最悲伤的结局”?IBM豪掷110亿收购Confluent:Kafka开源焦虑升级,Flink流计算或成最大赢家
“最悲伤的结局”?IBM 豪掷 110 亿收购 Confluent:Kafka 开源焦虑升级,Flink 流计算或成最大赢家

当全行业都在追逐 GPU、训练大模型、比拼算力规模时,IBM 选择了一个完全不同的方向:以 110 亿美元的全现金方式拿下 Confluent。

AI原生数据库的思考
AI 原生数据库的思考

对于企业来讲,大模型基础能力是通用的,私有数据和用户行为才是核心资产,如何通过数据库把这些核心资产用好,决定了企业在 AI 时代的核心竞争力。

Stripe的零停机数据转移平台以毫秒级流量切换迁移PB级数据
Stripe 的零停机数据转移平台以毫秒级流量切换迁移 PB 级数据

该平台支持 Stripe 的基础设施,每秒处理 500 万次数据库查询,同时保持 99.9995% 的可靠性,支持每年 1.4 万亿美元的交易。

Netflix通过中心化的平台架构解决了大规模数据删除的问题
Netflix 通过中心化的平台架构解决了大规模数据删除的问题

Netflix 的工程师 Vidhya Arvind 和 Shawn Liu 在旧金山 QCon 会议上介绍了他们为集中式数据删除平台设计的架构,解决了一个关键但很少讨论的系统设计挑战。

Valkey 9.0 引入多数据库集群、原子级槽位迁移,并带来大幅性能提升
Valkey 9.0 引入多数据库集群、原子级槽位迁移,并带来大幅性能提升

Linux 基金会宣布 Valkey 9.0 正式发布,这是一款作为 Redis 接班者而发展的开源内存存储方案。

MongoDB 存储引擎解密:底层原理 + 游戏行业落地优化案例| 腾讯云数据库 DBTalk
MongoDB 存储引擎解密:底层原理 + 游戏行业落地优化案例| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

破解游戏行业高并发冲击难题:MongoDB精细化限流与无损迁移架构| 腾讯云数据库 DBTalk
破解游戏行业高并发冲击难题:MongoDB 精细化限流与无损迁移架构| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

赋能游戏回档极致体验:揭秘腾讯 MongoDB 按 Key 闪回技术| 腾讯云数据库 DBTalk
赋能游戏回档极致体验:揭秘腾讯 MongoDB 按 Key 闪回技术| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

用AI“打开”金融市场黑盒:微软亚洲研究院如何构建订单级仿真引擎
用 AI“打开”金融市场黑盒:微软亚洲研究院如何构建订单级仿真引擎

InfoQ 荣幸邀请到了微软亚洲研究院机器学习组首席研究员刘炜清在 AICon 全球人工智能开发与应用大会上分享《MarS:由生成式基础模型驱动的金融市场仿真引擎》,他分享了团队在“AI for Finance”上的探索:通过构建基于订单级原生数据的金融基座模型与可自动迭代的 Agent 流程,实现了高保真市场模拟与高效决策优化。

2025腾讯云大数据-年度精选技术实践指南(上)2025腾讯云大数据-年度精选技术实践指南(上)
2025 腾讯云大数据 - 年度精选技术实践指南 (上)

本报告内容分为最佳实践、能力升级、融合创新,涵盖了弹性 MapReduce (EMR)、腾讯大数据处理套件 TBDS、数据湖计算 DLC、数据开发治理平台 WeData、腾讯云 Elasticsearch Service(ES)、腾讯云数据仓库 TCHouse 系列产品、腾讯云 BI、大数据可视交互系统 RayData、流计算 Oceanus。

2780 亿市场风口,MongoDB 游戏数据新基建技术揭秘!| Q推荐
2780 亿市场风口,MongoDB 游戏数据新基建技术揭秘!| Q 推荐

11 月 25 日 19 点,「腾讯云 NoSQL」技术解密之 MongoDB 篇的直播重磅来袭。

从 “管好数据” 到 “让数据生智”,华为再发新作《数据空间探索与实践》
从 “管好数据” 到 “让数据生智”,华为再发新作《数据空间探索与实践》

华为在数据空间领域的最新探索成果与实践心得。

9000+ 核跑并行:ClickHouse 数据库让任意查询语句肆意奔驰
9000+ 核跑并行:ClickHouse 数据库让任意查询语句肆意奔驰

借助并行副本(parallel replicas),ClickHouse 可以让一台拥有 90 个核心的机器与一百台共 9000 核心的集群,执行查询时表现一致。

应对 IVF 技术两大痛点:以指标监控体系 + ABQ 索引优化破解
应对 IVF 技术两大痛点:以指标监控体系 + ABQ 索引优化破解

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

聚焦分布式多节点场景:统一数据格式 + 双维度一致性,构建备份恢复框架
聚焦分布式多节点场景:统一数据格式 + 双维度一致性,构建备份恢复框架

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

立足数据组织与 Agent 推理:AI 服务破解传统搜索局限,贴合场景化需求
立足数据组织与 Agent 推理:AI 服务破解传统搜索局限,贴合场景化需求

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

Meta开源OpenZL:一个通用的结构化数据压缩框架
Meta 开源 OpenZL:一个通用的结构化数据压缩框架

这是一个新的针对高度结构化数据的数据压缩框架,它通过显式建模模式来实现比通用工具更好的压缩比和更快的速度。

向量索引算法:IVF索引优化实践与下一代向量检索技术探索 | 腾讯云数据库 DBTalk
向量索引算法:IVF 索引优化实践与下一代向量检索技术探索 | 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

向量数据库容灾:实现毫秒级时序一致的挑战与工程实践| 腾讯云数据库 DBTalk
向量数据库容灾:实现毫秒级时序一致的挑战与工程实践| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

腾讯云向量数据库服务AI客户:技术挑战和应对策略| 腾讯云数据库 DBTalk
腾讯云向量数据库服务 AI 客户:技术挑战和应对策略| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

把 Nginx 日志压到只剩 1/170:ClickHouse列式存储是怎么做到的?
把 Nginx 日志压到只剩 1/170:ClickHouse 列式存储是怎么做到的?

在可观测性系统中,日志与追踪和指标一起构成三大支柱。

破局向量数据库难题!解锁毫秒级时序一致的挑战与 IVF索引优化路径 | Q推荐
破局向量数据库难题!解锁毫秒级时序一致的挑战与 IVF 索引优化路径 | Q 推荐

「腾讯云 NoSQL」技术解密之 VectorDB 篇:AI 时代下的客户实践与内核演进之路的直播即将开启

从被动存储到主动决策:AI如何驱动数据库与大数据智能进化
从被动存储到主动决策:AI 如何驱动数据库与大数据智能进化

集结多位腾讯云技术大咖,直面 Data Agent 在企业落地过程中面临的核心挑战,看 AI 如何驱动数据库与大数据智能进化。

Flipkart使用分层联邦将Prometheus扩展到8000万个指标
Flipkart 使用分层联邦将 Prometheus 扩展到 8000 万个指标

Flipkart 的工程师最近发表了一份详细的案例研究,描述了他们如何通过在 Prometheus 中采用分层联邦设计来克服监控中的严重可扩展性限制。迁移是由他们的 API 网关层驱动的,其中大约有 2000 个实例,每个实例大约产生 40000 个指标,从而导致同时产生了令人震惊的 8000 万个时间序列数据点。

  • 用户头像
    关注

    InfoQ高级编辑

  • 用户头像
    关注

    暂无签名

  • 用户头像
    关注

    暂无签名

    Long-Context vs RAG:谁将主导未来?
    Long-Context vs RAG:谁将主导未来?

    唐飞虎 | 月之暗面 高级研发工程师 开发者关系负责人

    立即下载
    爱奇艺数据治理中的数据湖应用实践

    杜益凡 | 爱奇艺 商业智能部/研究员

    立即下载
    提升大模型知识密度,做高效的终端智能

    李大海 | 面壁智能 联合创始人、CEO

    立即下载