大数据

关注
收录了大数据频道下的 10384 篇内容
讲述数据获取、存储、管理、分析的方方面面,关注软件、实践、生态,挖掘最新的前沿技术,同时也思考大数据与AI和云计算的深度结合。
  • 全部
  • DataOps
  • 数据集成
  • DataMesh
  • 数据编织
  • 数据湖仓
  • 在离线混部
  • 实时计算
  • 其他
  • 全部
  • 文章
  • 视频
  • 话题
  • 电子书
AI原生数据库的思考
AI 原生数据库的思考

对于企业来讲,大模型基础能力是通用的,私有数据和用户行为才是核心资产,如何通过数据库把这些核心资产用好,决定了企业在 AI 时代的核心竞争力。

Stripe的零停机数据转移平台以毫秒级流量切换迁移PB级数据
Stripe 的零停机数据转移平台以毫秒级流量切换迁移 PB 级数据

该平台支持 Stripe 的基础设施,每秒处理 500 万次数据库查询,同时保持 99.9995% 的可靠性,支持每年 1.4 万亿美元的交易。

Netflix通过中心化的平台架构解决了大规模数据删除的问题
Netflix 通过中心化的平台架构解决了大规模数据删除的问题

Netflix 的工程师 Vidhya Arvind 和 Shawn Liu 在旧金山 QCon 会议上介绍了他们为集中式数据删除平台设计的架构,解决了一个关键但很少讨论的系统设计挑战。

Valkey 9.0 引入多数据库集群、原子级槽位迁移,并带来大幅性能提升
Valkey 9.0 引入多数据库集群、原子级槽位迁移,并带来大幅性能提升

Linux 基金会宣布 Valkey 9.0 正式发布,这是一款作为 Redis 接班者而发展的开源内存存储方案。

MongoDB 存储引擎解密:底层原理 + 游戏行业落地优化案例| 腾讯云数据库 DBTalk
MongoDB 存储引擎解密:底层原理 + 游戏行业落地优化案例| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

破解游戏行业高并发冲击难题:MongoDB精细化限流与无损迁移架构| 腾讯云数据库 DBTalk
破解游戏行业高并发冲击难题:MongoDB 精细化限流与无损迁移架构| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

赋能游戏回档极致体验:揭秘腾讯 MongoDB 按 Key 闪回技术| 腾讯云数据库 DBTalk
赋能游戏回档极致体验:揭秘腾讯 MongoDB 按 Key 闪回技术| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

用AI“打开”金融市场黑盒:微软亚洲研究院如何构建订单级仿真引擎
用 AI“打开”金融市场黑盒:微软亚洲研究院如何构建订单级仿真引擎

InfoQ 荣幸邀请到了微软亚洲研究院机器学习组首席研究员刘炜清在 AICon 全球人工智能开发与应用大会上分享《MarS:由生成式基础模型驱动的金融市场仿真引擎》,他分享了团队在“AI for Finance”上的探索:通过构建基于订单级原生数据的金融基座模型与可自动迭代的 Agent 流程,实现了高保真市场模拟与高效决策优化。

2025腾讯云大数据-年度精选技术实践指南(上)2025腾讯云大数据-年度精选技术实践指南(上)
2025 腾讯云大数据 - 年度精选技术实践指南 (上)

本报告内容分为最佳实践、能力升级、融合创新,涵盖了弹性 MapReduce (EMR)、腾讯大数据处理套件 TBDS、数据湖计算 DLC、数据开发治理平台 WeData、腾讯云 Elasticsearch Service(ES)、腾讯云数据仓库 TCHouse 系列产品、腾讯云 BI、大数据可视交互系统 RayData、流计算 Oceanus。

2780 亿市场风口,MongoDB 游戏数据新基建技术揭秘!| Q推荐
2780 亿市场风口,MongoDB 游戏数据新基建技术揭秘!| Q 推荐

11 月 25 日 19 点,「腾讯云 NoSQL」技术解密之 MongoDB 篇的直播重磅来袭。

从 “管好数据” 到 “让数据生智”,华为再发新作《数据空间探索与实践》
从 “管好数据” 到 “让数据生智”,华为再发新作《数据空间探索与实践》

华为在数据空间领域的最新探索成果与实践心得。

9000+ 核跑并行:ClickHouse 数据库让任意查询语句肆意奔驰
9000+ 核跑并行:ClickHouse 数据库让任意查询语句肆意奔驰

借助并行副本(parallel replicas),ClickHouse 可以让一台拥有 90 个核心的机器与一百台共 9000 核心的集群,执行查询时表现一致。

应对 IVF 技术两大痛点:以指标监控体系 + ABQ 索引优化破解
应对 IVF 技术两大痛点:以指标监控体系 + ABQ 索引优化破解

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

聚焦分布式多节点场景:统一数据格式 + 双维度一致性,构建备份恢复框架
聚焦分布式多节点场景:统一数据格式 + 双维度一致性,构建备份恢复框架

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

立足数据组织与 Agent 推理:AI 服务破解传统搜索局限,贴合场景化需求
立足数据组织与 Agent 推理:AI 服务破解传统搜索局限,贴合场景化需求

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

Meta开源OpenZL:一个通用的结构化数据压缩框架
Meta 开源 OpenZL:一个通用的结构化数据压缩框架

这是一个新的针对高度结构化数据的数据压缩框架,它通过显式建模模式来实现比通用工具更好的压缩比和更快的速度。

向量索引算法:IVF索引优化实践与下一代向量检索技术探索 | 腾讯云数据库 DBTalk
向量索引算法:IVF 索引优化实践与下一代向量检索技术探索 | 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

向量数据库容灾:实现毫秒级时序一致的挑战与工程实践| 腾讯云数据库 DBTalk
向量数据库容灾:实现毫秒级时序一致的挑战与工程实践| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

腾讯云向量数据库服务AI客户:技术挑战和应对策略| 腾讯云数据库 DBTalk
腾讯云向量数据库服务 AI 客户:技术挑战和应对策略| 腾讯云数据库 DBTalk

扫码添加企微小助手,一键加入开发者专属企微群,即可免费获取讲师 PPT,助力学习高效进阶!

把 Nginx 日志压到只剩 1/170:ClickHouse列式存储是怎么做到的?
把 Nginx 日志压到只剩 1/170:ClickHouse 列式存储是怎么做到的?

在可观测性系统中,日志与追踪和指标一起构成三大支柱。

破局向量数据库难题!解锁毫秒级时序一致的挑战与 IVF索引优化路径 | Q推荐
破局向量数据库难题!解锁毫秒级时序一致的挑战与 IVF 索引优化路径 | Q 推荐

「腾讯云 NoSQL」技术解密之 VectorDB 篇:AI 时代下的客户实践与内核演进之路的直播即将开启

从被动存储到主动决策:AI如何驱动数据库与大数据智能进化
从被动存储到主动决策:AI 如何驱动数据库与大数据智能进化

集结多位腾讯云技术大咖,直面 Data Agent 在企业落地过程中面临的核心挑战,看 AI 如何驱动数据库与大数据智能进化。

Flipkart使用分层联邦将Prometheus扩展到8000万个指标
Flipkart 使用分层联邦将 Prometheus 扩展到 8000 万个指标

Flipkart 的工程师最近发表了一份详细的案例研究,描述了他们如何通过在 Prometheus 中采用分层联邦设计来克服监控中的严重可扩展性限制。迁移是由他们的 API 网关层驱动的,其中大约有 2000 个实例,每个实例大约产生 40000 个指标,从而导致同时产生了令人震惊的 8000 万个时间序列数据点。

PlanetScale将数据库平台扩展至PostgreSQL
PlanetScale 将数据库平台扩展至 PostgreSQL

PlanetScale 正式发布其托管式分片 Postgres 服务。该服务在 AWS 或 Google Cloud 上构建,以提供高性能和高可靠性为目标。此次发布将 PlanetScale 的产品扩展到了 PostgreSQL 用户群体。对于该公司现有的基于 Vitess 构建的广受欢迎的 MySQL 平台,这是一个很好的补充。

实战 ClickPy(1.8 万亿行):OpenTelemetry + ClickStack 如何实现秒级排障与会话回放
实战 ClickPy(1.8 万亿行):OpenTelemetry + ClickStack 如何实现秒级排障与会话回放

ClickHouse 已迅速成为企业进行外部或内部分析的首选数据库

PlanetScale将数据库平台扩展至PostgreSQL
PlanetScale 将数据库平台扩展至 PostgreSQL

PlanetScale 正式发布其托管式分片 Postgres 服务。该服务在 AWS 或 Google Cloud 上构建,以提供高性能和高可靠性为目标。此次发布将 PlanetScale 的产品扩展到了 PostgreSQL 用户群体。对于该公司现有的基于 Vitess 构建的广受欢迎的 MySQL 平台,这是一个很好的补充。

一场“垃圾堆积问题”的AI数据漂流
一场“垃圾堆积问题”的 AI 数据漂流

有效派发率 99%,AI 智能派发率达到 48%,处置达标率 98%

为何底层数据湖决定了 AI Agent 的上限?
为何底层数据湖决定了 AI Agent 的上限?

“可以说,我们是国内最早引入 Lance 的团队之一。”

Fluss 湖流一体:Lakehouse 架构实时化演进
Fluss 湖流一体:Lakehouse 架构实时化演进

本文分享了流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战,以及目前业界在融合两者上的趋势。并介绍了流存储 Fluss 如何完美地融入进 LakeHouse 架构,无缝地将 LakeHouse 架构进行实时化改造,以及基于 Fluss 来构建实时 LakeHouse 架构的最佳实践。

    大模型增强下的图智能在金融场景的应用
    大模型增强下的图智能在金融场景的应用

    贾志鹏 | Fabarta 高级技术专家

    立即下载
    太极 Angel 助力生成式大模型高效落地

    刘凯 | 腾讯 高级工程师

    立即下载
    零门槛全栈开发,Rokid 智能眼镜AI应用开发实战指南

    季杨康 | Rokid XR 中心主管

    立即下载