数据处理

关注
收录了数据处理频道下的 627 篇内容
  • 全部
  • 文章
  • 视频
  • 话题
  • 电子书
迈向企业级核心场景的 TiDB 5.0
迈向企业级核心场景的 TiDB 5.0

TiDB 5.0 迎来正式 GA, 成为迈向企业级核心场景的里程碑版本。

鹅厂这个穷得成本精确到0.01元的微团队,怎么利用IoT与云原生监测大气质量的?
鹅厂这个穷得成本精确到 0.01 元的微团队,怎么利用 IoT 与云原生监测大气质量的?

云计算的发展为互联产业带来了巨大的变革,云上技术的下一站,又会有哪些新契机呢?本文为大家详细介绍微团队利用物联网和云原生在大气监控领域究竟做出了哪些惊人成就。

滴滴客服解决方案平台建设实践
滴滴客服解决方案平台建设实践

客服是连接事业部和用户之间的桥梁,相较于一些垂直业务主要专注于业务领域内的问题,客服业务有一个特点:面向各种业务各种场景解决用户的各类问题。面对多样化的场景需求以及业务的不断发展迭代,解决方案平台通过标准化的思路,整合业务提供的业务信息和服务能力,拉齐不同渠道的答案和处置方案,提供可视化的方案管理平台。本文介绍了体验平台团队如何针对客服业务的特点和挑战建设解决方案平台以及相关技术沉淀。

同程旅行大数据集群在 Kubernetes 上的服务化实践
同程旅行大数据集群在 Kubernetes 上的服务化实践

本文介绍了同程旅行大数据集群在 Kubernetes 上服务化建设的一些实践和经验。

许式伟:相比Python,我们可能更需要Go+
许式伟:相比 Python,我们可能更需要 Go+

ECUG(Effective Cloud User Group,实效云计算用户组)今日在上海举办,会上,七牛云 CEO 许式伟以“数据科学与 Go+”为主题发表了主题分享,讲述了对数据科学变迁的理解,对新语言 Go+ 的设想和规划,并大胆指出数据科学正迎来爆发期,像字节跳动一样的新型公司只会越来越多。

OPPO数仓与数据湖融合架构升级的实践与思考
OPPO 数仓与数据湖融合架构升级的实践与思考

对话 OPPO 鲍永成:没有完备的数据体系,空谈湖仓之争没意义

基于Horovod on Ray的弹性深度学习
基于 Horovod on Ray 的弹性深度学习

如今已经是 2021 年,深度学习领域出现了很多变化。因此,我们不得不重新审视现有的深度学习平台,以适应不断增长的需求和新的要求。

矩阵元获批“上海市分布式隐私人工智能技术创新中心”
矩阵元获批“上海市分布式隐私人工智能技术创新中心”

增强科技创新中心策源能力的意见》,推进重点产业领域技术创新,经专家评审论证,确定将“上海市特种数控装备技术创新中心”等 18 家技术创新中心列入 2020 年度上海市技术创新中心建设立项计划。

我,大厂离职,拿着千万美元融资搞了个近乎全是程序员的公司
我,大厂离职,拿着千万美元融资搞了个近乎全是程序员的公司

大厂干得好好的却离职自己做,创业对这个技术宅而言到底有什么吸引力?

MySQL 数据实时同步到 Elasticsearch的技术方案选型和思考
MySQL 数据实时同步到 Elasticsearch 的技术方案选型和思考

本文具体探讨 MySQL 数据实时同步到 Elasticsearch 的技术方案和思考,同时使用一定篇幅介绍一些前置知识,从理论到实践,让读者更好地理解这块内容和相关问题。

Flink集成Iceberg在同程艺龙的实践
Flink 集成 Iceberg 在同程艺龙的实践

本文将分享同程艺龙将 Flink 与 Iceberg 深度集成的落地经验和思考。

从自研到Delta到Iceberg,网易严选数据湖建设实践
从自研到 Delta 到 Iceberg,网易严选数据湖建设实践

本文将分享网易严选的数据湖建设过程和思考。

基于Flink和Druid的实时多维分析系统在蔚来汽车的应用 |InfoQ 公开课
基于 Flink 和 Druid 的实时多维分析系统在蔚来汽车的应用 |InfoQ 公开课

本次分享将描述整套方案的设计和实现细节,以及蔚来汽车在实践过程中总结提炼出的一些方法论。同时,蔚来汽车提出了一种理论模型(状态空间模型),用于从直观上解释 Flink 分布式快照的可行性,希望能给大家提供另一种视角来理解 Flink 的核心功能,帮助大家从理论和实践两个维度加深对 Flink 的理解。

构建切实有效的湖仓一体架构
构建切实有效的湖仓一体架构

湖仓一体架构力图结合数据仓库的弹性和数据湖的灵活性。本文介绍了由数据抽取、处理、编目和分析服务组成的概念架构,并给出了构建切实有效湖仓一体架构的五个基本原则。

Apache Kylin发布4.0.0-beta稳定版本
Apache Kylin 发布 4.0.0-beta 稳定版本

当前 Kylin 4.0.0-beta 已经成为一个相对稳定的版本。

你可能用错了kafka的重试机制
你可能用错了 kafka 的重试机制

Apache Kafka 有很多强大的特性,在使用它的过程中也需要小心很多潜在的陷阱

现代技术栈中,你到底需要的是一个后端架构还是数据架构?
现代技术栈中,你到底需要的是一个后端架构还是数据架构?

现代技术栈通常会至少包括一个前端和一个后端,但随着其发展,可能还需要一个数据平台。将一些功能从后端系统推送到数据平台,可以使代码的复杂度降低(大致)一个数量级。

Hive大数据表性能调优
Hive 大数据表性能调优

在本文中,作者 Sudhish Koloth 讨论了在使用 Hive 大数据表时如何解决性能问题。

“征战”国内企业市场数十年,数据库已经走到分布式叉口
“征战”国内企业市场数十年,数据库已经走到分布式叉口

刚刚过去的 2020,对蚂蚁自研数据库产品 OceanBase 是一个丰收年。

深度集成 Flink: Apache Iceberg 0.11.0 最新功能解读
深度集成 Flink: Apache Iceberg 0.11.0 最新功能解读

Apache Flink 和 Apache Iceberg 在共同打造流批一体的数据湖架构上开启了新的篇章。

Adobe基于Iceberg的数据湖性能提升实践
Adobe 基于 Iceberg 的数据湖性能提升实践

本文介绍了 Adobe 公司在使用 Iceberg 时遇到的小文件问题以及高并发写入的一致性问题。针对这两个问题,Adobe 给出了有指导意义的解决方案。

Spark Shuffle 内部机制(一)
Spark Shuffle 内部机制(一)

Spark Shuffle Write 框架的内部机制与设计

每秒最多6.5万个事务,我们的PostgreSQL 12迁移之路
每秒最多 6.5 万个事务,我们的 PostgreSQL 12 迁移之路

这是一次规模比较大的基础设施迁移,但我们没有遇到任何意外的停机或者错误。

Hadoop之HDFS 内部机制知多少?
Hadoop 之 HDFS 内部机制知多少?

探寻 Hadoop 里另外一个重要组件 HDFS 的架构和高可用相关机制

Nebula Graph 在微众银行数据治理业务的实践

本文为微众银行大数据平台:周可在 nMeetup 深圳场的演讲这里文字稿,演讲视频参见:B 站

    Kubernetes容器存储的解决之道
    Kubernetes容器存储的解决之道

    王鹏飞 | 焱融云 CTO

    立即下载
    Google 效能工具的实践之路

    廖凯明 | 谷歌 移动技术解决方案顾问

    立即下载
    微信小程序小游戏广告形态体系建设

    冼誉杰 | 腾讯 研发工程师

    立即下载