写点什么

HTAP 为实时数据服务插上翅膀

  • 2021-06-10
  • 本文字数:1576 字

    阅读完需:约 5 分钟

HTAP 为实时数据服务插上翅膀

成为主流趋势的 HTAP


由 Gartner 提出的 HTAP 数据库(混合事务 / 分析处理,Hybrid Transactional/Analytical Processing)成为希望。基于创新的计算存储框架,HTAP 数据库能够在一份数据上同时支撑 OLTP 和 OLAP 场景,避免在传统架构中,在线与离线数据库之间大量的数据交互。


HTAP 数据库基于分布式架构,支持弹性扩容,可按需扩展吞吐或存储,轻松应对高并发、海量数据场景。当下,由 HTAP 数据库提供的实时分析能力已经成为企业的核心竞争力之一。



业务挑战


智慧芽(PatSnap)是一家科技创新情报 SaaS(软件即服务)服务商,聚焦科技创新情报和知识产权信息化服务两大板块,为全球 50 多个国家超 10000 家科技公司、高校、科研与金融机构提供大数据情报服务。在数据源方面,智慧芽已存储了 1.5 亿多个全球专利数据、1.7 亿多个化学结构数据,以及千万级财务新闻、科技文献、市场报告、投资信息等海量数据。


随着业务场景的不断拓展和用户规模的迅速增长,业务运营过程中,智慧芽深度依赖对实时数据的分析和结果呈现,需要进行用户行为分析,提供实时大盘和特定场景的运营数据,对流量和服务的分析也不可或缺。


智慧芽原先采用 Segment 与 Redshift 的数据分析架构,仅构建出了 ODS 层,数据写入的规则和 schema 不受控制,且需要针对 ODS 编写复杂的 ETL,按照业务需求进行各类指标的计算来完成上层业务的数据请求。Redshift 中落库数据量大,计算慢(T+1 时效),影响对外服务的效率。


TiDB + Flink 实时数仓方案


经过多轮选型和对比测试,智慧芽选用 TiDB + Flink 实时数仓方案拓展数据分析架构体系的能力版图。

TiDB HTAP 是一个可扩展的行存和列存整合的架构,在存储上是可以使用分离的不同节点,可以确保 OLTP 和 OLAP 两边互相之间没有干扰,实时性、一致性、可延展性都能得到很好的保证。Flink 是一个低延迟、高吞吐、流批统一的大数据计算引擎,被普遍用于高实时性场景下的实时计算,具有支持 exactly-once 等重要特性。


结合了 TiDB HTAP 与 Flink 两者的特性,TiDB + Flink 的方案优势显而易见:首先是速度有保障,两者都可以通过水平扩展节点来增加算力;其次,TiDB 深度兼容 MySQL 协议,Flink 提供 Flink SQL 和强大的连接器来编写和提交任务,学习和配置成本相对较低。



智慧芽实时数据分析平台架构示意图


替换为基于 TiDB + Kinesis + Flink 构建的实时数仓架构后,不再需要构建 ODS 层。Flink 作为前置计算单元,直接从业务出发构建出 Flink Job ETL,完全控制了落库规则并自定义 schema,即仅把业务关注的指标进行清洗并写入 TiDB 来进行后续的分析查询,写入数据量大幅减少。


按用户/租户、地区、业务动作等关注的指标,结合分钟、小时、天等不同粒度的时间窗口等,在 TiDB 上构建出 DWD/DWS/ADS 层,直接服务业务上的统计、清单等需求,上层应用可直接使用构建好的数据,且获得了秒级的实时能力。


这套实时数据分析平台架构实现了真正意义的 Real Time Data as a Service,目前应用于慧芽用户行为分析和追踪、租户行为分析等实时分析场景,并为业务运营大盘提供实时数据支撑。


应用价值


在使用了新架构后,入库数据量、入库规则和计算复杂度都显著下降,数据在 Flink Job 中已经按照业务需求处理完成并写入 TiDB,无需基于 Redshift 的 全量 ODS 层进行 T+1 ETL。


基于 TiDB 构建的实时数仓,通过合理的数据分层,架构上获得了极大的精简,开发维护也变得更加简单,在数据查询、更新、写入性能上都获得大幅度提升。


在满足不同的 adhoc 分析需求时,不再需要等待类似 Redshift 预编译的过程,易于开发且扩容方便。



头图:Unsplash

作者:PingCAP

原文:https://mp.weixin.qq.com/s/p_hhX_UG2AfOvStaP8Ht0w

原文:TiDB X 智慧芽 | HTAP 为实时数据服务插上翅膀

来源:PingCAP - 微信公众号 [ID:pingcap2015]

转载:著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

2021-06-10 08:002050

评论

发布
暂无评论
发现更多内容

利用Apipost轻松实现用户充值系统的API自动化测试

数据追梦人

Windows 7 & Windows Server 2008 R2 简体中文版下载 (2025 年 4 月更新)

sysin

Windows7

Windows 10 on ARM, version 22H2 ARM64 中文版、英文版下载 (2025 年 4 月更新)

sysin

Windows Server

VMware ESXi 7.0U3s macOS Unlocker & OEM BIOS 2.7 Intel 网卡特殊定制版

sysin

esxi

ESXi 8.0U3e 免费版发布,含官方免费许可证

sysin

esxi

Windows Server 2019 OVF (2025 年 4 月更新) - VMware 虚拟机模板

sysin

Windows Server

手把手教你用micro.item_get接口获取微店商品数据,小白也能轻松上手!

代码忍者

微店商品详情API接口

名列前茅!百度文心大模型4.5及X1在中国信通院“方升”大模型基准测试中表现优异

百度Geek说

百度

如何科学选择LED显示屏的点间距

Dylan

LED LED显示屏 全彩LED显示屏 led显示屏厂家 户内led显示屏

秘密任务 2.0:如何利用 WebSockets + DTOs 设计实时操作

数据追梦人

LLM情感分析实战 DeepSeek API

AI时代的一滴水

Python 机器学习 情感分析 DeepSeek v3

Windows Server 2008 R2 OVF (2025 年 4 月更新) - VMware 虚拟机模板

sysin

Windows Server

Windows Server 2019 中文版、英文版下载 (2025 年 4 月更新)

sysin

Windows Server

得物自研DGraph4.0推荐核心引擎升级之路

得物技术

高并发 推荐引擎 #大数据

企业高分通过哈尔滨等保二级需要哪些安全设备?

黑龙江陆陆信息测评部

Amazon Bedrock 上的模型擂台赛:DeepSeek、Nova、Claude,谁是最强文本审核大模型?

亚马逊云科技 (Amazon Web Services)

来领奖啦!StarRocks 社区 2025 布道师计划正式开启

StarRocks

StarRocks 湖仓一体 镜舟科技

Windows Server 2016 OVF (2025 年 4 月更新) - VMware 虚拟机模板

sysin

Windows Server

NocoBase 本周更新汇总:部分商业插件改为开源

NocoBase

开源 低代码 插件 无代码 版本更新

合合信息发布智能文档处理行业白皮书,破解文档处理效率与安全问题

合合技术团队

人工智能 智能文档 #大数据 文档解析

AI智上 | 财务数智化筑路,引领企业转型腾飞

用友智能财务

出版社题库管理系统的开发

北京木奇移动技术有限公司

软件外包公司 出版社 题库管理系统

Windows Server 2016 中文版、英文版下载 (2025 年 4 月更新)

sysin

Windows Server

文献解读-Identification of driver genes for critical forms of COVID-19 in a deeply phenotyped young patient cohort

INSVAST

基因测序 多组学 Sentieon 变异检测 生物信息分析服务

拖拽式低代码引擎架构——企业级系统研发成本压缩探索

JeeLowCode低代码平台

中国信通院联合行业巨头启动“可信AI智能体测试床”

测试人

人工智能

Windows 11 24H2 中文版、英文版 (x64、ARM64) 下载 (2025 年 4 月更新)

sysin

Windows11

鸿蒙版Flutter环境配置Windows 版本

坚果

鸿蒙 HarmonyOS 坚果派

AI 和可观测性到底如何整合?

巴辉特

AI 监控 可观测性 Observability Monitoring

Windows 10 version 22H2 中文版、英文版下载 (2025 年 4 月更新)

sysin

windows

Windows 11 23H2 中文版、英文版 (x64、ARM64) 下载 (2025 年 4 月更新)

sysin

Windows11

HTAP 为实时数据服务插上翅膀_语言 & 开发_PingCAP技术团队_InfoQ精选文章