实时计算
关注实时计算技术的发展趋势和一线技术实践
![隐私计算被推向新高度!信通院牵头编写《隐私计算产品通用安全分级白皮书》,现已发布](https://static001.infoq.cn/resource/image/4b/d0/4bb8f58ccddae7e257554bb483f97ed0.jpg?x-oss-process=image/crop,y_95,w_1279,h_718/resize,w_416,h_234)
隐私计算被推向新高度!信通院牵头编写《隐私计算产品通用安全分级白皮书》,现已发布
隐私计算技术路线众多,且不断有新的技术涌现,应用场景方难以评估不同技术的安全程度。
![通往 AGI 之路,数据系统还需挑战哪些物理极限?](https://static001.infoq.cn/resource/image/ae/3e/aed4319f65d227ae8df9282f5a6d6a3e.jpg?x-oss-process=image/crop,y_1,w_1279,h_718/resize,w_416,h_234)
通往 AGI 之路,数据系统还需挑战哪些物理极限?
分布式 Data Warebase 是性能、正确性、实时性这三个业务核心需求的必然推论,它不是一个发明,而是一个发现。
![数据平台竞技场 2024:AI 或成为必杀技,但面临三个致命挑战](https://static001.infoq.cn/resource/image/54/e6/54b3db64a9e4df16b1c99d9339f428e6.jpg?x-oss-process=image/crop,y_81,w_1279,h_718/resize,w_416,h_234)
数据平台竞技场 2024:AI 或成为必杀技,但面临三个致命挑战
以 Hadoop 为基础的大数据体系架构已逐步陈旧,新一代的分析平台以及更发挥 AI 能力的数据平台架构仍有非常多的疑问还没有得到解答。
![苹果开源一个可提升Apache Spark向量处理速度的插件](https://static001.infoq.cn/resource/image/ac/66/ac244458d8e8ce160b68eb3f1347a766.jpg?x-oss-process=image/crop,y_1,w_1279,h_718/resize,w_416,h_234)
苹果开源一个可提升 Apache Spark 向量处理速度的插件
苹果公司发布了一个开源插件,可以帮助 Apache Spark 更有效地执行向量搜索。
![挑战Spark和Flink?大数据技术栈的突围和战争 | 年度技术盘点与展望](https://static001.infoq.cn/resource/image/15/56/152f4d986b4d9c1e1ab087db43884456.jpg?x-oss-process=image/crop,w_1280,h_720/resize,w_416,h_234)
挑战 Spark 和 Flink?大数据技术栈的突围和战争 | 年度技术盘点与展望
突如其来的革新和质疑?
![Flink十周年专访莫问:存算分离2.0架构的探索与展望](https://static001.infoq.cn/resource/image/e7/a5/e7c93536dd26a8a3414cf018c52163a5.png?x-oss-process=image/crop,x_193,y_309,w_960,h_540/resize,w_416,h_234)
Flink 十周年专访莫问:存算分离 2.0 架构的探索与展望
Flink 的进展和未来规划
![Apache Pinot 1.0发布,提供实时的分布式OLAP数据存储](https://static001.infoq.cn/resource/image/15/b7/150222b54bed427a9192c41d869beeb7.jpg?x-oss-process=image/crop,y_1,w_1364,h_766/resize,w_416,h_234)
Apache Pinot 1.0 发布,提供实时的分布式 OLAP 数据存储
Apache Pinot 是一个使用 Java 编写的开源列式分布式数据存储系统。
![作业帮实时计算平台高可用实践](https://static001.infoq.cn/resource/image/e6/a6/e624fa541363ec85702d5a2b5086c0a6.jpg?x-oss-process=image/crop,y_1,w_1279,h_718/resize,w_416,h_234)
作业帮实时计算平台高可用实践
业务对实时计算的需求越来越多,对实时任务的稳定性要求也越来越高。
![作业帮基于 DolphinScheduler 的数据开发平台实践](https://static001.infoq.cn/resource/image/4e/e2/4e581d8c0fcdaa4113b2c912288612e2.png?x-oss-process=image/crop,y_1,w_1279,h_718/resize,w_416,h_234)
作业帮基于 DolphinScheduler 的数据开发平台实践
本文分享了作业帮对数据开发平台的一些思考。
![民营银行生存法则“唯快不破”,华瑞银行风险特征计算平台如何做到实时响应](https://static001.infoq.cn/resource/image/90/a2/90b0ed174ae5f9ed3f132890d7e036a2.jpg?x-oss-process=image/crop,y_124,w_1279,h_718/resize,w_416,h_234)
民营银行生存法则“唯快不破”,华瑞银行风险特征计算平台如何做到实时响应
“下一个要攻破的问题就一个字——快。”
![四次迭代,视源股份(CVTE)大规模实时流计算应用历程](https://static001.infoq.cn/resource/image/7a/ba/7af197acb2d5ea1527d730e4d8fd4dba.jpg?x-oss-process=image/crop,x_320,y_180,w_960,h_540/resize,w_416,h_234)
四次迭代,视源股份(CVTE)大规模实时流计算应用历程
流计算技术探索中根据应用场景和需求变化,技术也迭代了四次,最终期望在技术演进走在业务前面,通过技术创新改变业务。
![HubSpot 使用 Apache Kafka 泳道实现工作流操作的实时处理](https://static001.infoq.cn/resource/image/0c/81/0cd0fb77fd63049600084cb97f508381.jpg?x-oss-process=image/crop,y_1,w_5999,h_3374/resize,w_416,h_234)
HubSpot 使用 Apache Kafka 泳道实现工作流操作的实时处理
HubSpot 采用在多个 Kafka 主题(称为泳道)上为同一生产者路由消息的方式,避免了消费者群组滞后的积压,并且能够优先处理实时流量。通过自动和手动相结合的方式探测流量峰值,该公司能够确保大多数消费者的工作流能够在无延迟的情况下执行。
![上云还是下云:章文嵩博士解读真正的云原生 Kafka 十倍降本方案!](https://static001.infoq.cn/resource/image/b3/0d/b3bbe66cd61a607a9ed1e94d038b420d.png?x-oss-process=image/crop,x_320,y_180,w_960,h_540/resize,w_416,h_234)
上云还是下云:章文嵩博士解读真正的云原生 Kafka 十倍降本方案!
本文从技术架构的角度,来揭秘 AutoMQ 为 Kafka 量身打造的云原生十倍降本方案。
![ClickHouse彪悍发言:云数仓死贵死贵的,Snowflake这种就不应该成为当前主流!](https://static001.infoq.cn/resource/image/aa/19/aa903978c6a3448c8375dayyd596c719.jpg?x-oss-process=image/crop,x_320,y_180,w_960,h_540/resize,w_416,h_234)
ClickHouse 彪悍发言:云数仓死贵死贵的,Snowflake 这种就不应该成为当前主流!
ClickHouse 版本的“云数据库是不是杀猪盘”?
![上海华瑞银行风控数据团队负责人丁清华确认出席 FCon,分享上海华瑞银行风险特征计算平台演进路线](https://static001.infoq.cn/resource/image/7b/29/7b5024766a9047c3929d3d55efa72b29.png?x-oss-process=image/crop,w_1107,h_622/resize,w_416,h_234)
上海华瑞银行风控数据团队负责人丁清华确认出席 FCon,分享上海华瑞银行风险特征计算平台演进路线
随着大数据计算技术的成熟,上海华瑞银行建设了风险特征计算平台,晚上了平台功能,将产品打造成全行的特征计算平台,并将功能同风险策略、模型等日常场景紧密结合。
![是时候基于云重新设计 Kafka 了!AutoMQ 如何实现 Kafka 十倍的降本增效](https://static001.infoq.cn/resource/image/25/b5/25f07044e3a4851116ab2433160782b5.jpg?x-oss-process=image/crop,y_1,w_1279,h_718/resize,w_416,h_234)
是时候基于云重新设计 Kafka 了!AutoMQ 如何实现 Kafka 十倍的降本增效
AutoMQ 研发团队积累了十多年的消息队列生产运维经验。
![兴业银行大数据基础平台负责人刘家闰确认出席FCon,分享兴业银行实时数据服务实践](https://static001.infoq.cn/resource/image/42/cd/42fc9cddb50c69bc6eda8e9912dcbccd.png?x-oss-process=image/crop,w_1107,h_622/resize,w_416,h_234)
兴业银行大数据基础平台负责人刘家闰确认出席 FCon,分享兴业银行实时数据服务实践
兴业银行实时数据服务技术不断发展,离线计算和实时计算如何整合、批量数据和流式数据如何作为一个整体提供服务,成为一个重要课题。
![存算分离实践:构建轻量、云中立的大数据平台](https://static001.infoq.cn/resource/image/f7/5b/f767be0e9231cyy5a2eb8195ee15195b.jpg?x-oss-process=image/crop,y_180,w_960,h_540/resize,w_416,h_234)
存算分离实践:构建轻量、云中立的大数据平台
值得一提的是,多点团队利用 JuiceFS 社区版实现了与 Ranger 组件进行权限的对接。
![LinkedIn开源Iris消息处理器,速度比旧系统快86.6倍](https://static001.infoq.cn/resource/image/92/23/92ffc64db87a9df6cd63a0012f6a9c23.jpg?x-oss-process=image/crop,x_89,y_50,w_870,h_488/resize,w_416,h_234)
LinkedIn 开源 Iris 消息处理器,速度比旧系统快 86.6 倍
LinkedIn 开源 Iris 消息处理器,相比之前的处理器,在平均负载下速度快 4.6 倍,在高负载下快 86.6 倍。
![中邮消费金融李远鑫:如何用数字化搞定获客成本和用户运营难题?](https://static001.infoq.cn/resource/image/af/1d/af4ab92157cf1e988f1587260a1efb1d.png?x-oss-process=image/crop,y_106,w_1279,h_718/resize,w_416,h_234)
中邮消费金融李远鑫:如何用数字化搞定获客成本和用户运营难题?
消费金融公司的整体数字化进程比其它金融机构要快得多。
![信也科技副总裁陈磊:数据应用与数据合规如何兼顾?](https://static001.infoq.cn/resource/image/ec/b1/ec8594f9d9453853ede7ff56608e0cb1.jpg?x-oss-process=image/crop,y_1,w_1279,h_718/resize,w_416,h_234)
信也科技副总裁陈磊:数据应用与数据合规如何兼顾?
如何处理好金融数智化过程中的数据「养料」?
![中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路](https://static001.infoq.cn/resource/image/e1/a7/e1af57557691f94943406048386d87a7.png?x-oss-process=image/crop,w_1107,h_622/resize,w_416,h_234)
中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路
工商银行大数据平台在近几年数字化转型过程中,对大数据平台的使用越来越重。
![FCon联席主席吴震操:金融数据治理既是技术问题也是管理问题](https://static001.infoq.cn/resource/image/08/b0/08d85d48f735e456f51081ayy0a49ab0.png?x-oss-process=image/crop,y_95,w_1279,h_718/resize,w_416,h_234)
FCon 联席主席吴震操:金融数据治理既是技术问题也是管理问题
金融行业数字化转型的挑战主要表现在业务复杂、数据异构,强监管,和业务传统带来的惯性。
![用 Rust 编写核心组件!独家揭露阿里云开源 GraphScope 如何成为全球最快图计算引擎](https://static001.infoq.cn/resource/image/52/0a/5263aea134633ccab726b4af17d6aa0a.jpeg?x-oss-process=image/crop,x_320,y_180,w_960,h_540/resize,w_416,h_234)
用 Rust 编写核心组件!独家揭露阿里云开源 GraphScope 如何成为全球最快图计算引擎
技术详解阿里云开源图计算引擎 GraphScope 如何打破世界纪录
![联想戴炜:以三种交付方式全面支持三类算力场景的混合计算需求](https://static001.infoq.cn/resource/image/2c/3c/2c4d7c4eb44c2561c15b588f85ca443c.jpg?x-oss-process=image/crop,y_87,w_1279,h_718/resize,w_416,h_234)
联想戴炜:以三种交付方式全面支持三类算力场景的混合计算需求
力赋高质量发展”为主题的 2023 中国算力(基础设施)大会在银川召开。作为我国算力领域、数字经济方面的标志性大会,会议聚焦算力前沿技术领域,展示算力融合应用成果,推动算力产业加速发展。
![字节跳动的多云云原生实践之路](https://static001.infoq.cn/resource/image/30/12/3040cc21e368517c77e90dfd87e25412.jpg?x-oss-process=image/crop,y_1117,w_3009,h_1692/resize,w_416,h_234)
字节跳动的多云云原生实践之路
只有构建好适合自身的分布式云架构,才能真正做到“用好云”。
![汇丰科技:汇丰数据科学家平台的探索与实践](https://static001.infoq.cn/resource/image/c7/y2/c735a4ca039d8ca5f636ebf1ecb5dyy2.jpg?x-oss-process=image/resize,w_416,h_234)
汇丰科技:汇丰数据科学家平台的探索与实践
作为全球规模最大的银行和金融服务机构之一,汇丰始终致力于实施国际化策略,为客户提供国际化的机遇和视野。
![基于鲲鹏+昇腾,华鲲振宇重磅发布算力创新产品及解决方案](https://static001.infoq.cn/resource/image/68/aa/6830cdaf98f961cyye7278eb5f5633aa.jpg?x-oss-process=image/crop,y_-906,w_3888,h_2187/resize,w_416,h_234)
基于鲲鹏 + 昇腾,华鲲振宇重磅发布算力创新产品及解决方案
给世界多一种算力选择
![Flink社区风波:比Flink快十倍的技术真存在吗?](https://static001.infoq.cn/resource/image/6a/6e/6a61054c6ec41431fc9d30a2553b306e.jpg?x-oss-process=image/crop,y_1,w_1919,h_1078/resize,w_416,h_234)
Flink 社区风波:比 Flink 快十倍的技术真存在吗?
阿里 Flink 团队成员质疑创业公司数据库未能达到比 Flink 快 10 倍的性能提升,RisingWave 回应
![Hadoop 上云: 存算分离架构设计与迁移实践](https://static001.infoq.cn/resource/image/fa/2b/fae9a4feccf7968269a81a0bec27502b.jpg?x-oss-process=image/crop,x_298,y_169,w_895,h_502/resize,w_416,h_234)
Hadoop 上云: 存算分离架构设计与迁移实践
介绍了 Hadoop 上云的架构设计、选型的思考、组件评估以及数据迁移的整个过程。