免费注册!6月19-20日,「亚马逊云科技中国峰会」重磅来袭! 了解详情
写点什么

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

云器科技

  • 2025-01-17
    北京
  • 本文字数:2106 字

    阅读完需:约 7 分钟

大小:1.05M时长:06:07
重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

2025 年 1 月 15 日,云器科技举行了云器 Lakehouse 产品开放注册发布会。这标志着这家专注于数据基础设施的科技公司,正式向全球用户开放体验其创新的云湖仓产品。


云器 Lakehouse 开放注册


云器科技 CEO 喻思成宣布云器 Lakehouse 正式开放注册,同时宣布了产品已经完成了在全球七大主流云平台的适配,并且已经在大部分云平台开服。这意味着云器提供了统一的数据底座,让企业可以在异构云环境中获得一致的数据平台体验。


云器 Lakehouse:基于增量计算的云湖仓平台


喻思成表示,十年前“云”让计算像水电一样触手可及,今天云器的开放注册:旨在让数据和 AI 更普惠,像煤气炉一样触手可及——不需要专业团队,不需要开源自建。就是这次云器开放注册的意义,开放注册即所谓 GA—— General Available,就是“你只管写 SQL,其它的交给云器。”



云器 Lakehouse 完成了全球七大主流云平台适配


云器 Lakehouse 产品采用了 Single-Engine 和通用增量计算技术。据云器科技 CTO 关涛介绍,通过深度优化的全 Native C++实现的向量化引擎,并得益于软件、硬件技术、网络技术的突破,Lakehouse 产品表现出多面且优异的性能,以在批处理领域为例,云器 Lakehouse 在标准 TPC-DS 10TB 测试中展现出比开源 Spark 快 10 倍的性能优势。


关涛在发布会上分享了引擎性能突破背后的技术改进项,并逐条解析了性能提升的关键因素:自研的基于 Cascades 模型的 CBO 优化器带来 2 倍性能提升,Native 引擎实现提供 3 倍性能提升,直连调度方案实现 1.3 倍提升,以及默认开启的自动缓存带来 1.3 倍性能提升。此外,云器 Lakehouse 还实现了 MPP 和 BSP 两种调度模式的融合架构,为不同场景提供最优性能。




统一数据、统一引擎、统一体验


在产品能力方面,云器科技 Lakehouse 产品总监曲宁分享了“统一数据、统一引擎、统一体验”的设计理念,并详细分享数据平台的架构设计。曲宁详细介绍了平台的四大核心能力:


  • 全面 Serverless 化的计算服务,支持秒级弹性伸缩

  • 基于增量计算实现统一计算模式,可实现 ETL 链路的大幅简化

  • Data+AI 融合分析能力,支持对企业所有数据资产的统一管理

  • 一体化的开发治理平台 Lakehouse Studio,提供数据团队开发运维数据的全家桶套件


发布数据智能产品功能


值得关注的是,云器科技在此次发布会上还重点展示了数据与 AI 的结合能力。云器科技 AI 产品总监孟硕表示,企业已普遍认识到构建 AI 就绪的知识库系统是当前 AI 投资的最佳切入点。为提升企业数据与 AI 融合能力,云器科技全面升级数据平台,新增 RAG 就绪层,整合向量检索、倒排索引及语义引擎等关键功能。基于升级后的平台架构,推出两款创新应用产品:智能对话式数据分析工具 Lakehouse DataGPT,和智能开发助手 Lakehouse Copilot,两款重要产品功能,致力于让企业数据资产更易于被 AI 利用和访问。


Lakehouse DataGPT 基于云器统一的数据底座,在对话式 BI 分析场景中,可以准确理解复杂的业务语境,将用户的自然语言准确转化为数据查询,并提供清晰的推理过程展示,确保分析结果的可信度。这些创新有效降低了企业构建 AI 应用的技术门槛,加速了企业数据智能化转型。


云器提出“通用增量计算”的首个行业标准-SPOT


此次发布会,云器展现的一大亮点是增量计算技术——既通过只计算数据变化部分,提升计算效能,保持高性能的同时显著降低计算成本。关涛谈到增量计算技术的巨大潜力,并提出“增量计算将成为继批处理、流计算、交互分析之后的第四代主流计算模式。”特别的,关涛强调了云器在增量计算技术前沿的实践,提出“通用增量计算”概念,旨在让通用计算不再只是于狭窄场景下具备优化意义,而是在更普遍的场景实装,甚至包括对 UDF 的支持。


通用增量计算的定义


作为业界首个提出并落地通用增量计算(Generic Incremental Computing, GIC)技术的企业,云器科技 CTO 关涛在发布会上系统性地阐述了这一创新技术。通用增量计算是一种同时面向高性能和低延迟优化的新计算模式,当上游数据持续变更时,系统只计算数据变化的部分并与之前的查询结果合并,从而以最小的计算成本快速生成最新结果。不同于传统流计算中的增量计算,GIC 采用统一的计算逻辑,可以同时支持批处理、流处理和交互式分析三种场景。



通用增量计算的 SPOT 技术标准


关涛在发布会上公布了行业首个通用增量计算的技术标准——SPOT 技术标准,旨在促进交流推动行业技术创新。



通用增量计算的技术标准-SPOT


SPOT 标准:

  • S - Standard SQL with Full Synatx/Semantics

  • P - Performance

  • O - Open Format

  • T - Trande-off seamlessly between T+0 and T+1


CTO 关涛分享了过去几年云器实现通用增量计算技术的经验和实现路径,预告即将在未来向行业公开更多重磅的客户案例。并表示未来几个月内将发布《通用增量计算技术白皮书》,以推动这项技术的发展。


体验开箱即用的云湖仓


试用云器 Lakehouse 产品,可以在不到 5 分钟的时间内完成从注册到运行测试 SQL 的全过程。除了能够快速分析数据,观察云器 Lakehouse 的数据导入、运维、管理等功能,可以看出它不仅提供一个数据处理分析的引擎,也提供一整套大数据分析平台的组件能力。这是原来在互联网大厂和业内头部数据型企业才能配备的数据处理和管理能力,现在通过注册账号就能获得。


—— 数据技术普惠正在发生。


观看本次发布会的回放,可以访问云器科技官网https://www.yunqi.tech/open2025

2025-01-17 14:4915212

评论

发布
暂无评论

如何去学好JS的8条小建议

华为云开发者联盟

html 编程 大前端 js 代码

Unix路径是如何简化算法,架构师性能优化 John 易筋 ARTS 打卡 Week 10

John(易筋)

ARTS 打卡计划

癌症筛查清单

Lee Chen

大前端 随笔杂谈

搞事情?Spring Boot今天一口气发布三个版本

YourBatman

Spring Boot 新特性

影响企业架构项目成功的8个重要步骤

周金根

Golang新手常犯错误之【循环迭代篇】

卓丁

常见错误 引用迭代 Go 语言

设计模式之外观模式解析

Seven七哥

程序员 设计模式 外观模式

Java架构-代码分层的设计之道

我是苞谷

在线互动课堂低延迟交互利器:高性能异步化设计与监控

徐敏

线程模型 异步 Task 在线课堂

面试题:Java 中的 ==, equals 与 hashCode 的区别与联系

简爱W

Java架构-不要成为项目风险的奴隶

我是苞谷

Java

TOGAF实用教程(IT帮)

周金根

拥抱400GE新引擎,跨越新基建的时代龙门

脑极体

LeetCode题解:206. 反转链表,JavaScript,While循环迭代,详细注释

Lee Chen

大前端 LeetCode

比 996 更可怕的是职场 PUA

非著名程序员

职场 职场成长 职场误区 职场 PUA

性能测试 + 操作系统 + 锁

鲁米

高并发系统设计要点

南方有乔木兮

Java

JVM系列-读懂 GC 日志

Rayjun

Java JVM GC

企业架构实施简介

周金根

股权交易中心+区块链试点将开始

CECBC

防篡改 股权交易 可追溯 信息存证

没想到 Hash 冲突还能这么玩,你的服务中招了吗?

程序猿石头

Java 安全攻防 后端 hashmap hash

OMG组织的企业架构建模规范

周金根

编程核心能力之重构

顿晓

学习 重构

一文了解JDK12 13 14 GC调优秘籍-附PDF下载

程序那些事

GC JDK14 秘籍 JDK12 JDK13

安全系列之——RSA的前世今生

诸葛小猿

安全 加密解密 非对称加密 rsa

区块链如何切入供应链金融市场?

CECBC

Zookeeper从入门到放弃之Zookeeper典型应用场景

小隐乐乐

zookeeper 分布式 分布式锁

ARTS WEEK6

紫枫

ARTS 打卡计划

【API进阶之路】无法想象!大龄码农的硬盘里有这么多宝藏

华为云开发者联盟

容器 层次 API 网关 华为云

浅析区块链如何改变生活

CECBC

数字银行 供应链 身体监测 资产管理

应用程序研发之基础知识分层与进化

superman

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用_大数据_InfoQ精选文章