写点什么

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

云器科技

  • 2025-01-17
    北京
  • 本文字数:2106 字

    阅读完需:约 7 分钟

大小:1.05M时长:06:07
重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

2025 年 1 月 15 日,云器科技举行了云器 Lakehouse 产品开放注册发布会。这标志着这家专注于数据基础设施的科技公司,正式向全球用户开放体验其创新的云湖仓产品。


云器 Lakehouse 开放注册


云器科技 CEO 喻思成宣布云器 Lakehouse 正式开放注册,同时宣布了产品已经完成了在全球七大主流云平台的适配,并且已经在大部分云平台开服。这意味着云器提供了统一的数据底座,让企业可以在异构云环境中获得一致的数据平台体验。


云器 Lakehouse:基于增量计算的云湖仓平台


喻思成表示,十年前“云”让计算像水电一样触手可及,今天云器的开放注册:旨在让数据和 AI 更普惠,像煤气炉一样触手可及——不需要专业团队,不需要开源自建。就是这次云器开放注册的意义,开放注册即所谓 GA—— General Available,就是“你只管写 SQL,其它的交给云器。”



云器 Lakehouse 完成了全球七大主流云平台适配


云器 Lakehouse 产品采用了 Single-Engine 和通用增量计算技术。据云器科技 CTO 关涛介绍,通过深度优化的全 Native C++实现的向量化引擎,并得益于软件、硬件技术、网络技术的突破,Lakehouse 产品表现出多面且优异的性能,以在批处理领域为例,云器 Lakehouse 在标准 TPC-DS 10TB 测试中展现出比开源 Spark 快 10 倍的性能优势。


关涛在发布会上分享了引擎性能突破背后的技术改进项,并逐条解析了性能提升的关键因素:自研的基于 Cascades 模型的 CBO 优化器带来 2 倍性能提升,Native 引擎实现提供 3 倍性能提升,直连调度方案实现 1.3 倍提升,以及默认开启的自动缓存带来 1.3 倍性能提升。此外,云器 Lakehouse 还实现了 MPP 和 BSP 两种调度模式的融合架构,为不同场景提供最优性能。




统一数据、统一引擎、统一体验


在产品能力方面,云器科技 Lakehouse 产品总监曲宁分享了“统一数据、统一引擎、统一体验”的设计理念,并详细分享数据平台的架构设计。曲宁详细介绍了平台的四大核心能力:


  • 全面 Serverless 化的计算服务,支持秒级弹性伸缩

  • 基于增量计算实现统一计算模式,可实现 ETL 链路的大幅简化

  • Data+AI 融合分析能力,支持对企业所有数据资产的统一管理

  • 一体化的开发治理平台 Lakehouse Studio,提供数据团队开发运维数据的全家桶套件


发布数据智能产品功能


值得关注的是,云器科技在此次发布会上还重点展示了数据与 AI 的结合能力。云器科技 AI 产品总监孟硕表示,企业已普遍认识到构建 AI 就绪的知识库系统是当前 AI 投资的最佳切入点。为提升企业数据与 AI 融合能力,云器科技全面升级数据平台,新增 RAG 就绪层,整合向量检索、倒排索引及语义引擎等关键功能。基于升级后的平台架构,推出两款创新应用产品:智能对话式数据分析工具 Lakehouse DataGPT,和智能开发助手 Lakehouse Copilot,两款重要产品功能,致力于让企业数据资产更易于被 AI 利用和访问。


Lakehouse DataGPT 基于云器统一的数据底座,在对话式 BI 分析场景中,可以准确理解复杂的业务语境,将用户的自然语言准确转化为数据查询,并提供清晰的推理过程展示,确保分析结果的可信度。这些创新有效降低了企业构建 AI 应用的技术门槛,加速了企业数据智能化转型。


云器提出“通用增量计算”的首个行业标准-SPOT


此次发布会,云器展现的一大亮点是增量计算技术——既通过只计算数据变化部分,提升计算效能,保持高性能的同时显著降低计算成本。关涛谈到增量计算技术的巨大潜力,并提出“增量计算将成为继批处理、流计算、交互分析之后的第四代主流计算模式。”特别的,关涛强调了云器在增量计算技术前沿的实践,提出“通用增量计算”概念,旨在让通用计算不再只是于狭窄场景下具备优化意义,而是在更普遍的场景实装,甚至包括对 UDF 的支持。


通用增量计算的定义


作为业界首个提出并落地通用增量计算(Generic Incremental Computing, GIC)技术的企业,云器科技 CTO 关涛在发布会上系统性地阐述了这一创新技术。通用增量计算是一种同时面向高性能和低延迟优化的新计算模式,当上游数据持续变更时,系统只计算数据变化的部分并与之前的查询结果合并,从而以最小的计算成本快速生成最新结果。不同于传统流计算中的增量计算,GIC 采用统一的计算逻辑,可以同时支持批处理、流处理和交互式分析三种场景。



通用增量计算的 SPOT 技术标准


关涛在发布会上公布了行业首个通用增量计算的技术标准——SPOT 技术标准,旨在促进交流推动行业技术创新。



通用增量计算的技术标准-SPOT


SPOT 标准:

  • S - Standard SQL with Full Synatx/Semantics

  • P - Performance

  • O - Open Format

  • T - Trande-off seamlessly between T+0 and T+1


CTO 关涛分享了过去几年云器实现通用增量计算技术的经验和实现路径,预告即将在未来向行业公开更多重磅的客户案例。并表示未来几个月内将发布《通用增量计算技术白皮书》,以推动这项技术的发展。


体验开箱即用的云湖仓


试用云器 Lakehouse 产品,可以在不到 5 分钟的时间内完成从注册到运行测试 SQL 的全过程。除了能够快速分析数据,观察云器 Lakehouse 的数据导入、运维、管理等功能,可以看出它不仅提供一个数据处理分析的引擎,也提供一整套大数据分析平台的组件能力。这是原来在互联网大厂和业内头部数据型企业才能配备的数据处理和管理能力,现在通过注册账号就能获得。


—— 数据技术普惠正在发生。


观看本次发布会的回放,可以访问云器科技官网https://www.yunqi.tech/open2025

2025-01-17 14:4915489

评论

发布
暂无评论

使用 Midjourney 进行 UI/UX 设计的一些典型场景

汪子熙

人工智能 ChatGPT MidJourney 6 月 优质更文活动

华为云GaussDB:为企业提供智能、高效、安全的数据库解决方案

轶天下事

Wallys/wifi 6 router ipq8072 enterprise wireless dual band /support wifi6e card

Cindy-wallys

IPQ8072

程序员常见的6种最佳实践

互联网工科生

程序员 前端 技巧

ClickHouse技术研究及语法简介 | 京东云技术团队

京东科技开发者

MySQL elasticsearch Clickhouse TiDB 企业号 6 月 PK 榜

科勒亮相设计上海2023,全方位打造敢创艺术空间

科技热闻

聊聊 220V交流 过零检测

矜辰所致

电路设计 过零检测 6 月 优质更文活动

为什么要学3D建模呢?

Finovy Cloud

3d建模

到底什么是Java AIO?为什么Netty会移除AOI?一文搞懂AIO的本质!

JackJiang

网络编程 即时通讯 IM

第四课 设计千万级学生管理系统考试试卷存储方案

家有两宝

架构训练营

基于STM32的智能饮水机系统设计

DS小龙哥

6 月 优质更文活动

【TypeScript】TS条件类型

不叫猫先生

typescript 6 月 优质更文活动

MySQL一个关于derived table的bug描述与规避

GreatSQL

开发者聚焦 | 不容错过的开发者新专栏就要来啦!

亚马逊云科技 (Amazon Web Services)

亚马逊云科技

【SIGMOD 2023】深度学习弹性数据流水线系统GoldMiner,大幅提升任务和集群效率

阿里云大数据AI技术

人工智能 深度学习 数据库 企业号 6 月 PK 榜

视频直播源码技术知识分享:连麦功能

山东布谷科技

软件开发 源码搭建 直播源码 短视频直播源码

华为云数据库GaussDB,无惧“卡脖子”,给世界一个更优选择

轶天下事

以GaussDB举例,浅谈商业版数据库的断供风险以及国产数据库的重要性

轶天下事

Idea Mybatis插件:提高CRUD效率

林贻民

MySQL mybatis IntelliJ IDEA

检测客户端访问设备的一种新方法

为自己带盐

.net core 设备检测

Spring应用启动分析优化

林贻民

字节码插桩 字节码增强 spring-boot

用友BIP全球司库十问之大型企业如何管好资金预算?

用友BIP

全球司库

人生三借、成就伟业

科技热闻

以创新驱动增长,百度营销助力成人教育机构迎战金秋季

科技热闻

SUFS: 存储资源使用量预测服务

KaiwuDB

KaiwuDB 存储资源使用量预测

商业版数据库断供风险愈发扩大,浅谈GaussDB与国内企业的应对方式

轶天下事

科勒携多款重磅产品惊艳亮相第27届中国国际厨卫展

科技热闻

科创西安:秦创原·信创人才培养暨鸿蒙生态产教融合发展论坛举行

坚果

OpenHarmony 6 月 优质更文活动

SAP UI5 OData 谣言粉碎机:极短时间内发送两个 Odata 请求,前一个会自动被 cancel 掉吗

汪子熙

SAP OData ui5 思爱普 6 月 优质更文活动

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用_大数据_InfoQ精选文章