写点什么

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

云器科技

  • 2025-01-17
    北京
  • 本文字数:2106 字

    阅读完需:约 7 分钟

大小:1.05M时长:06:07
重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

2025 年 1 月 15 日,云器科技举行了云器 Lakehouse 产品开放注册发布会。这标志着这家专注于数据基础设施的科技公司,正式向全球用户开放体验其创新的云湖仓产品。


云器 Lakehouse 开放注册


云器科技 CEO 喻思成宣布云器 Lakehouse 正式开放注册,同时宣布了产品已经完成了在全球七大主流云平台的适配,并且已经在大部分云平台开服。这意味着云器提供了统一的数据底座,让企业可以在异构云环境中获得一致的数据平台体验。


云器 Lakehouse:基于增量计算的云湖仓平台


喻思成表示,十年前“云”让计算像水电一样触手可及,今天云器的开放注册:旨在让数据和 AI 更普惠,像煤气炉一样触手可及——不需要专业团队,不需要开源自建。就是这次云器开放注册的意义,开放注册即所谓 GA—— General Available,就是“你只管写 SQL,其它的交给云器。”



云器 Lakehouse 完成了全球七大主流云平台适配


云器 Lakehouse 产品采用了 Single-Engine 和通用增量计算技术。据云器科技 CTO 关涛介绍,通过深度优化的全 Native C++实现的向量化引擎,并得益于软件、硬件技术、网络技术的突破,Lakehouse 产品表现出多面且优异的性能,以在批处理领域为例,云器 Lakehouse 在标准 TPC-DS 10TB 测试中展现出比开源 Spark 快 10 倍的性能优势。


关涛在发布会上分享了引擎性能突破背后的技术改进项,并逐条解析了性能提升的关键因素:自研的基于 Cascades 模型的 CBO 优化器带来 2 倍性能提升,Native 引擎实现提供 3 倍性能提升,直连调度方案实现 1.3 倍提升,以及默认开启的自动缓存带来 1.3 倍性能提升。此外,云器 Lakehouse 还实现了 MPP 和 BSP 两种调度模式的融合架构,为不同场景提供最优性能。




统一数据、统一引擎、统一体验


在产品能力方面,云器科技 Lakehouse 产品总监曲宁分享了“统一数据、统一引擎、统一体验”的设计理念,并详细分享数据平台的架构设计。曲宁详细介绍了平台的四大核心能力:


  • 全面 Serverless 化的计算服务,支持秒级弹性伸缩

  • 基于增量计算实现统一计算模式,可实现 ETL 链路的大幅简化

  • Data+AI 融合分析能力,支持对企业所有数据资产的统一管理

  • 一体化的开发治理平台 Lakehouse Studio,提供数据团队开发运维数据的全家桶套件


发布数据智能产品功能


值得关注的是,云器科技在此次发布会上还重点展示了数据与 AI 的结合能力。云器科技 AI 产品总监孟硕表示,企业已普遍认识到构建 AI 就绪的知识库系统是当前 AI 投资的最佳切入点。为提升企业数据与 AI 融合能力,云器科技全面升级数据平台,新增 RAG 就绪层,整合向量检索、倒排索引及语义引擎等关键功能。基于升级后的平台架构,推出两款创新应用产品:智能对话式数据分析工具 Lakehouse DataGPT,和智能开发助手 Lakehouse Copilot,两款重要产品功能,致力于让企业数据资产更易于被 AI 利用和访问。


Lakehouse DataGPT 基于云器统一的数据底座,在对话式 BI 分析场景中,可以准确理解复杂的业务语境,将用户的自然语言准确转化为数据查询,并提供清晰的推理过程展示,确保分析结果的可信度。这些创新有效降低了企业构建 AI 应用的技术门槛,加速了企业数据智能化转型。


云器提出“通用增量计算”的首个行业标准-SPOT


此次发布会,云器展现的一大亮点是增量计算技术——既通过只计算数据变化部分,提升计算效能,保持高性能的同时显著降低计算成本。关涛谈到增量计算技术的巨大潜力,并提出“增量计算将成为继批处理、流计算、交互分析之后的第四代主流计算模式。”特别的,关涛强调了云器在增量计算技术前沿的实践,提出“通用增量计算”概念,旨在让通用计算不再只是于狭窄场景下具备优化意义,而是在更普遍的场景实装,甚至包括对 UDF 的支持。


通用增量计算的定义


作为业界首个提出并落地通用增量计算(Generic Incremental Computing, GIC)技术的企业,云器科技 CTO 关涛在发布会上系统性地阐述了这一创新技术。通用增量计算是一种同时面向高性能和低延迟优化的新计算模式,当上游数据持续变更时,系统只计算数据变化的部分并与之前的查询结果合并,从而以最小的计算成本快速生成最新结果。不同于传统流计算中的增量计算,GIC 采用统一的计算逻辑,可以同时支持批处理、流处理和交互式分析三种场景。



通用增量计算的 SPOT 技术标准


关涛在发布会上公布了行业首个通用增量计算的技术标准——SPOT 技术标准,旨在促进交流推动行业技术创新。



通用增量计算的技术标准-SPOT


SPOT 标准:

  • S - Standard SQL with Full Synatx/Semantics

  • P - Performance

  • O - Open Format

  • T - Trande-off seamlessly between T+0 and T+1


CTO 关涛分享了过去几年云器实现通用增量计算技术的经验和实现路径,预告即将在未来向行业公开更多重磅的客户案例。并表示未来几个月内将发布《通用增量计算技术白皮书》,以推动这项技术的发展。


体验开箱即用的云湖仓


试用云器 Lakehouse 产品,可以在不到 5 分钟的时间内完成从注册到运行测试 SQL 的全过程。除了能够快速分析数据,观察云器 Lakehouse 的数据导入、运维、管理等功能,可以看出它不仅提供一个数据处理分析的引擎,也提供一整套大数据分析平台的组件能力。这是原来在互联网大厂和业内头部数据型企业才能配备的数据处理和管理能力,现在通过注册账号就能获得。


—— 数据技术普惠正在发生。


观看本次发布会的回放,可以访问云器科技官网https://www.yunqi.tech/open2025

2025-01-17 14:4915285

评论

发布
暂无评论

人工智能核心基础 - 规划和概要

茶桁

人工智能 机器学习 深度学习 CNN RNN

华为阅读“鲁迅专栏”已上线,读国内名家作品就上华为阅读

最新动态

rabbitMQ到底是个啥东西?

程序员万金游

Java 开发 #java Rabbit MQ

华为智慧屏,吹尽狂沙始到金

脑极体

AI智慧屏

“00后”整顿职场,终于轮到网安圈了

脑极体

数据湖

活动预告 | 中国数据库联盟(ACDU)中国行第三站定档成都,邀您探讨数据库前沿技术

墨天轮

MySQL 数据库 oracle postgresql zabbix

企业内部通讯,WorkPlus助您打造高效沟通平台

BeeWorks

Github上线即遭狂转!上百人通过这份算法手抄本成功上岸字节

程序员万金游

#java java 架构 #算法 #数据结构 #java编程

腾讯Java后端社招三面,差点就挂了!

程序员小毕

Java 程序员 面试 程序人生 架构师

轻量应用服务器,助力个人开发者最低成本创业

YG科技

从技术创新到应用实践,百度智能云发起大模型平台应用开发挑战赛!

不叫猫先生

百度智能云 千帆大模型平台

Redis类型(Type)与编码(Encoding)

Java随想录

redis

福利贴|这是一个程序员不看一定会后悔的问题

Zilliz

非结构化数据 Milvus Zilliz 向量数据库

为什么要使用zookeeper

Jerry Tse

zookeeper 分布式锁 分布式系统 共识算法 数据强一致性

大道总是孤独的——查理芒格如是说

少油少糖八分饱

投资 长期主义 能力圈 查理芒格 股东大会

HarmonyOS使用多线程并发能力开发

HarmonyOS开发者

HarmonyOS

WorkPlus私有化部署IM即时通讯平台,构建高效安全的局域网办公环境

BeeWorks

使用Optional优雅避免空指针异常

Java随想录

Java 异常

Java训练营毕业总结

jjn0703

火山引擎边缘云:数智化项目管理助力下的业务增长引擎

火山引擎边缘云

数字化 飞书 数智化 #项目管理

Python 中的数字类型与转换技巧

小万哥

Python 程序员 软件 后端 开发

华为云耀云服务器L实例:带你探索轻量应用服务器的魅力

YG科技

Generative AI 新世界 | 扩散模型原理的代码实践之采样篇

亚马逊云科技 (Amazon Web Services)

机器学习 #人工智能 生成式人工智能 Amazon SageMaker 大语言模型

close()关闭文件方法

芯动大师

IoTDB 在国际数据库性能测试排行榜中位居第一?测试环境复现与流程详解第一弹!

Apache IoTDB

英伟达,不能只做孤独的胜利者

自象限

WorkPlus Meet 视频会议,自主可控,支持私有化部署

BeeWorks

TinyEngine 低代码引擎到底是什么?

英勇无比的消炎药

开源 前端 低代码

数字中国下西洋,需要一支怎样的船队?

白洞计划

AI 网易 风控

Redis内存碎片:深度解析与优化策略

Java随想录

Java redis

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用_大数据_InfoQ精选文章