NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

Alluxio AI 全新产品发布:无缝对接低成本对象存储 AI 训练解决方案

  • 2023-10-19
    北京
  • 本文字数:3762 字

    阅读完需:约 12 分钟

大小:1.87M时长:10:54
Alluxio AI全新产品发布:无缝对接低成本对象存储AI训练解决方案

(2023 年 10 月 19 日,北京)Alluxio 作为一家承载各类数据驱动型工作负载的数据平台公司,现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。 Alluxio Enterprise AI 平台可综合优化企业 AI 和分析基础设施的性能、数据可访问性、可扩展性和成本效益,助力生成式 AI、计算机视觉、自然语言处理、大语言模型和高性能数据分析等下一代数据密集型应用的发展。

 

为保持竞争力并在竞争中脱颖而出,各家企业都在全力推进数据和 AI 基础设施的现代化。在此过程中,企业家们也意识到传统的数据基础设施已经无法匹配下一代数据密集型 AI 负载的需求。在 AI 项目推进中经常遭遇的各类挑战,诸如性能低下、数据可访问性差、GPU 稀缺、数据工程复杂以及资源未充分利用等,都严重妨碍了企业获取数据价值。 Gartner® 研究称,“可操作 AI 的价值在于能够在企业的各种环境下进行快速开发、部署、调整和维护。考虑到工程复杂性和更快的市场响应需求,开发较为灵活的 AI 工程数据流,构建能够在生产中进行自适应的 AI 模型均至关重要” ,“到 2026 年,采用 AI 工程来构建和管理自适应 AI 系统的企业,将在 AI 模型可操作性方面至少超越同行 25%。”

 

Alluxio 创始人兼 CEO 李浩源表示:“Alluxio 用最先进的大数据和 Al 平台为全球头部企业客户赋能,今天我们又向前迈出了一大步”, “Alluxio Enterprise AI 为客户提供高效的 AI 解决方案,帮助企业加速 AI 工作负载并最大限度地获取数据价值。未来的企业领导者将知道如何利用变革性 AI 来推进数据驱动,通过最新技术来构建和维护 AI 基础设施,实现超高性能、无缝访问和便捷管理。”

 

此次新版发布后,Alluxio 即从一种产品扩展到两种产品组合——Alluxio Enterprise AI 和 Alluxio Enterprise Data,全面满足分析和 AI 的多样化需求。Alluxio Enterprise AI 作为一款全新产品,建立在 Alluxio 企业版多年积累的分布式系统经验上,采用了针对 AI/ML 负载优化的新架构。 Alluxio Enterprise Data 是 Alluxio 企业版大数据方向的下一代版本(与 Alluxio Enterprise AI 平行),并将继续成为专注分析负载企业的理想选择。

加速端到端机器学习工作流

 

Alluxio Enterprise AI 使得企业的 AI 基础设施能够在现有数据湖上实现高性能运行、无缝数据访问、可扩展且经济高效。它能帮助数据和 AI 领域的领导者和从业者实现 AI 项目的四个关键目标:1.高性能模型训练和部署,快速产生业务成效;2.跨区域和跨云负载可无缝访问数据;3.可无限扩展,已经互联网巨头内部严格测试;4. 无需使用昂贵的专用存储,在现有技术栈上即可部署,确保投资回报最大化。企业使用 Alluxio Enterprise AI 后,预期训练速度可比使用提供商业服务的对象存储快达 20 倍,模型服务速度提升高达 10 倍,GPU 利用率达 90%以上,AI 基础设施成本节约高达 90%。

 

Alluxio Enterprise AI 拥有包含去中心化元数据的分布式系统架构,可消除访问海量小文件(常见于 AI 负载)时的性能瓶颈。无论文件大小或数量如何,都能确保具备超越传统架构的无限扩展性。与传统分析不同,分布式缓存是根据 AI 负载 I/O 模式量身定制的。此外,还支持分析负载以及从数据摄取到 ETL(提取、转换、加载)、预处理、训练和服务的完整机器学习工作流 。

 

Alluxio Enterprise AI 包含以下重要特性:

 

  • 性能出色的模型训练和模型服务——Alluxio Enterprise AI 显著提升企业在现有数据湖上的模型训练和服务性能。用于模型训练的强化 API 集可实现优于商业化对象存储 20 倍的性能。对于模型服务,Alluxio 提供超高并发性,在将离线训练集群中的模型用于在线推理时实现高达 10 倍的速度提升。

  • 适合 AI 工作负载 I/O 模式的智能分布式缓存——Alluxio Enterprise AI 的分布式缓存功能使得 AI 引擎能够通过高性能 Alluxio 缓存(而非缓慢的数据湖存储)来读写数据。 Alluxio 的智能缓存策略专门针对 AI 引擎的 I/O 模式量身定制,包括大文件顺序访问、大文件随机访问和海量小文件访问。该优化帮助需要大量数据的 GPU 实现高吞吐和低延迟。训练集群持续从高性能分布式缓存中获取数据,可实现 90%以上的 GPU 利用率。

  • 跨本地和云环境的 AI 工作负载实现无缝数据访问 - Alluxio Enterprise AI 为企业提供了统一的管理界面,可以轻松管理跨不同基础设施环境的 AI 工作负载。该产品为机器学习工作流提供了真实的数据源,从根本上消除了大型企业数据湖孤岛的瓶颈。通过 Alluxio Enterprise AI 这一标准数据访问层,企业可以在不同业务部门和地理位置之间实现数据的无缝共享。

  • 经过大规模严格测试的全新分布式系统架构- Alluxio Enterprise AI 平台构建在创新的去中心化架构 DORA(去中心化对象存储库架构)之上。该架构为 AI 工作负载提供了无限扩展的基础,允许 AI 平台通过包括 Amazon S3 在内的商业化对象存储处理多达 1000 亿个对象。该新架构借助 Alluxio 在分布式系统方面的成熟专业知识,解决了系统可扩展性、元数据管理、高可用性和性能方面不断增长的挑战。

 

 Enterprise Strategy Group 分析师 Mike Leone 表示:“随着组织在整个业务范围内扩展 AI 的应用,优化下一代工作负载过程中的性能、成本和 GPU 利用率变得至关重要” ,“Alluxio 拥有极具优势的产品,能真正帮助数据和 AI 团队实现更高的性能、无缝的数据访问,以及模型训练和模型服务的便捷管理。”

 

“我们与 Alluxio 合作密切,Allxuio 平台对我们的数据基础设施至关重要,”Aunalytics 分析云工程总监 Rob Collins 表示, “Aunalytics 对于 Alluxio 新推出的针对企业 AI 的分布式系统十分期待,并看好新产品在 AI 行业的巨大潜力。”

 

“公司内部训练的大语言模型为我们的问答应用和推荐引擎提供支持,极大地增强了用户体验和参与度”,知乎数据平台团队软件工程师胡梦宇表示, “在我们的 AI 基础设施中,Alluxio 处于核心地位。在使用 Alluxio 作为数据访问层后,我们的模型训练性能提升了 3 倍,部署性能提升了 10 倍,GPU 利用率翻倍。Alluxio 的 Enterprise AI 平台采用全新的 DORA 架构,能支持访问海量小文件,对此我们十分期待。在 AI 浪潮即将到来的时刻,Alluxio 新产品让我们在支持 AI 应用方面更有信心。”

在机器学习工作流中部署 Alluxio


Gartner 研究显示,数据可访问性和数据量/复杂性是组织应用 AI 技术中遇到的三大难题之一。 Alluxio Enterprise AI 可以添加到由 AI 计算引擎和数据湖存储组成的已有 AI 基础设施中。 Alluxio 位于计算和存储中间,可以在机器学习工作流中跨模型训练和模型服务工作,从而实现最大速度和最优成本。例如,将 PyTorch 作为训练和服务引擎, Amazon S3 为现有数据湖:

 

  • 模型训练:当用户训练模型时,PyTorch 数据加载器从虚拟本地路径/mnt/alluxio_fuse/training_datasets 加载数据集。数据加载器不会直接从 S3 加载数据,而是从 Alluxio 缓存加载。在训练过程中,缓存的数据集将在多个 epoch 中使用,因此整个训练速度不再受制于访问 S3 而产生的瓶颈。也就是说,Alluxio 通过缩短数据加载来加速训练,消除 GPU 空闲等待时间,提高 GPU 利用率。模型训练完成后,PyTorch 通过 Alluxio 将模型文件写入 S3。

  • 模型服务:最新训练的模型需要部署到推理集群。多个 TorchServe 实例同时从 S3 并发读取模型文件。Alluxio 会缓存这些来自 S3 的最新模型文件,并以低延迟提供给推理集群。因此,最新模型一旦可用时,下游的 AI 应用即可将其用于推理。

平台与现有系统集成

 

要将 Alluxio 与现有平台集成,用户可以在计算引擎和存储系统之间部署 Alluxio 集群。在计算引擎侧,Alluxio 可与 PyTorch、Apache Spark、TensorFlow 和 Ray 等流行的机器学习框架无缝集成。企业可以通过 REST API、POSIX API 或 S3 API 将 Alluxio 与这些计算框架集成。

 

在存储侧,Alluxio 可连接位于任何位置(本地、云端或两者兼有)的各类文件系统或对象存储。支持的存储系统包括 OSS、COS、BOS、OBS、Amazon S3、Google GCS、Azure  Blob Storage、MinIO、Ceph、HDFS 等。

 

Alluxio 可在本地和云端、物理机或容器化环境中运行。支持的云平台包括阿里云、腾讯云、百度云、华为云、AWS、GCP、Azure Cloud 等。

 

下载资源


Alluxio Enterprise AI 下载链接:https://www.alluxio.io/download/

 

AI Infra Day


在美西时间 10 月 25 日的 AI Infra Day 上,Alluxio 将首次公开展示其最新发布的 Alluxio Enterprise AI 平台。AI Infra Day 是面向开发者的线上活动,主要探讨构建高性能、可扩展且经济高效的 AI 基础设施中的挑战及各种方案。特邀嘉宾包括 Wanchao Liang(Meta )、 Sally (Mihyoung) Lee(Uber) 和范斌(Alluxio)。活动现已开放报名:https://www.alluxio.io/ai-infra-day-2023/。

 

关于 Alluxio

 

Alluxio 是全球领先的针对分析和 AI 的高性能数据平台提供商,可加速企业 AI 产品价值变现,并最大化基础设施的投资回报率。Alluxio 数据平台位于计算与存储系统之间,能够在数据工作流的各个阶段为数据平台上的工作负载提供统一视图。无论数据位于何处,该平台均可提供高性能的数据访问,简化数据工程,提高 GPU 利用率,并降低云计算和存储成本。企业无需使用专用存储,即可大幅加速模型训练和模型服务,并在现有数据湖上构建 AI 基础设施。


Alluxio 在头部投资者的支持下, 为全球科技、互联网、金融和电信企业提供服务,目前全球排名前 10 的互联网公司中有 9 家在使用 Alluxio。了解更多信息,请访问 www.alluxio.com.cn。

 

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-10-19 18:146347

评论

发布
暂无评论
发现更多内容

从没见过能把高并发拆解的这么详细!阿里巴巴这份堪称神级的“高并发”教程太香了

Java永远的神

Java 程序员 架构 面试 高并发

Istio的扩展和定制

阿泽🧸

istio 8月月更

兆骑科创双创服务平台,创新创业高层次人才引进,投融资对接

兆骑科创凤阁

架构实战营毕业总结

融冰

4K详解Linux内核——环境搭建

了不起的程序猿

数据库 程序员 系统 linux security

Kubernetes 集群 Ingress 网关

CTO技术共享

开源 签约计划第三季 8月月更

阿里内部高并发核心编程笔记:多线程、锁、JMM、JUC、设计模式

冉然学Java

JMM 设计模式 java; 多线程高并发

深入浅出边缘云 | 5. 运行时控制

俞凡

架构 边缘计算 网络 深入浅出边缘云

迄今为止见过最详细的零拷贝技术讲解

C++后台开发

后端开发 零拷贝 Linux服务器开发 C/C++后台开发 C/C++开发

1500字简述 Apache ZooKeeper 的基本原理

wljslmz

Apache zookeeper 分布式 8月月更

设备树

贾献华

8月月更

今天面了个腾讯拿38K出来的大佬,让我见识到了Java面试八股文的天花板

Java全栈架构师

Java 数据库 spring 程序员 面试

阿里SpringCloudAlibaba实战小抄(第五版)GitHub独家首发开源

冉然学Java

GitHub 开源 springcloudAlibaba spring-boot

STM32的启动过程 — startup_xxxx.s文件解析(MDK和GCC双环境)

矜辰所致

stm32 arm 8月月更 stm32启动流程 startup_xxxx.s

Kubernetes微服务、容器介绍

CTO技术共享

开源 签约计划第三季 8月月更

阿里大神级 最新Elasticsearch 笔记,抓紧学起来!

冉然学Java

elasticsearch 编程 分布式 java; 程序员、

一个可以提前结项的敏捷项目

Bruce Talk

敏捷 Agile 敏捷项目

兆骑科创创新创业大赛承办,线上直播路演,企业孵化

兆骑科创凤阁

STM32+果云GA6-GPRSGSM模块+MQTT+HTTP协议连接中移OneNet上传GPS数据定位

DS小龙哥

8月月更

基于 OPLG 从 0 到 1 构建统一可观测平台实践

阿里巴巴云原生

阿里云 分布式 云原生 可观测 全链路

Go-Excelize API源码阅读(二)——OpenFile()

Regan Yue

Go 开源 源码刨析 源码解读 8月月更

Kubernetes 虚拟机部署弊端

CTO技术共享

开源 签约计划第三季 8月月更

阿里巴巴2022全新出品亿级并发设计速成宝典(系统拆分,缓存,MQ,读写分离,分布分表,ES扩容应有尽有)

程序员小毕

Java 程序员 面试 后端 高并发

Web网页端IM产品RainbowChat-Web的v4.1版已发布

JackJiang

html5 前端 websocket 即时通讯 IM

MySQL存储引擎

武师叔

8月月更

Kubernetes 污点和容忍

CTO技术共享

开源 签约计划第三季 8月月更

开源一夏 | 自从我使用HiFlow场景连接器后,在也不用担心成为“落汤鸡”了

叶秋学长

开源 8月月更 Hiflow

阿里架构师力推jvm架构解析文档,把JVM调优实战讲的明明白白

Java工程师

Java JVM GC

Kubernetes日常故障解决

CTO技术共享

开源 签约计划第三季 8月月更

JOIN查询时,我为什么建议你将小表放在前面?(NLJ,SNL,BNL算法全面解析)

董哥的黑板报

MySQL 数据库 后端 服务端 db

IPv6地址规划

穿过生命散发芬芳

ipv6 8月月更

Alluxio AI全新产品发布:无缝对接低成本对象存储AI训练解决方案_大数据_Alluxio_InfoQ精选文章