写点什么

GMI Cloud 全球化高性能分布式推理服务构建实践|AICon 上海

  • 2025-04-25
    北京
  • 本文字数:1004 字

    阅读完需:约 3 分钟

大小:551.96K时长:03:08
GMI Cloud 全球化高性能分布式推理服务构建实践|AICon 上海

5 月 23 日-24 日,AICon 全球人工智能开发与应用大会上海站即将拉开帷幕。本次大会将聚焦 AI 技术的前沿突破与产业落地,围绕 AI Agent、多模态应用、大模型架构创新、推理性能优化、大模型驱动数据创新、AI 产品创新与出海策略等核心议题,呈现技术与应用融合的最新趋势。


GMI Cloud 亚太区总裁 King 已确认出席 AICon 上海并在企业全球化发展的策略路径专题发表题为《GMI Cloud 全球化高性能分布式推理服务构建实践》的主题分享。AI 应用全球化浪潮下, 推理效率与算力供给成为破局关键。本次演讲以 GMI Cloud Inference Engine 为锚点,拆解其高并发、低延迟、动态扩缩容能力如何支撑全球 AI 业务爆发,深度分享 GMI Cloud 自研推理平台的架构设计、跨区域合规部署及软硬协同优化实践,揭秘其实现推理成本、指数级效率提升的关键路径。


GMI Cloud 亚太区总裁 King 拥有 14+ 年云计算经验,历经产品研发、解决方案、销售管理。是前阿里云资深总监,带领团队完成年销售额数百亿 RMB;中国云计算早期开拓者,前百度云创始团队成员。不仅拥有丰富且敏锐的商业洞察力和丰富的行业解决方案经验,还拥有深刻的云计算技术理解力和发展趋势判断力。他在本次会议的详细演讲内容如下:


演讲提纲:

1. AI 应用爆发背景下模型推理服务的核心挑战分析

2. GMI Cloud 推理优化技术分享

  • 单集群内推理服务自动扩容技术

  • 跨集群跨地区的推理服务自动扩容技术

  • 单集群的 PD 分离技术

  • 基于共享持久化存储的跨集群 PD 分离技术

  • 推理参数自动化评测工具介绍

  • 推理服务全面主动监控技术

  • 推理服务的自动容错恢复

3. GMI Cloud Inference Engine 落地实践


听众收益:

  • 明晰 AI 应用爆发时,模型推理服务在效率与算力上存在核心挑战

  • 深度了解 GMI Cloud 的推理优化技术,如自动扩容、PD 分离、评测监控及容错恢复等

  • 知悉 GMI Cloud Inference Engine 如何动态应对高并发,保障数据处理,精准评估与监控推理服务

  • 复制 GMI Cloud Inference Engine 的优秀实践到自身业务中


除此之外,本次大会还策划了AI Agent 构建及多元应用多模态大模型创新实践AI for Data,数据管理与价值挖掘实践大模型推理性能优化策略AI 产品设计的创新思维智能硬件与大模型的融合探索金融领域大模型应用实践大模型助力业务提效实践等专题,届时将有来自不同行业、不同领域、不同企业的 60+资深专家在 AICon 上海站现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 580 元,详情可扫码或联系票务经理 13269078023 咨询。



2025-04-25 09:004977

评论

发布
暂无评论

openEuler 开源汇智赢未来|2023开放原子全球开源峰会 openEuler 论坛成功召开

openEuler

开源 操作系统 openEuler 资讯

测试左移

BY林子

软件测试 敏捷测试

理解 与 计算 物联网产品的电池使用寿命

矜辰所致

物联网 低功耗计算 电量计算 6 月 优质更文活动

【有奖体验】叮!你有一张 3D 卡通头像请查收

Serverless Devs

Serverless 函数计算FC

聊聊数科公司如何与现有数智平台厂商协同作战

用友BIP

数科公司 数智平台 数智平台白皮书

OpenHarmony工程模板和开发语言

坚果

OpenHarmony 6 月 优质更文活动

系统重构实施,百亿级核心交易如何保证准确性?

鲸品堂

计费模式 对账系统 企业号 6 月 PK 榜

2023开放原子全球开源峰会高峰论坛成功举办

开放原子开源基金会

开源 开放原子全球开源峰会 开放原子 高峰论坛

libpq SDK 发送 SQL 和解析结果

KaiwuDB

sql KaiwuDB

STM32+DHT11监测环境的温湿度

DS小龙哥

6 月 优质更文活动

里氏替换原则究竟如何理解?

磐远

Java 设计模式 设计原则 里氏替换

瓴羊Quick BI:企业数据分析的利器

夜雨微澜

安全问题我们需要重视,立刻升级fastjson2

源字节1号

开源 软件开发 后端开发 小程序开发

原点安全携“金融机构消费者个人信息保护解决方案”亮相 2023 中国金融数字化转型发展大会

原点安全

数据安全 金融机构 个人信息保护

BeautifulPrompt:PAI推出自研Prompt美化器,赋能AIGC一键出美图

阿里云大数据AI技术

人工智能 AIGC Prompt 企业号 6 月 PK 榜

架构成长之路 | 图解分布式共识算法Paxos教会协议

阿里技术

paxos协议 分布式算法

蚂蚁集团云原生智能容量技术 KapacityStack 正式开源

TRaaS

GitHub 开源 蚂蚁集团

2023 PlatformCon 平台工程大会回顾

杨振涛

平台工程 内部开发者平台 内部开发者门户 平台工程大会 平台团队

Abaqus有限元分析技术应用于卫星强度校核

思茂信息

abaqus abaqus软件 abaqus有限元仿真 有限元仿真技术

中企出海,海外商旅费控的关键点是什么?

用友BIP

中企出海

直播回顾|走进元服务,携手小强停车探索鸿蒙新流量阵地

HarmonyOS SDK

HMS Core

使用华为云开发者插件一键部署应用到ECS

华为云PaaS服务小智

ide 云计算 插件 华为云

快速掌握Kubernetes中的核心概念

穿过生命散发芬芳

k8s 6 月 优质更文活动

成败关键!一对一直播源码平台搭建需要的条件

山东布谷科技

软件开发 源码搭建 一对一直播源码 直播源码

低代码开发平台为数智赋能,让开发变得更简单

引迈信息

前端 低代码 JNPF

智能人才发现,帮助企业精准找人,快速识人

用友BIP

数智人力

中盐集团:以财务共享为基础,引领盐行业数智化转型

用友BIP

财务共享

this 之谜揭底:从浅入深理解 JavaScript 中的 this 关键字(二)

沉浸式趣谈

GMI Cloud 全球化高性能分布式推理服务构建实践|AICon 上海_云计算_AICon 全球人工智能开发与应用大会_InfoQ精选文章