写点什么

GMI Cloud 全球化高性能分布式推理服务构建实践|AICon 上海

  • 2025-04-25
    北京
  • 本文字数:1004 字

    阅读完需:约 3 分钟

大小:551.96K时长:03:08
GMI Cloud 全球化高性能分布式推理服务构建实践|AICon 上海

5 月 23 日-24 日,AICon 全球人工智能开发与应用大会上海站即将拉开帷幕。本次大会将聚焦 AI 技术的前沿突破与产业落地,围绕 AI Agent、多模态应用、大模型架构创新、推理性能优化、大模型驱动数据创新、AI 产品创新与出海策略等核心议题,呈现技术与应用融合的最新趋势。


GMI Cloud 亚太区总裁 King 已确认出席 AICon 上海并在企业全球化发展的策略路径专题发表题为《GMI Cloud 全球化高性能分布式推理服务构建实践》的主题分享。AI 应用全球化浪潮下, 推理效率与算力供给成为破局关键。本次演讲以 GMI Cloud Inference Engine 为锚点,拆解其高并发、低延迟、动态扩缩容能力如何支撑全球 AI 业务爆发,深度分享 GMI Cloud 自研推理平台的架构设计、跨区域合规部署及软硬协同优化实践,揭秘其实现推理成本、指数级效率提升的关键路径。


GMI Cloud 亚太区总裁 King 拥有 14+ 年云计算经验,历经产品研发、解决方案、销售管理。是前阿里云资深总监,带领团队完成年销售额数百亿 RMB;中国云计算早期开拓者,前百度云创始团队成员。不仅拥有丰富且敏锐的商业洞察力和丰富的行业解决方案经验,还拥有深刻的云计算技术理解力和发展趋势判断力。他在本次会议的详细演讲内容如下:


演讲提纲:

1. AI 应用爆发背景下模型推理服务的核心挑战分析

2. GMI Cloud 推理优化技术分享

  • 单集群内推理服务自动扩容技术

  • 跨集群跨地区的推理服务自动扩容技术

  • 单集群的 PD 分离技术

  • 基于共享持久化存储的跨集群 PD 分离技术

  • 推理参数自动化评测工具介绍

  • 推理服务全面主动监控技术

  • 推理服务的自动容错恢复

3. GMI Cloud Inference Engine 落地实践


听众收益:

  • 明晰 AI 应用爆发时,模型推理服务在效率与算力上存在核心挑战

  • 深度了解 GMI Cloud 的推理优化技术,如自动扩容、PD 分离、评测监控及容错恢复等

  • 知悉 GMI Cloud Inference Engine 如何动态应对高并发,保障数据处理,精准评估与监控推理服务

  • 复制 GMI Cloud Inference Engine 的优秀实践到自身业务中


除此之外,本次大会还策划了AI Agent 构建及多元应用多模态大模型创新实践AI for Data,数据管理与价值挖掘实践大模型推理性能优化策略AI 产品设计的创新思维智能硬件与大模型的融合探索金融领域大模型应用实践大模型助力业务提效实践等专题,届时将有来自不同行业、不同领域、不同企业的 60+资深专家在 AICon 上海站现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 580 元,详情可扫码或联系票务经理 13269078023 咨询。



2025-04-25 09:001

评论

发布
暂无评论

如何实现微信8.0爆炸和烟花表情特效

梅芳姑

短视频编辑:基于ExoPlayer可实时交互的播放器

梅芳姑

Serverless 可观测性的过去、现在与未来

阿里巴巴云原生

Serverless 容器 开发者 云原生 调度

flink流计算可视化web平台

无情

sql 流计算 flin

Hexo + Material + Github 搭建博客

U2647

博客 4月日更

实时数据仓库的发展、架构和趋势

网易数帆

数据仓库 实时计算 实时数仓 iceberg 批流一体

自己搭建一个语音聊天室

anyRTC开发者

ios android 音视频 WebRTC RTC

Rust从0到1-所有权-引用和借用

rust 引用 所有权 借用

业务随行:用户的网络访问策略还能这么玩

华为云开发者联盟

网络 通信 安全组 IP地址 业务随行

8x Flow 业务建模法(一):你能分清业务和领域吗?

胡皓

领域驱动设计 DDD 架构设计 事件风暴 业务建模

用DeBug的方式,带你掌握HBase文件在Snapshot的各种变化

华为云开发者联盟

HBase 元数据 数据迁移 数据备份 Snapshot

单片机异常复位后如何保存变量数据

不脱发的程序猿

嵌入式 单片机 4月日更 硬件研发 单片机异常复位

融云X-Meetup南京站 探讨实时通信架构的高质量设计

融云 RongCloud

程序员面试指北:如何更高效的准备面试

邴越

Java 面试 求职 招聘

2021年Android面经分享,赶紧收藏!

欢喜学安卓

android 程序员 面试 移动开发

Kubernetes 稳定性保障手册 -- 可观测性专题

阿里巴巴云原生

Serverless 容器 云原生 k8s 存储

OpenTelemetry 简析

阿里巴巴云原生

容器 开发者 云原生 k8s 监控

如何美化 GitHub 个人主页?

彭宏豪95

GitHub 写作 markdown IT 4月日更

清明节特辑 |记忆存储、声音还原、性格模仿……AI可以让人类永生吗?

华为云开发者联盟

AI 语音合成 清明节 对话机器人 VR/AR

在npm发布自己的组件

空城机

JavaScript 大前端 npm 4月日更 自定义组件

MySql数据库列表数据分页查询、全文检索API零代码实现

crudapi

全文检索 API crud crudapi 列表查询

二次元界福音:MakeGirlsMoe创建动漫人物

不脱发的程序猿

GitHub 开源 4月日更 二次元 MakeGirlsMoe

Java开发8年,40W年薪被别人叫垃圾?请你们不要口嗨了,好好去刷题吧!

Java架构追梦

Java 架构 面试 金三银四 年薪40W

NAC公链主打应用而生的NA(Nirvana)公链有什么过人之处?

区块链第一资讯

Netty HashedWheelTimer 时间轮源码详解

Yano

Java 架构 Netty

SCF—BSS3.0的“公路网”

鲸品堂

工具 框架搭建 流式计算框架

重磅官宣:Nacos2.0 发布,性能提升 10 倍

阿里巴巴云原生

Java 容器 微服务 云原生 应用服务中间件

那些我磕过的音视频项目总结

梅芳姑

软件测试分类体系,系统学习

程序员阿沐

软件测试 测试工程师 黑盒测试 白盒测试 测试类型

定义边缘计算架构需考虑的三个方面

边缘计算

融云推出超值套餐包,音视频20万分钟免费享

融云 RongCloud

GMI Cloud 全球化高性能分布式推理服务构建实践|AICon 上海_云计算_AICon 全球人工智能开发与应用大会_InfoQ精选文章