阿里云飞天发布时刻,领先大模型限免,超7000万 tokens免费体验 了解详情
写点什么

AI、5G、Edge 新技术给架构师带来的机遇和挑战

  • 2019-08-15
  • 本文字数:1700 字

    阅读完需:约 6 分钟

AI、5G、Edge新技术给架构师带来的机遇和挑战

在刚结束的深圳 ArchSummit 全球架构师峰会上,百度深度学习技术平台部总监马艳军老师发表了题为《AI、5G、Edge 新技术给架构师带来的机遇和挑战》的开场致辞,从他的视角介绍了技术人如何应对新技术带来的挑战。



5G 技术将很快落地并成为现实,会给我们的工作和生活带来很多看得见的变化。


AI 浪潮持续多年,对于工程架构,对于架构师而言带来哪些真实的挑战?


另外,和 5G、AI 密切相关的边缘计算技术也在快速发展,这一系列新技术给架构师带来的既是挑战也是机遇,这里和大家分享一些思考。



首先,AI 时代面临大量端到端的计算,需要处理的数据规模非常之巨大,包括文本、图片、视频等多模态数据,而且计算过程需要充分考虑多种异构计算硬件,对工程架构的挑战是全方位的。训练环节有 I/O 密集、计算密集、通信密集等一系列特点,而预测环节则对吞吐、延迟非常敏感。架构师需要在充分理解这些特点的基础上进行架构设计。这就要求架构师对 AI 的算法、计算硬件都有全面的把握。

5G 带来了什么?


5G 带来无所不在的计算和无处不在的连接,设备互联互通会带来很大的变革,也会影响计算架构设计。以往在服务器端的架构设计工作比较多,但是接下来会有大量 Device、Edge 和 Cloud 互联过程的架构设计,因此需要考虑哪些计算发生在端上,哪些发生在 Edge 上,哪些发生在 Cloud 上,以及数据存储在哪里,这些都会对架构设计有很大的影响。

面对这样的挑战,也可以说是机遇,我们需要做那些准备呢?


以 AI 计算所需的深度学习平台为例,它和传统的工程架构设计是有很大区别。首先,深度学习框架的需要充分结合底层硬件,以发挥出硬件的极致性能;其上运行的算法和架构的设计也需要综合考虑。这就对架构师的能力提出了更高的要求:既要对硬件有足够的理解,在架构设计的时候还要考虑算法的特性,从而实现系统各项指标的优化。其实这就是很典型的全栈架构师的概念,对全局有把握,把架构设计做到极致。



以飞桨(PaddlePaddle)大规模稀疏分布式训练的设计为例,这一技术已经大幅领先其他的深度学习框架。该技术在真实业务场景中持续打磨,需要利用庞大的数据进行 AI 计算,面临众多架构挑战,例如数据吞吐量量大、海量自膨胀特征、实时更新等。而且随着 AI 硬件的发展,整个架构设计也在不断迭代优化,才能保障系统效果持续提升,这些技术值得架构师去深入思考。


新技术趋势下,虽然挑战很多,但是工程架构能力依然是架构师的根基,要拥抱新的算法和方法,这些对架构设计的影响逐步扩大。还要结合底层硬件去设计架构,经过这样的历练,架构师才能称为真正的全栈架构师。


总的来说,在基建条件越来越好的前提下,会为业务场景的开发带来很多优势。例如客户端运行环境越来越简单;Serverless/FaaS 架构更受欢迎;更多的采用流批处理合一方法;AI 基础知识基本上是技术人的标配等。

活动推荐

每次会议结束后,我们都会统计听者的反馈,各种说法都有,有人想听产业互联网,有的想听区块链、有的想听架构设计、有的想听硅谷前沿技术研究成果。


坦率地讲,我们会采纳部分听者的建议,毕竟架构师人群众多,领域广发,需要设置普世的、通用的,又具有前沿观点和思考的内容,例如实践经验,采坑教训,技术创新突破等等。


所以在策划 12 月 6 日北京 ArchSummit 全球架构师峰会的时候,我们会充分采纳听者的建议,设置了“运筹优化”“反应式架构”“实时计算平台化实践”等专题。至于你想听什么,想听哪些公司的内容,来现场想和谁交流?都可以发邮件到lucien@geekbang.com



也欢迎关注 12 月北京 ArchSummit 架构师峰会,7 折倒计时 2 周,限时直降 2640 元!

作者介绍

马艳军博士,百度 深度学习技术平台部总监


现任百度深度学习技术平台部总监,总体负责深度学习平台 PaddlePaddle 的研发工作,主要研究方向包括自然语言处理、智能问答、推荐系统等。相关成果已经在搜索、Feed 等百度产品中广泛应用。创新孵化了小度机器人,在国内外引起了广泛反响。马艳军曾负责百度信息流产品内容的技术研发工作,支撑信息流分发量实现了 100 倍的快速增长。曾在 ACL 等权威会议期刊发表论文数十篇,并多次担任国际会议的 Area Chair 等。相关成果曾获中国电子学会科技进步一等奖和国家科技进步二等奖。


2019-08-15 10:385163

评论

发布
暂无评论
发现更多内容

和鲸支持!2023 中国高校计算机大赛大数据挑战赛圆满收官

ModelWhale

大数据 清华大学 高等教育 数据科学竞赛 计算机大赛

云桌面跟PC相比能有哪些不一样的体验?

青椒云云电脑

桌面云 云桌面

祝贺!Databend Cloud 入驻 AWS 云市场

Databend

WorkPlus打造统一用户管理平台,实现企业用户管理的一体化

BeeWorks

腾讯云TDSQL- C Serverless 2.0版发布,多项核心技术首次公开解析

极客天地

WorkPlus Meet白板和文档共享功能上线,私有化视频会议全新升级

BeeWorks

私有化部署即时通讯平台,完美替代飞书和钉钉的SaaS系统

BeeWorks

新华社《中国扫描十年发展图鉴》:扫描全能王为3亿用户带去“掌心里的便利”

合合技术团队

人工智能 合合信息 扫描全能王 新华社

海外运营视频直播App,服务器放在哪?

山东布谷科技胡月

语音聊天APP源码 国际版语音直播APP 交友软件开发 海外直播App开发 直播交友源码

八种十倍提升API性能的方式

树上有只程序猿

数据库 服务器 API 接口

云桌面在教学中的应用

青椒云云电脑

云桌面

不同构架云桌面的部署风险

青椒云云电脑

云桌面 青椒云云桌面

和鲸科技入选创业邦“2023值得关注的125家AIGC企业”榜单,创新实力再获认可

ModelWhale

数据科学 大模型 AIGC

火热的低代码,是时候系统的来学一学了!

互联网工科生

低代码 应用开发 数字化工具

业务喜报丨九科信息成功签约四川中烟工业有限责任公司成都卷烟厂RPA项目

九科Ninetech

RPA RPAxAI

性能最佳实践

FunTester

高性能存储 SIG 月度动态:erofs 新增支持多个重要特性,持续构建容器场景竞争力

OpenAnolis小助手

开源 容器 高性能存储 龙蜥社区 sig

无障碍测试解读

QE_LAB

无障碍 测试技术干货 测试技术

WorkPlus——高效私有化办公平台,实现即时协作与信息安全的完美结合

BeeWorks

使用云电脑9条注意事项

青椒云云电脑

云电脑

【压力测试指南】没有任何文档,小白也可以做的压力测试

优测云服务平台

性能测试 接口测试 压力测试 测试技术干货

AI 时代的向量数据库、关系型数据库与 Serverless 技术丨TiDB Hackathon 2023 随想

PingCAP

数据库 Serverless TiDB

教师节丨校企合作重磅福利,数据科学校内赛与数据科学数据科学教学实训工作坊免费申办

ModelWhale

数据科学 教学 教师节 高等教育 数据科学竞赛

虚拟云桌面在实验教学中的应用与实践

青椒云云电脑

桌面云 云桌面

AI、5G、Edge新技术给架构师带来的机遇和挑战_ArchSummit_Xue Liang_InfoQ精选文章