AI、5G、Edge 新技术给架构师带来的机遇和挑战

阅读数:4333 2019 年 8 月 15 日 10:38

AI、5G、Edge新技术给架构师带来的机遇和挑战

在刚结束的深圳 ArchSummit 全球架构师峰会上,百度深度学习技术平台部总监马艳军老师发表了题为《AI、5G、Edge 新技术给架构师带来的机遇和挑战》的开场致辞,从他的视角介绍了技术人如何应对新技术带来的挑战。

AI、5G、Edge新技术给架构师带来的机遇和挑战

5G 技术将很快落地并成为现实,会给我们的工作和生活带来很多看得见的变化。

AI 浪潮持续多年,对于工程架构,对于架构师而言带来哪些真实的挑战?

另外,和 5G、AI 密切相关的边缘计算技术也在快速发展,这一系列新技术给架构师带来的既是挑战也是机遇,这里和大家分享一些思考。

AI、5G、Edge新技术给架构师带来的机遇和挑战

首先,AI 时代面临大量端到端的计算,需要处理的数据规模非常之巨大,包括文本、图片、视频等多模态数据,而且计算过程需要充分考虑多种异构计算硬件,对工程架构的挑战是全方位的。训练环节有 I/O 密集、计算密集、通信密集等一系列特点,而预测环节则对吞吐、延迟非常敏感。架构师需要在充分理解这些特点的基础上进行架构设计。这就要求架构师对 AI 的算法、计算硬件都有全面的把握。

5G 带来了什么?

AI、5G、Edge新技术给架构师带来的机遇和挑战

5G 带来无所不在的计算和无处不在的连接,设备互联互通会带来很大的变革,也会影响计算架构设计。以往在服务器端的架构设计工作比较多,但是接下来会有大量 Device、Edge 和 Cloud 互联过程的架构设计,因此需要考虑哪些计算发生在端上,哪些发生在 Edge 上,哪些发生在 Cloud 上,以及数据存储在哪里,这些都会对架构设计有很大的影响。

面对这样的挑战,也可以说是机遇,我们需要做那些准备呢?

AI、5G、Edge新技术给架构师带来的机遇和挑战

以 AI 计算所需的深度学习平台为例,它和传统的工程架构设计是有很大区别。首先,深度学习框架的需要充分结合底层硬件,以发挥出硬件的极致性能;其上运行的算法和架构的设计也需要综合考虑。这就对架构师的能力提出了更高的要求:既要对硬件有足够的理解,在架构设计的时候还要考虑算法的特性,从而实现系统各项指标的优化。其实这就是很典型的全栈架构师的概念,对全局有把握,把架构设计做到极致。

AI、5G、Edge新技术给架构师带来的机遇和挑战

以飞桨(PaddlePaddle)大规模稀疏分布式训练的设计为例,这一技术已经大幅领先其他的深度学习框架。该技术在真实业务场景中持续打磨,需要利用庞大的数据进行 AI 计算,面临众多架构挑战,例如数据吞吐量量大、海量自膨胀特征、实时更新等。而且随着 AI 硬件的发展,整个架构设计也在不断迭代优化,才能保障系统效果持续提升,这些技术值得架构师去深入思考。

新技术趋势下,虽然挑战很多,但是工程架构能力依然是架构师的根基,要拥抱新的算法和方法,这些对架构设计的影响逐步扩大。还要结合底层硬件去设计架构,经过这样的历练,架构师才能称为真正的全栈架构师。

总的来说,在基建条件越来越好的前提下,会为业务场景的开发带来很多优势。例如客户端运行环境越来越简单;Serverless/FaaS 架构更受欢迎;更多的采用流批处理合一方法;AI 基础知识基本上是技术人的标配等。

活动推荐

每次会议结束后,我们都会统计听者的反馈,各种说法都有,有人想听产业互联网,有的想听区块链、有的想听架构设计、有的想听硅谷前沿技术研究成果。

坦率地讲,我们会采纳部分听者的建议,毕竟架构师人群众多,领域广发,需要设置普世的、通用的,又具有前沿观点和思考的内容,例如实践经验,采坑教训,技术创新突破等等。

所以在策划 12 月 6 日北京 ArchSummit 全球架构师峰会的时候,我们会充分采纳听者的建议,设置了“运筹优化”“反应式架构”“实时计算平台化实践”等专题。至于你想听什么,想听哪些公司的内容,来现场想和谁交流?都可以发邮件到 lucien@geekbang.com

AI、5G、Edge新技术给架构师带来的机遇和挑战

也欢迎关注 12 月北京 ArchSummit 架构师峰会,7 折倒计时 2 周,限时直降 2640 元!

作者介绍

马艳军博士,百度 深度学习技术平台部总监
现任百度深度学习技术平台部总监,总体负责深度学习平台 PaddlePaddle 的研发工作,主要研究方向包括自然语言处理、智能问答、推荐系统等。相关成果已经在搜索、Feed 等百度产品中广泛应用。创新孵化了小度机器人,在国内外引起了广泛反响。马艳军曾负责百度信息流产品内容的技术研发工作,支撑信息流分发量实现了 100 倍的快速增长。曾在 ACL 等权威会议期刊发表论文数十篇,并多次担任国际会议的 Area Chair 等。相关成果曾获中国电子学会科技进步一等奖和国家科技进步二等奖。

评论

发布