在刚结束的深圳 ArchSummit 全球架构师峰会上，百度深度学习技术平台部总监马艳军老师发表了题为《AI、5G、Edge 新技术给架构师带来的机遇和挑战》的开场致辞，从他的视角介绍了技术人如何应对新技术带来的挑战。
5G 技术将很快落地并成为现实，会给我们的工作和生活带来很多看得见的变化。
AI 浪潮持续多年，对于工程架构，对于架构师而言带来哪些真实的挑战？
另外，和 5G、AI 密切相关的边缘计算技术也在快速发展，这一系列新技术给架构师带来的既是挑战也是机遇，这里和大家分享一些思考。
首先，AI 时代面临大量端到端的计算，需要处理的数据规模非常之巨大，包括文本、图片、视频等多模态数据，而且计算过程需要充分考虑多种异构计算硬件，对工程架构的挑战是全方位的。训练环节有 I/O 密集、计算密集、通信密集等一系列特点，而预测环节则对吞吐、延迟非常敏感。架构师需要在充分理解这些特点的基础上进行架构设计。这就要求架构师对 AI 的算法、计算硬件都有全面的把握。
5G 带来了什么？
5G 带来无所不在的计算和无处不在的连接，设备互联互通会带来很大的变革，也会影响计算架构设计。以往在服务器端的架构设计工作比较多，但是接下来会有大量 Device、Edge 和 Cloud 互联过程的架构设计，因此需要考虑哪些计算发生在端上，哪些发生在 Edge 上，哪些发生在 Cloud 上，以及数据存储在哪里，这些都会对架构设计有很大的影响。
面对这样的挑战，也可以说是机遇，我们需要做那些准备呢？
以 AI 计算所需的深度学习平台为例，它和传统的工程架构设计是有很大区别。首先，深度学习框架的需要充分结合底层硬件，以发挥出硬件的极致性能；其上运行的算法和架构的设计也需要综合考虑。这就对架构师的能力提出了更高的要求：既要对硬件有足够的理解，在架构设计的时候还要考虑算法的特性，从而实现系统各项指标的优化。其实这就是很典型的全栈架构师的概念，对全局有把握，把架构设计做到极致。
以飞桨（PaddlePaddle）大规模稀疏分布式训练的设计为例，这一技术已经大幅领先其他的深度学习框架。该技术在真实业务场景中持续打磨，需要利用庞大的数据进行 AI 计算，面临众多架构挑战，例如数据吞吐量量大、海量自膨胀特征、实时更新等。而且随着 AI 硬件的发展，整个架构设计也在不断迭代优化，才能保障系统效果持续提升，这些技术值得架构师去深入思考。
新技术趋势下，虽然挑战很多，但是工程架构能力依然是架构师的根基，要拥抱新的算法和方法，这些对架构设计的影响逐步扩大。还要结合底层硬件去设计架构，经过这样的历练，架构师才能称为真正的全栈架构师。
总的来说，在基建条件越来越好的前提下，会为业务场景的开发带来很多优势。例如客户端运行环境越来越简单；Serverless/FaaS 架构更受欢迎；更多的采用流批处理合一方法；AI 基础知识基本上是技术人的标配等。
活动推荐
每次会议结束后，我们都会统计听者的反馈，各种说法都有，有人想听产业互联网，有的想听区块链、有的想听架构设计、有的想听硅谷前沿技术研究成果。
坦率地讲，我们会采纳部分听者的建议，毕竟架构师人群众多，领域广发，需要设置普世的、通用的，又具有前沿观点和思考的内容，例如实践经验，采坑教训，技术创新突破等等。
所以在策划 12 月 6 日北京 ArchSummit 全球架构师峰会的时候，我们会充分采纳听者的建议，设置了“运筹优化”“反应式架构”“实时计算平台化实践”等专题。至于你想听什么，想听哪些公司的内容，来现场想和谁交流？都可以发邮件到 lucien@geekbang.com
也欢迎关注 12 月北京 ArchSummit 架构师峰会，7 折倒计时 2 周，限时直降 2640 元！
作者介绍：
马艳军博士，百度 深度学习技术平台部总监
现任百度深度学习技术平台部总监，总体负责深度学习平台 PaddlePaddle 的研发工作，主要研究方向包括自然语言处理、智能问答、推荐系统等。相关成果已经在搜索、Feed 等百度产品中广泛应用。创新孵化了小度机器人，在国内外引起了广泛反响。马艳军曾负责百度信息流产品内容的技术研发工作，支撑信息流分发量实现了 100 倍的快速增长。曾在 ACL 等权威会议期刊发表论文数十篇，并多次担任国际会议的 Area Chair 等。相关成果曾获中国电子学会科技进步一等奖和国家科技进步二等奖。
评论