写点什么

AI、5G、Edge 新技术给架构师带来的机遇和挑战

  • 2019-08-15
  • 本文字数:1700 字

    阅读完需:约 6 分钟

AI、5G、Edge新技术给架构师带来的机遇和挑战

在刚结束的深圳 ArchSummit 全球架构师峰会上,百度深度学习技术平台部总监马艳军老师发表了题为《AI、5G、Edge 新技术给架构师带来的机遇和挑战》的开场致辞,从他的视角介绍了技术人如何应对新技术带来的挑战。



5G 技术将很快落地并成为现实,会给我们的工作和生活带来很多看得见的变化。


AI 浪潮持续多年,对于工程架构,对于架构师而言带来哪些真实的挑战?


另外,和 5G、AI 密切相关的边缘计算技术也在快速发展,这一系列新技术给架构师带来的既是挑战也是机遇,这里和大家分享一些思考。



首先,AI 时代面临大量端到端的计算,需要处理的数据规模非常之巨大,包括文本、图片、视频等多模态数据,而且计算过程需要充分考虑多种异构计算硬件,对工程架构的挑战是全方位的。训练环节有 I/O 密集、计算密集、通信密集等一系列特点,而预测环节则对吞吐、延迟非常敏感。架构师需要在充分理解这些特点的基础上进行架构设计。这就要求架构师对 AI 的算法、计算硬件都有全面的把握。

5G 带来了什么?


5G 带来无所不在的计算和无处不在的连接,设备互联互通会带来很大的变革,也会影响计算架构设计。以往在服务器端的架构设计工作比较多,但是接下来会有大量 Device、Edge 和 Cloud 互联过程的架构设计,因此需要考虑哪些计算发生在端上,哪些发生在 Edge 上,哪些发生在 Cloud 上,以及数据存储在哪里,这些都会对架构设计有很大的影响。

面对这样的挑战,也可以说是机遇,我们需要做那些准备呢?


以 AI 计算所需的深度学习平台为例,它和传统的工程架构设计是有很大区别。首先,深度学习框架的需要充分结合底层硬件,以发挥出硬件的极致性能;其上运行的算法和架构的设计也需要综合考虑。这就对架构师的能力提出了更高的要求:既要对硬件有足够的理解,在架构设计的时候还要考虑算法的特性,从而实现系统各项指标的优化。其实这就是很典型的全栈架构师的概念,对全局有把握,把架构设计做到极致。



以飞桨(PaddlePaddle)大规模稀疏分布式训练的设计为例,这一技术已经大幅领先其他的深度学习框架。该技术在真实业务场景中持续打磨,需要利用庞大的数据进行 AI 计算,面临众多架构挑战,例如数据吞吐量量大、海量自膨胀特征、实时更新等。而且随着 AI 硬件的发展,整个架构设计也在不断迭代优化,才能保障系统效果持续提升,这些技术值得架构师去深入思考。


新技术趋势下,虽然挑战很多,但是工程架构能力依然是架构师的根基,要拥抱新的算法和方法,这些对架构设计的影响逐步扩大。还要结合底层硬件去设计架构,经过这样的历练,架构师才能称为真正的全栈架构师。


总的来说,在基建条件越来越好的前提下,会为业务场景的开发带来很多优势。例如客户端运行环境越来越简单;Serverless/FaaS 架构更受欢迎;更多的采用流批处理合一方法;AI 基础知识基本上是技术人的标配等。

活动推荐

每次会议结束后,我们都会统计听者的反馈,各种说法都有,有人想听产业互联网,有的想听区块链、有的想听架构设计、有的想听硅谷前沿技术研究成果。


坦率地讲,我们会采纳部分听者的建议,毕竟架构师人群众多,领域广发,需要设置普世的、通用的,又具有前沿观点和思考的内容,例如实践经验,采坑教训,技术创新突破等等。


所以在策划 12 月 6 日北京 ArchSummit 全球架构师峰会的时候,我们会充分采纳听者的建议,设置了“运筹优化”“反应式架构”“实时计算平台化实践”等专题。至于你想听什么,想听哪些公司的内容,来现场想和谁交流?都可以发邮件到lucien@geekbang.com



也欢迎关注 12 月北京 ArchSummit 架构师峰会,7 折倒计时 2 周,限时直降 2640 元!

作者介绍

马艳军博士,百度 深度学习技术平台部总监


现任百度深度学习技术平台部总监,总体负责深度学习平台 PaddlePaddle 的研发工作,主要研究方向包括自然语言处理、智能问答、推荐系统等。相关成果已经在搜索、Feed 等百度产品中广泛应用。创新孵化了小度机器人,在国内外引起了广泛反响。马艳军曾负责百度信息流产品内容的技术研发工作,支撑信息流分发量实现了 100 倍的快速增长。曾在 ACL 等权威会议期刊发表论文数十篇,并多次担任国际会议的 Area Chair 等。相关成果曾获中国电子学会科技进步一等奖和国家科技进步二等奖。


2019-08-15 10:385170

评论

发布
暂无评论
发现更多内容

天谋科技项目时序数据库 IoTDB 荣获 HICOOL 2024 全球创业大赛决赛二等奖!

Apache IoTDB

首次搭载于量产车型,蔚来汽车 × KubeEdge 创新构建车云协同平台

华为云原生团队

云计算 容器 云原生 KubeCON

推荐一款Python开源移动应用安全测试分析工具!!!

不在线第一只蜗牛

Python 开源

解锁跨境购物新体验:淘宝代购集运系统——跨越语言与物流的桥梁

代码忍者

代购系统

谈后端人眼里的nvm、yarn、pnpm……

北桥苏

taro npm YARN NVM pnpm

金融涉诈账户压降行动的实施成效与挑战

芯盾时代

金融 反欺诈 账户安全

云监控的发展历程与未来展望

天翼云开发者社区

云计算 云服务 云监控

配置计算节点之间的SSH

天翼云开发者社区

SSH

应用如何快速实现云原生化?华为云DTSE解读关键策略

华为云开发者联盟

企业号 8 月 PK 榜 企业号2024年8月PK榜

长电科技2024年2季度归母净利润环比增长258%,营收创同期历史新高

财见

TCL电子(01070.HK)2024年上半年经调整归母净利润同比大增近1.5倍

财见

51Talk发布2024年Q2财报:国际业务净收入同比增长75.1%

财见

Easysearch 性能测试方法概要

极限实验室

数据库·

【KDD2024】大数据基础工程技术集群异常检测论文入选

阿里云大数据AI技术

数据挖掘 大数据 阿里云 异常检测算法

Transit Technologies通过收购Bytecurve进入K-12软件市场

财见

破解IPv4困境 迎接IPv6新纪元 国家为何力推IPv6?

郑州埃文科技

ipv6 IP地址

重磅奖项:时序数据库 IoTDB 荣获中国创新创业大赛北京赛区新一代信息技术决赛三等奖

Apache IoTDB

如何处理 MySQL 主从延迟?

江南一点雨

Java MySQL

解读GaussDB(for MySQL)表级恢复,看线程数及分块分行策略如何提升恢复性能?

华为云开发者联盟

企业号 8 月 PK 榜 企业号2024年8月PK榜

AI、5G、Edge新技术给架构师带来的机遇和挑战_ArchSummit_Xue Liang_InfoQ精选文章