写点什么

AI、5G、Edge 新技术给架构师带来的机遇和挑战

  • 2019-08-15
  • 本文字数:1700 字

    阅读完需:约 6 分钟

AI、5G、Edge新技术给架构师带来的机遇和挑战

在刚结束的深圳 ArchSummit 全球架构师峰会上,百度深度学习技术平台部总监马艳军老师发表了题为《AI、5G、Edge 新技术给架构师带来的机遇和挑战》的开场致辞,从他的视角介绍了技术人如何应对新技术带来的挑战。



5G 技术将很快落地并成为现实,会给我们的工作和生活带来很多看得见的变化。


AI 浪潮持续多年,对于工程架构,对于架构师而言带来哪些真实的挑战?


另外,和 5G、AI 密切相关的边缘计算技术也在快速发展,这一系列新技术给架构师带来的既是挑战也是机遇,这里和大家分享一些思考。



首先,AI 时代面临大量端到端的计算,需要处理的数据规模非常之巨大,包括文本、图片、视频等多模态数据,而且计算过程需要充分考虑多种异构计算硬件,对工程架构的挑战是全方位的。训练环节有 I/O 密集、计算密集、通信密集等一系列特点,而预测环节则对吞吐、延迟非常敏感。架构师需要在充分理解这些特点的基础上进行架构设计。这就要求架构师对 AI 的算法、计算硬件都有全面的把握。

5G 带来了什么?


5G 带来无所不在的计算和无处不在的连接,设备互联互通会带来很大的变革,也会影响计算架构设计。以往在服务器端的架构设计工作比较多,但是接下来会有大量 Device、Edge 和 Cloud 互联过程的架构设计,因此需要考虑哪些计算发生在端上,哪些发生在 Edge 上,哪些发生在 Cloud 上,以及数据存储在哪里,这些都会对架构设计有很大的影响。

面对这样的挑战,也可以说是机遇,我们需要做那些准备呢?


以 AI 计算所需的深度学习平台为例,它和传统的工程架构设计是有很大区别。首先,深度学习框架的需要充分结合底层硬件,以发挥出硬件的极致性能;其上运行的算法和架构的设计也需要综合考虑。这就对架构师的能力提出了更高的要求:既要对硬件有足够的理解,在架构设计的时候还要考虑算法的特性,从而实现系统各项指标的优化。其实这就是很典型的全栈架构师的概念,对全局有把握,把架构设计做到极致。



以飞桨(PaddlePaddle)大规模稀疏分布式训练的设计为例,这一技术已经大幅领先其他的深度学习框架。该技术在真实业务场景中持续打磨,需要利用庞大的数据进行 AI 计算,面临众多架构挑战,例如数据吞吐量量大、海量自膨胀特征、实时更新等。而且随着 AI 硬件的发展,整个架构设计也在不断迭代优化,才能保障系统效果持续提升,这些技术值得架构师去深入思考。


新技术趋势下,虽然挑战很多,但是工程架构能力依然是架构师的根基,要拥抱新的算法和方法,这些对架构设计的影响逐步扩大。还要结合底层硬件去设计架构,经过这样的历练,架构师才能称为真正的全栈架构师。


总的来说,在基建条件越来越好的前提下,会为业务场景的开发带来很多优势。例如客户端运行环境越来越简单;Serverless/FaaS 架构更受欢迎;更多的采用流批处理合一方法;AI 基础知识基本上是技术人的标配等。

活动推荐

每次会议结束后,我们都会统计听者的反馈,各种说法都有,有人想听产业互联网,有的想听区块链、有的想听架构设计、有的想听硅谷前沿技术研究成果。


坦率地讲,我们会采纳部分听者的建议,毕竟架构师人群众多,领域广发,需要设置普世的、通用的,又具有前沿观点和思考的内容,例如实践经验,采坑教训,技术创新突破等等。


所以在策划 12 月 6 日北京 ArchSummit 全球架构师峰会的时候,我们会充分采纳听者的建议,设置了“运筹优化”“反应式架构”“实时计算平台化实践”等专题。至于你想听什么,想听哪些公司的内容,来现场想和谁交流?都可以发邮件到lucien@geekbang.com



也欢迎关注 12 月北京 ArchSummit 架构师峰会,7 折倒计时 2 周,限时直降 2640 元!

作者介绍

马艳军博士,百度 深度学习技术平台部总监


现任百度深度学习技术平台部总监,总体负责深度学习平台 PaddlePaddle 的研发工作,主要研究方向包括自然语言处理、智能问答、推荐系统等。相关成果已经在搜索、Feed 等百度产品中广泛应用。创新孵化了小度机器人,在国内外引起了广泛反响。马艳军曾负责百度信息流产品内容的技术研发工作,支撑信息流分发量实现了 100 倍的快速增长。曾在 ACL 等权威会议期刊发表论文数十篇,并多次担任国际会议的 Area Chair 等。相关成果曾获中国电子学会科技进步一等奖和国家科技进步二等奖。


2019-08-15 10:385173

评论

发布
暂无评论
发现更多内容

基于大模型的对话式数据分析产品“腾讯云 ChatBI ”正式上线公测

腾讯云大数据

腾讯云 BI

复古传奇,经典归来,清渊传奇详细图文架设教程

echeverra

清渊传奇

支持英文语言的堡垒机是什么?叫做什么名字?

行云管家

软件 堡垒机

Pod 卡在 Terminating 怎么办?

小猿姐

Kubernetes kubernetes pod

ShareSDK第三方平台使用指南——新浪微博

MobTech袤博科技

Java 开发者 产品动态

向量检索服务的基本概念

DashVector

向量检索 #数据库 #人工智能 #大模型

超13万律师使用的工具,启信宝推出“司法大数据”功能

合合技术团队

人工智能 大数据 司法

低代码平台在采购管理中的革新与应用

天津汇柏科技有限公司

低代码 采购管理 软件定制开发

深入解析 Go 语言 GMP 模型:并发编程的核心机制

王中阳Go

Go 面试 GMP

数据分析统计Minitab Express for Mac破解补丁 及安装教程 兼容m芯片

Rose

数据统计 Mac 软件 数据分析软件 Minitab Express下载 Minitab Express破解版

第61期|GPTSecurity周报

云起无垠

硅纪元视角 | 苹果AI训练数据大曝光,坚持用户隐私第一

硅纪元

8月浙江省公安厅即将举办省网络与信息安全管理员项目职业技能竞赛

行云管家

网络安全 信息安全

可观测性建设路线图

FunTester

综合性价比超越硅谷,PPIO派欧云发布下一代推理加速引擎

极客天地

AlDente Pro :苹果电脑电池管理工具 延长电池寿命

Rose

苹果电脑 电池管理 AlDente Pro破解版 电池寿命

巴赫:阿里AI技术将巴黎奥运转播带到新高度

阿里云CloudImagine

云计算 音视频 视频云 奥运会 AI增强技术

如何将文本转换为向量(DashScope)

DashVector

数据库 向量检索 大模型

最佳实践分享 I 流程挖掘助力头部科技企业信创之路数字化转型

望繁信科技

数字化转型 降本增效 科技企业 流程挖掘 望繁信科技

Databend 开源周报第 155 期

Databend

日程管理多源归一,服务场景一键直达

HarmonyOS SDK

HarmonyOS

两个爆点,引爆在线教育平台数智化

字节跳动数据平台

在线教育 可视化 云服务 数智化

ETL数据集成丨将DB2数据同步至Postgres数仓实践

RestCloud

数据库 postgresql 数据同步 ETL 数据集成工具

利用 Python 和 IPIDEA:跨境电商与数据采集的完美解决方案

海拥(haiyong.site)

Python

向量检索服务应用场景

DashVector

数据库 向量检索 大模型

React 的 KeepAlive 实战指南:深度解析组件缓存机制

袋鼠云数栈

前端 技术人 UED keepalive keep-alive实现原理

油猴Safari浏览器辅助插件 油猴脚本Tampermonkey mac版下载安装教程

Rose

Tampermonkey插件 油猴脚本使用

AI、5G、Edge新技术给架构师带来的机遇和挑战_ArchSummit_Xue Liang_InfoQ精选文章