10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

基于昇腾 AI 的“金奖”实践,给开发者有何启思?

  • 2022-12-27
    北京
  • 本文字数:3843 字

    阅读完需:约 13 分钟

基于昇腾 AI 的“金奖”实践,给开发者有何启思?

12 月初,第八届“互联网 +”大学生创新创业大赛(下文称“本届大赛”)圆满落幕,该大赛由教育部主办,旨在全面深化高校创新创业教育改革、提升大学生创新创业能力、加快培养创新创业人才,纵深推进大众创业万众创新。


在本届大赛中,华为五大技术领域共输出 47 道命题,来自 30 个省的 249 所高校 2799 支队伍 11661 人报名华为命题,在 858 家命题企业中排名第一,其中昇腾命题报名团队人数最多。


历经激烈角逐,由北京理工大学韩煜祺博士带领的团队基于昇腾算力及 CANN 开发的创新应用《京工天鹰——昇腾赋能智能实时无人机载安防系统》(下文称“该项目”)在本次比赛中斩获金奖。本届大赛决赛有来自全国的 90 支队伍参与金奖争夺,为何该项目可以夺得金奖?该项目有何特色?带着这些疑问,InfoQ 对该项目的负责人——北京理工大学的韩煜祺博士进行了专访。



一、选题之思:AI 赋能安防监测对公共安全领域意义重大


韩煜祺来自于北理工毛二可、龙腾院士创新团队,该团队长期深耕于机载实时信息等相关技术的研发工作,韩煜祺本人博士阶段也是从事基于无人机平台的智能化算法研究及开发。在韩煜祺带领下的京工天鹰团队共 15 个人,昇腾 AI 基础软硬件平台能提供高算力,同时具备软硬协同、自主创新等优势,十分切合该团队所有成员的兴趣,且该团队之前已经有过华为其他领域的研发经验,因此选择了昇腾 AI 的命题进行应用探索并参赛。


在决定参赛后,京工天鹰团队在选题方面做了很多考虑。安防行业的社会意义重大,传统人工或视频监测的安防方式存在盲区多、风险高、响应慢等问题,是该团队一直在关注的领域。该团队通过对机载安防市场进行调研和分析,发现该行业的市场规模很大,21 年的行业规模有近万亿元。在多次与昇腾 AI 技术团队沟通后,京工天鹰团队觉得团队自身在机载实时信息处理上有一定技术积累,加上昇腾 AI 的助力,对完成项目落地非常有信心,于是确定了《京工天鹰——昇腾赋能智能实时无人机载安防系统》这个选题。


该项目从命题揭榜到参与总决赛答辩共历时 6 个月,来自信息通信工程、光学工程及工商管理等专业的项目团队成员,在项目推进过程中各自发挥特长,比如光学工程专业的同学主要解决了紧凑型吊舱的结构设计问题;研究信息处理的同学对轻量化的智能算法进行了技术攻关;工商管理专业的同学主要对商业和市场管理方案进行了内容输出。


通过与昇腾 AI 的深入沟通并结合实际研发的任务,京工天鹰团队对昇腾的计算架构进行了深度的二次开发,缓解了算力与功耗的矛盾,基于昇腾异构计算架构 CANN 研究了图像智能处理平台及智能实时无人机载安防系统,拓展了昇腾算力的应用生态。

二、项目实现:一款基于昇腾算力及 CANN 的创新应用


该项目主要面向完善自主创新 AI 生态的需求,以及公共安全领域创新巡检方案的行业缺口,构建了机载的智能、实时、通用巡检方案,实现了无人机在防疫、边境和火灾等巡检场景对人、车辆等目标的检测、识别与定位等功能。


公共安全应用场景复杂多样且需求不一,人的异常行为定义具有复杂性且存在时效性,所以“对可疑车辆、行人实现自主检测及追踪定位”的功能是项目的关键核心,该功能需要具有强大的抗干扰能力和较强的鲁棒性,并能够实现异常诱因检测,具有实时性的处理算法和高性能的运行平台。


为此,京工天鹰团队提出了一系列解决方案。他们主要采用无人机相机采集航拍图像,然后将图像传输给目标检测模块,通过图像预处理、特征提取、特征匹配等一系列过程实现对物体、车辆目标的捕获;之后,依据帧间目标外观及其运动状态,对多个目标进行编目实现多目标的持续锁定与关联。


从技术创新的角度,由于无人机观测范围广、监视时间长,航拍图像分辨率高、图像容量大,对机上算法的智能化和实时性都提出了较高要求。团队使用多手段联合的神经网络轻量化模型降低对大数据、大模型的依赖,通过内嵌推理机制的智能化学习技术,采用数据 + 知识双重驱动的学习策略,在大幅降低计算复杂度的情况下,同时实现了对 20 个目标的机上实时处理功能。


而且,在系统实际落地过程中,由于其体积功耗等资源约束限制,就要求在有限的资源供给下,对模型进行适当压缩,仍能保证较好的处理精度和较高的运行效率。


结合这些场景的边界约束,从硬件层面,该项目主要采用 Atlas 系列硬件作为核心处理器,利用 CANN 对训练、推理流程进行加速优化,使昇腾 AI 在项目中发挥最大能效。


同时,京工天鹰团队对昇腾平台进行了二次开发,设计了多昇腾 +FPGA 的异构计算架构,通过对任务进行模态拆解并自适应匹配最高效的硬件处理资源,从而提升平台的能效比,有效平衡算法的算力需求与机载平台的功耗约束,并结合能弱化底层硬件差异性的软硬解耦中间件进行开发。软硬解耦中间件将算法任务分配后,借助 CANN 完成并行推理时的资源管理和执行使能,从而解决了算力无法满足应用需求的问题。


为了实现项目功能,从算法层面,京工天鹰团队也自研了目标检测算法、多目标跟踪算法以及模型轻量化算法等 AI 算法:

  • 目标检测算法:在大视场的机载图像中对感兴趣目标进行快速捕获,为后续处理提供目标的初始选点;

  • 多目标跟踪算法:对检测到的目标进行时序上的特征及轨迹关联,对目标赋予稳定的标号;

  • 模型轻量化算法:将上述检测和跟踪模型进行压缩和效率优化,使智能化模型能够在有限资源的无人机平台上部署。


在算法技术攻关的过程中,由于机载航拍图像中目标呈现多尺度、多朝向分布的特点,导致目标捕获过程中存在漏检及虚警等情况。团队通过设计目标多层级特征融合及自适应角度估算等策略,提升对不同分布条件下目标外观表征能力,保证了对重点目标的精准检测与定位。


在整个软件驱动硬件的过程中,京工天鹰团队将 CANN 纳入研发的软硬解耦中间件的框架中,基于 CANN 的异构并行加速能力,对整个算法流程进行了分析和分解,充分考虑硬件特性,将不同任务负载映射到计算资源池中特定的硬件加速模块上,在整体上获得更低的处理时延和更高的能效比。

三、昇腾 AI 赋能:切实满足项目从训练到推理的多场景算力需求


在该项目的开发过程中,京工天鹰团队大量使用 CANN 提供的精度比较工具、算子自动调优工具以及性能瓶颈分析工具等。这些工具极大提升了开发效率,也让自研算法有了更好的执行效率,从而充分地释放昇腾算力的潜力。值得一提的是,CANN 提供的 TBE 算子开发工具使得该团队能将实验室自研的先进算法移植到昇腾平台上,通过自定义算子的开发,完成了对智能算法端到端基于昇腾算力的加速,满足了智能无人机载安防系统对高精度算法实时处理的需求。


昇腾异构计算架构 CANN ,对上承接多种 AI 框架,对下服务 AI 芯片与编程,是提升昇腾处理器计算效率的关键平台。使用 CANN 进行平台迁移的成本较低,在方案实现时,只需指定 device 为昇腾 AI 处理器,即可用昇腾 AI 处理器完成网络的开发、训练以及调试,无需额外进一步关注昇腾 AI 处理器具体的底层细节。


同时,京工天鹰团队在采用 MindStudio 打通应用流程通路时,对于新增的网络类型或结构,只需关注相关计算类算子的开发和实现。框架类算子,反向图建立和实现机制等结构可保持复用,这使得该团队在利用昇腾体系进行多场景应用开发时,拥有了非常优秀的扩展性。


韩煜祺说,在项目研发过程初期,由于项目团队对 CANN 和 Atlas 系列硬件尚不熟悉,在硬件固件、内核、驱动包等版本选择和匹配上有较大的疑惑,这个过程中,昇腾 AI 技术团队及时提供了支持,昇腾 AI 技术团队对固件、内核、驱动等内容进行了完善,京工天鹰团队从昇腾社区获取稳定的 SDK 包,经过反复沟通和验证,打通了项目的应用流程,解决了类似于推理不稳定、PCIE 偶发性断链等问题。


谈及到项目的未来发展,韩煜祺说道:“从项目揭榜开始,我们就一直和昇腾 AI 保持着密切沟通。无论是参与比赛还是未来一段时间,我们团队的定位始终是携手华为一起拓展昇腾 AI 的应用生态。”


聚焦到项目执行上,在技术层面,京工天鹰团队未来将继续发挥自己的优势,继续在人工智能和公共安全领域不断探索和耕耘,完成更多的功能实现和技术优化。在市场层面,该团队希望可以获得来自学校、技术产业转化中心的更多支持,全面推进项目的商业化。


四、AI 未来:需要更多个“京工天鹰团队”的共同努力


在对比众多 AI 体系后,京工天鹰团队发现昇腾 AI 具有最完善的生态体系,CANN 的全面性、易用性、灵活性使它成为一个可靠实用的工业级套件,因而该团队既可以在硬件方面设计新架构,又能在软件上创新算法并做硬件级加速,从而充分利用昇腾的强大算力。


京工天鹰团队已经深刻地体验到,CANN 作为硬件使能层,是沟通智能算法和 AI 算力的桥梁。借助张量加速引擎 TBE 的标准算子加速库和自定义算力能力,网络模型能找到优化后、可执行、高效率的算子,并可以在任务调度器、运行管理器以及驱动的助力下,充分发挥硬件的性能。


正如韩煜祺所观察到的,国内人工智能技术的发展在单点上都有非常出色的表现,包括近些年来的顶会论文以及商业技术应用上国内已经可以达到甚至超越国外水平,但目前国内“完整的”人工智能生态建设距离国际水平还有一定差距,这需要更多个“京工天鹰团队”共同努力才能追赶。


随着人工智能产业的快速发展,对高性能、低功耗的算力需求日益增大,算力建设也成为城市发展的智能根基。昇腾 AI 准确地把握了这种趋势,针对端、边、云等不同应用场景深度优化,研发了 Atlas 系列硬件,并在硬件之上成功构建了全栈软件生态,赋能了教育、制造、金融等千行百业,成功推动了千行百业转型升级。


总之,更多“京工天鹰团队”的未来值得我们期待,昇腾 AI 的未来更值得我们期待。

2022-12-27 15:516404
用户头像
鲁冬雪 GMI Cloud Head of China Marketing

发布了 370 篇内容, 共 313.3 次阅读, 收获喜欢 304 次。

关注

评论

发布
暂无评论
发现更多内容

云安全厂商那么多,我们该怎么选择?

行云管家

云计算 企业上云 云厂商 云转售

深圳前端开发培训机构学习该如何选择?

小谷哥

深度剖析「圈组」关系系统设计 | 「圈组」技术系列文章

网易云信

音视频 即时通讯IM

【网易云信】深度剖析「圈组」关系系统设计 | 「圈组」技术系列文章

网易智企

音视频 即时通讯IM

OpenMLDB BUG 悬赏令

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

武汉web前端培训机构去哪好?

小谷哥

【面试题系列】CurrentHashMap的实现原理

颜淡慕潇

Java HashMap底层原理 面试题系列

赋能千行百业数字化转型,OpenHarmony生态新成果即将亮相HDC2022

OpenHarmony开发者

Open Harmony

TDengine | taosdump 的使用方法和注意事项

TDengine

数据库 tdengine 时序数据库

LED显示屏的扫描模式及基本工作原理

Dylan

LED LED显示屏 led显示屏厂家

大专学历参加大数据培训,学费多少?

小谷哥

前端性能优化常问面试题-防抖节流

肥晨

防抖 节流 防抖节流 前端面试题 11月月更

HDC2022 开发者亮点抢先看,线上线下精彩活动等你探索!

HarmonyOS开发者

HarmonyOS

服务器的正向代理与反向代理

我是一个茶壶

服务器 正向代理与反向代理 11月月更

Java NIO关键概念之Buffer

老农小江

Java 源码解读 java nio

Linux常用命令

我是一个茶壶

Linux 命令 11月月更

OpenMLDB 新手宝典 开发者上手必读

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

共享存储是什么意思?与DRBD有什么区别?

行云管家

高可用 ha Skybility HA 高可用性

AntDB内存管理之内存上下文

亚信AntDB数据库

AntDB aisware antdb AntDB数据库 企业号十月PK榜 企业号十月 PK 榜

大专学历参加大数据培训可以吗

小谷哥

小巨人,大能量!融云成功入选国家级专精特新“小巨人”企业

融云 RongCloud

企业 IM RTC

大数据培训哪个比较好

小谷哥

KubeEdge云原生边缘计算公开课首发

华为云开发者联盟

云原生 后端 华为云 企业号十月 PK 榜

国内低代码开发平台有哪些作用?

优秀

低代码开发平台

一文读懂加密资产板块的盈利潜力与投资机会

鳄鱼视界

活动预告 | 2022 SACC 中国系统架构师大会

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

Linux三剑客grep、sed、awk以及正则表达式

A-刘晨阳

Linux 运维 11月月更 三剑客

golang中的错误处理

六月的

golang 错误处理

【C++多线程那些事儿】多线程的执行顺序如你预期吗?

C++后台开发

线程 多线程 后端开发 linux开发 C++开发

DTSE Tech Talk | 第9期:EiPaaS驱动企业数字化转型

华为云开发者联盟

云计算 后端 数字化转型 华为云 企业号十月 PK 榜

ArrayList源码解析

Jeremy Lai

源码 ArrayList

基于昇腾 AI 的“金奖”实践,给开发者有何启思?_云原生_鲁冬雪_InfoQ精选文章