写点什么

Apple 机器学习和视觉生态系统更新:Core ML、Create ML 和 VisionKit

  • 2023-07-22
    北京
  • 本文字数:1179 字

    阅读完需:约 4 分钟

Apple机器学习和视觉生态系统更新:Core ML、Create ML和VisionKit

在 WWDC 2023 开发者大会上,苹果公司展示了其机器学习和视觉生态系统的许多扩展和更新,包括对 Core ML 框架的更新,Create ML 建模工具的新功能,以及用于图像分割、动物体态检测和 3D 人体体态的新的视觉 API。


苹果工程师 Ben Levine 解释说,第一个有关 Core ML(运行在 iOS 设备上的机器学习框架)的改进是更快的推理引擎,不需要重新编译模型或修改任何相关代码就可以获得这种提速。Levine 没有提供与速度提升相关的数据,他说具体将取决于实际的模型和硬件。


Core ML 还扩展了其支持异步工作流的能力,新增了 Async Prediction API。以前,Core ML 支持批量预测,适用于已知工作量并且可以预先计算所有组件批次输入的情况。有了新的 Async Prediction API,你现在可以将预测分派到后台线程,这意味着你可以同时运行多个预测。此外,API 还可能支持取消预测请求,这在某些情况下可以进一步提高响应性。


例如,Levine 演示了一款使用 Core ML 对一系列图像进行着色的应用程序,并展示了新的 Async Prediction API 如何通过将推理时间减少大约一半来改善滚动体验。然而,并发推理也有需要注意的地方。具体来说,Levine 提到了由于在内存中加载多个输入和输出而增加的内存需求,这个问题必须得到解决,例如可以通过限制应用程序执行的并发操作数量。


除了 Core ML 推理能力外,苹果还通过新版的Core ML Tools(这个工具可以帮助开发人员优化机器学习模型的大小和性能)改进了模型转换选项。苹果公司表示,随着应用程序开始集成越来越多、越来越大的 ML 模型,这一点至关重要。该工具现在支持几种技术,包括权重修剪、量化和调色板化,在训练新模型时都可以使用它。


在建模方面,苹果对Create ML进行了扩展,支持多语言 BERT 嵌入和多标签图像分类。


今年,我们设计了一个新的嵌入模型,并在数十亿个标记文本示例上进行了训练。它是一个双向编码器表示变换器模型,简称 BERT。


据苹果公司称,新的 BERT 模型也可以提高单语文本分类器的准确性。


最后,新的 Augmentation API 可以在只有有限训练数据的情况下提高模型质量。数据增强是一种使用变换从现有示例生成新训练示例的技术。Augmentation API 将使开发人员能够通过组合不同的转换步骤来构建自己的增强管道。苹果公司表示,Augmentation API 使用了结果构建器,并为使用过 SwiftUI 的开发人员提供他们熟悉的结果。


最后要注意的是,苹果公司为其 VisionKit 框架增加了新功能,包括:检测动物体态并实时跟踪它们的关节;将主体从图像中提取出来并将其与背景分离;使用新的 Segmentation API 区分同一图像中的多个个体。


如果你有兴趣深入了解即将发布的 iOS 17 中所有新的 ML 和视觉功能,请查看WWDC 2023大会录制清单


原文链接

https://www.infoq.com/news/2023/07/coreml-createml-vision-ios-17/


相关阅读:

过去十年机器学习软件开发行业概览:英伟达CUDA垄断地位下降,PyTorch超越谷歌TensorFlow

2023年软件测试、人工智能和机器学习趋势


2023-07-22 08:0010808

评论

发布
暂无评论
发现更多内容

移动应用中的第三方SDK隐私合规检测

sofiya

“云上生长”网络研讨会|使用 GPU 和 VPU 等异构硬件加速视频转码

青云技术社区

gpu 音视频

软件测试 | 接口自动化测试,如何实现多套环境的自动化测试?

测试人

软件测试 自动化测试 接口测试 测试开发

宿舍全屋智能开发指南

OpenHarmony开发者

OpenHarmony

Python 自动化测试(四)

霍格沃兹测试开发学社

云原生(三十二) | Kubernetes篇之平台存储系统介绍

Lansonli

云原生 9月月更

阿里云视觉智能开放平台9月特惠来袭

夏夜许游

GaussDB(for Redis)即将亮相华为云快成长直播间,让成本直降75%!

IT资讯搬运工

人工智能’

iOS如何实现验证码登录丨MobTech

MobTech袤博科技

ios xcode

基于深度学习下的航空领域真空羽流解决方案

GPU算力

Carina 全新版本 v0.11.0 上线!重磅升级不可错过

BoCloud博云

云计算 云原生 #开源

设计模式的艺术 第十五章代理设计模式练习(设计一款基于C/S的网络图片查看器,用户只需在图片查看器中输入网页URL,程序将自动将网页所有图片下载到本地。)

代廉洁

设计模式的艺术

云速ERP(WeLink认证版)上线,加速中小微企业数字化经营创新

IT资讯搬运工

人工智能’

NFT数字藏品系统开发:怎么开发自己的数字藏品平台?

开源直播系统源码

数字藏品 数字藏品系统软件开发 数字藏品开发 数字藏品系统 数字藏品软件

Z世代的开学季:华为技能加持,你就是焦点!

最新动态

骞云获得阿里云首批产品生态集成认证,携手阿里云共建新合作

阿里巴巴云原生

阿里云 云原生 加速器 伙伴

【云原生 | Docker】部署 Django & Nginx & Gunicorn

计算机魔术师

8月月更

从检测角度思考美燃油管道商遭勒索攻击事件

科技怪咖

RPC接口测试技术-websocket 自动化测试实践

霍格沃兹测试开发学社

go语言逆向技术之---恢复函数名称算法

科技怪咖

云南林职院 x WeLink一站式智慧迎新, 打造西南数字化职校新标杆

IT资讯搬运工

人工智能’

华为云WeLink助力平房区打造智慧政务办公系统

IT资讯搬运工

人工智能’

OPPO的航船:小布生命体将驶向怎样的科技彼岸?

脑极体

pe文件签名信息检测技术

科技怪咖

二进制SCA检测工具---技术短板及应对措施

科技怪咖

MobTech 短信验证REST API

MobTech袤博科技

REST API MobTech袤博科技

区块链入局,远程医疗这回“靠谱”了!

旺链科技

区块链 产业区块链 远程医疗 企业号九月金秋榜

技术分享| 调度平台的好助手-快对讲

anyRTC开发者

音视频 调度 实时消息 快对讲 视频对讲

Web漏洞靶场搭建(OWASP Benchmark)

sofiya

CVE-2022-0847 DirtyPipe漏洞分析

sofiya

漫谈软件成分分析(SCA)安全测试技术

科技怪咖

Apple机器学习和视觉生态系统更新:Core ML、Create ML和VisionKit_Android/iOS_Sergio De Simone_InfoQ精选文章