限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

Apple 机器学习和视觉生态系统更新:Core ML、Create ML 和 VisionKit

  • 2023-07-22
    北京
  • 本文字数:1179 字

    阅读完需:约 4 分钟

Apple机器学习和视觉生态系统更新:Core ML、Create ML和VisionKit

在 WWDC 2023 开发者大会上,苹果公司展示了其机器学习和视觉生态系统的许多扩展和更新,包括对 Core ML 框架的更新,Create ML 建模工具的新功能,以及用于图像分割、动物体态检测和 3D 人体体态的新的视觉 API。


苹果工程师 Ben Levine 解释说,第一个有关 Core ML(运行在 iOS 设备上的机器学习框架)的改进是更快的推理引擎,不需要重新编译模型或修改任何相关代码就可以获得这种提速。Levine 没有提供与速度提升相关的数据,他说具体将取决于实际的模型和硬件。


Core ML 还扩展了其支持异步工作流的能力,新增了 Async Prediction API。以前,Core ML 支持批量预测,适用于已知工作量并且可以预先计算所有组件批次输入的情况。有了新的 Async Prediction API,你现在可以将预测分派到后台线程,这意味着你可以同时运行多个预测。此外,API 还可能支持取消预测请求,这在某些情况下可以进一步提高响应性。


例如,Levine 演示了一款使用 Core ML 对一系列图像进行着色的应用程序,并展示了新的 Async Prediction API 如何通过将推理时间减少大约一半来改善滚动体验。然而,并发推理也有需要注意的地方。具体来说,Levine 提到了由于在内存中加载多个输入和输出而增加的内存需求,这个问题必须得到解决,例如可以通过限制应用程序执行的并发操作数量。


除了 Core ML 推理能力外,苹果还通过新版的Core ML Tools(这个工具可以帮助开发人员优化机器学习模型的大小和性能)改进了模型转换选项。苹果公司表示,随着应用程序开始集成越来越多、越来越大的 ML 模型,这一点至关重要。该工具现在支持几种技术,包括权重修剪、量化和调色板化,在训练新模型时都可以使用它。


在建模方面,苹果对Create ML进行了扩展,支持多语言 BERT 嵌入和多标签图像分类。


今年,我们设计了一个新的嵌入模型,并在数十亿个标记文本示例上进行了训练。它是一个双向编码器表示变换器模型,简称 BERT。


据苹果公司称,新的 BERT 模型也可以提高单语文本分类器的准确性。


最后,新的 Augmentation API 可以在只有有限训练数据的情况下提高模型质量。数据增强是一种使用变换从现有示例生成新训练示例的技术。Augmentation API 将使开发人员能够通过组合不同的转换步骤来构建自己的增强管道。苹果公司表示,Augmentation API 使用了结果构建器,并为使用过 SwiftUI 的开发人员提供他们熟悉的结果。


最后要注意的是,苹果公司为其 VisionKit 框架增加了新功能,包括:检测动物体态并实时跟踪它们的关节;将主体从图像中提取出来并将其与背景分离;使用新的 Segmentation API 区分同一图像中的多个个体。


如果你有兴趣深入了解即将发布的 iOS 17 中所有新的 ML 和视觉功能,请查看WWDC 2023大会录制清单


原文链接

https://www.infoq.com/news/2023/07/coreml-createml-vision-ios-17/


相关阅读:

过去十年机器学习软件开发行业概览:英伟达CUDA垄断地位下降,PyTorch超越谷歌TensorFlow

2023年软件测试、人工智能和机器学习趋势


2023-07-22 08:0010914

评论

发布
暂无评论
发现更多内容

文件管理工具Commander One Pro for Mac激活版

小玖_苹果Mac软件

RUST练习生如何在生产环境构建万亿流量|得物技术

得物技术

rust 后端 可观测性

2025年,一起与具身智能领域“大牛”聊行业现状和未来趋势

机器人头条

科技 大模型 人形机器人 具身智能

DeepSeek-V3模型对软件测试行业的影响

测吧(北京)科技有限公司

测试

EloqKV的多线程性能以及跨分片事务测试

晨章数据

数据库 nosql redis NoSQL 数据库

抖音AI分身:如何先人一步,构建AI时代商业闭环?

ToB行业头条

抖音 AI Agent

AI口语练习App的功能扩展

北京木奇移动技术有限公司

软件外包公司 AI口语练习 AI英语学习

《CPython Internals》阅读笔记:p285-p328

codists

CPython Internals

淘宝天猫API接口深度解析:商品详情与关键词搜索商品列表的使用方法及代码示例

代码忍者

淘宝API接口

ONES 2024 年度回顾:向下扎根,向上生长

万事ONES

行业热点丨低空飞行eVTOL的关键技术与发展趋势

Altair RapidMiner

AI 无人机 仿真 智能制造 航空航天

从前沿技术到行业现状,万字长文带你了解具身智能赛道!

机器人头条

科技 大模型 人形机器人 具身智能

StarRocks 3.4 发布--AI 场景新支点,Lakehouse 能力再升级

StarRocks

文献书籍下载管理工具Bookends for Mac激活版

小玖_苹果Mac软件

非凸科技荣登毕马威中国2024金融科技企业“双50”榜单

非凸科技

KubeEdge边缘设备管理系列(三):Mapper-Framework设计与实现

华为云原生团队

云计算 容器 云原生

2024年,这些行业领军企业都选择 ONES

万事ONES

全球人形机器人行业2024年度汇总和行业前瞻报告:具身智能技术、人形机器人与商业化分析

机器人头条

科技 大模型 人形机器人 具身智能

用数据说话!我国产业数字化发展现状大揭秘,如何进入未来产业发展的快车道?

博文视点Broadview

10 分钟搞定分布式选举 Bully 算法

俞凡

golang 算法 分布式系统

为什么软件测试开发需要智能体(AI Agent)?

测吧(北京)科技有限公司

测试

超棒的代码编辑器Sublime Text for Mac激活版

小玖_苹果Mac软件

最新游戏陪玩源码V3.0升级版/商业版语音聊天系统源码

DUOKE七七

Claude 3.5:向人类般计算机操作的进步

测吧(北京)科技有限公司

测试

火语言RPA--云码打码

火语言RPA

结合LangChain实现网页数据爬取

测吧(北京)科技有限公司

测试

Apple机器学习和视觉生态系统更新:Core ML、Create ML和VisionKit_Android/iOS_Sergio De Simone_InfoQ精选文章