PP-OCRv5 感知模型在 Arm SME2 上的推理加速实践

百度与 Arm 展开深度技术合作，通过极致的软硬协同优化，在包括 Apple M4、M5 在内的主流 Arm 架构计算平台上，为智能体应用成功装配了强大的‘实时感知能力’，这次合作将广泛赋能智能终端的端侧感知与机器人视觉等前沿场景。此次演讲展示了在 Apple M4 上使用 Arm KleidiAI 和 KleidiCV 增强的 ONNX Runtime 加速 PP-OCRv5，实现了在保持完整准确度的同时更快的推理。相比云端大模型，端侧 AI 更强调模型规模可控、推理效率高、任务性能稳定，这对模型架构与优化能力提出了更高要求。

PaddleOCR 通过高度任务化设计，以极少的模型参数实现了接近甚至优于超大视觉语言模型的识别精度。以 PP OCRv5 为例，其参数规模仅为百亿级通用 VLM（如 Qwen3 VL 235B）的 1/40,000，却仍可达到 0.9 以上的 F1 准确率。这一结果表明，在端侧 OCR 等垂直任务中，“更大模型”并不等于“更好效果”，专用轻量模型在单位参数效率（Accuracy per Parameter）上具备显著优势。得益于更小的模型规模，PaddleOCR 在端侧部署中可显著降低内存占用、推理延迟与功耗成本, 并做到实时感知的效果。

主持人

李翊玮｜Arm 解决方案架构师

嘉宾

张晶｜百度高级产品经理