写点什么

智能手机拍照进化论:从传感器到算法摄影

2019 年 3 月 22 日

智能手机拍照进化论:从传感器到算法摄影

在智能手机时代,摄影已经发生了变化。不仅人们的拍照姿势变了,手机摄像机捕获的光线的整个过程也发生了翻天覆地的变化。


相机不再只是一个镜头和一个传感器,还是一系列算法的体现,它们可以以最快的速度处理图像以获得最好的摄影效果。手机摄影已经进化成为算法摄影。


人工智能机器学习的不断进步将带来更多不同的功能,技术更新迭代的速度之快,或许很快就会让今天的手机摄影效果看起来过时了。


比如谷歌 Pixel 3 和 iPhone X 的手机拍照功能发生的一些新变化。谷歌可以利用机器学习在弱光条件下捕捉更多细节,可以让夜景拍摄效果看起来像白天拍出来的效果一样。


从 2017 年推出 iPhone X 开始,苹果开始在手机中添加了“bokeh”,巧妙地模糊了焦点之外的元素。这种效果并不是像传统摄影那样依靠镜头本身,而是通过对捕捉到图像进行像素计算调整来实现的。


2019 年到 2020 年,摄影的突破性进展很有可能来自于改善处理图像的视角。这很有可能会纠正智能手机摄影中固有的失真,这些失真使得智能手机在数码单反(DSLR)相机照片面前显得相形见绌。



卷积神经网络(CNN)是如何通过一张图片重建现实的。来自查尔默斯理工大学的 Torsten Sattler,慕尼黑理工大学的 Qunjie Zhou 和 Laura Leal-Taixe,苏黎世理工学院和微软的 Marc Pollefeys 所著的《理解基于卷积神经网络的绝对相机姿态回归的局限性》。


事实上,它们可以达到接近于“移轴摄影”相机的效果。在移轴摄影相机中,镜头的角度是为了弥补一个人站在相机前的角度,从而纠正由于个人与场景之间的角度造成的图像失真。数码单反用户可以很容易买到各种可拆卸镜头,实现移轴摄影功能。


一般的手机相机镜头筒非常小,捕捉到的所有图像都是扭曲的。对应现实世界,手机拍到的图像形状几乎都有偏差。大多数人可能不会注意到或在意这一点,因为他们已经习惯了 Instagram 上的自拍。但如果能改善这些畸变就好了。如果可以,这将成为谷歌、苹果等公司下一轮智能手机的卖点。


iPhone 和其他相机将越来越多地搭载带有 3D 传感器的后置摄像头。这些传感器由鲁门特姆控股(Lumentum Holdings)和其他芯片供应商等公司制造,通过计算发出光束从物体上反射回来的时间来测量手机周围环境的深度。“飞行时间法”(time-of-flight)等技术可以让手机详细测量周围环境的三维结构。


这些传感器利用基于近年来为解二维图像和现实世界之间的关系而进行的大量统计工作。



谷歌 Pixel 3 智能手机上的“夜视”功能


人们做了大量的统计工作来实现移轴摄影镜头的物理特性,包括带有或没有特殊摄像装置的方案。例如,一项名为“随机样本一致性”(RANSAC)的技术可以追溯到 1981 年,专门用于寻找三维世界中的地标,这些地标可以映射到二维图像平面上的点,以了解二维图像与三维现实之间的关系。使用这种技术,我们可以更好地理解二维表示如何与现实世界相对应。


2015 年,佛罗伦萨大学(University of Florence)的一组研究人员在 RANSAC 的基础上,通过对相机拍摄的照片进行逆向推理,推断出了平移变焦相机的结构。他们能够通过软件来分析不同位置的相机的失真程度,从而控制相机的制动器调整至最佳状态。他们可以用它来制作视频,而不仅是静止的图像。


2017 年,德国埃尔兰根-纽伦堡大学(University of Erlangen-Nurnberg)和伍兹霍尔海洋学研究所(Woods Hole Oceanographic Institution)的研究人员公布了一个名为 CameraTransform 的 Python 库,它可以让人们通过对拍摄的图像进行逆向计算,来估算物体的真实尺寸。



四角观察:研究人员创建的一种神经网络,用于推断图片中被遮挡的物体,由编码-解码器和对抗性网络组成。由慕尼黑工业大学的 Helisa Dhamo、Keisuke Tateno、Iro Laina、Nassir Navab 和 Federico Tombari 提供,佳能公司提供支持。


去年,德国慕尼黑工业大学(Technical University of Munich)和佳能公司(Canon, Inc.)的研究人员表示,用一张图片就可以推断出被另一个物体遮挡的场景中有什么。它被称为“分层深度图像”,可以通过从照片中删除一个对象来创建新的场景,显示相机从未见过的背景,但这是通过图像计算得到的。该方法使用了许多神经网络应用中常见的编码-解码器方法来估计场景的深度,以及“生成对抗网络”(GAN)来构造场景中在拍摄照片时从未实际出现在视野中的部分。


各种新的研究在不断涌现,并将在下一代配备 3D 传感器的智能手机相机上呈现井喷之势。这些研究将会带来惊人的成果。在未来,至少用智能手机拍摄的人像不再会出现奇怪的面部扭曲。通过平衡镜头上的线条畸变创建出平行线,我们可能会得到超分辨率的建筑图片。智能手机行业将能够在与数码单反市场的对战中再次胜出,因为手机将生产出大量精确而逼真的照片。


当然,智能手机摄影的长期趋势是远离现实主义,达到在计算摄影之前不可能实现的更加惊艳的效果。因此,我们可能会看到 3D 传感技术的应用趋向于超现实主义。


未来,在推进机器学习技术之路,还会经历一个意义重大的阶段。我们有可能放弃使用三维传感器,仅用卷积神经网络(CNN)来推断物体在空间中的坐标。这将节省在手机中安装传感器的费用。


参考链接:


https://www.zdnet.com/article/artificial-intelligence-and-the-future-of-smartphone-photography/


2019 年 3 月 22 日 16:273534
用户头像
陈思 InfoQ编辑

发布了 572 篇内容, 共 197.7 次阅读, 收获喜欢 1150 次。

关注

评论

发布
暂无评论
发现更多内容

数据分析师完整的指标体系构建 (干货)

博文视点Broadview

数据挖掘 读书笔记 数据分析 数据 求职

有趣的条漫版 HashMap,25岁大爷都能看懂

古时的风筝

hashmap

单例模式的几种写法你用的哪种?

Java小咖秀

Java 设计模式 23种设计模式

第六周作业

Geek_a327d3

一文快速掌握华为云IPv6基础知识及使用指南

华为云开发者社区

物联网中台 物联网 网络 华为云

《北京市政务服务领域区块链应用创新蓝皮书(第一版)》正式发布

CECBC区块链专委会

以中立性的立场看Severless的目标和流派

韩超

云原生 serverles

Idea中关于Js中的一些警告

阡陌r

信创舆情一线--十五部门印发指导意见进一步促进服务型制造发展

统小信uos

数十家技术社区联名推荐的GeekOnline来了!

Geek_116789

计算机网络基础(四)---网络层-ARP协议与RARP协议

书旅

laravel 计算机网络 网络协议 计算机基础 网络层

探索无限潜能,英特尔神经拟态计算除了有“嗅觉”还能有“触觉”

最新动态

linux上强大的字符串匹配工具详解-grep

X先生

Shell grep

区块链加持的家用摄像头能拯救你的隐私吗?

CECBC区块链专委会

API接口管理平台YAPI的搭建

Man

DevOps APi设计 YAPI

知乎,挣钱?果然有长尾效应

非著名程序员

程序员 副业 副业赚钱 知乎 好物推荐

如何进行需求梳理及埋点方案设计

易观大数据

我从LongAdder中窥探到了高并发的秘籍,上面只写了两个字...

why技术

jdk 高并发 LongAdder

变性手术后,产品总监和当当网打起了官司

赵新龙

法律 判决书 案例

第六周总结

Geek_a327d3

寻找握剑的手,青睐懂行的人

脑极体

中台,很多人理解的都不对

DeeperMan

数据中台 中台战略

猿灯塔:spring Boot Starter开发及源码刨析(七)

猿灯塔

解决方案|智能消防预警系统突破高层楼房限制

华为云开发者社区

AI 物联网 边缘计算 华为云

朱嘉明:区块链成为经济转型、形成产业新业态的技术手段

CECBC区块链专委会

图解:如何实现最小生成树

淡蓝色

Java 数据结构 算法

重读vue2.0风格指南,我整理了这些关键规则

前端有的玩

Java Vue 代码规范

技术科普丨服务发现和负载均衡的来龙去脉

华为云开发者社区

负载均衡 微服务 开发者工具 服务端 服务

腾讯面了五轮,面委挂了,挂的原因让大家唏嘘...

程序员生活志

腾讯 面试

如何帮助技术员工高效成长?这几家企业的做法值得借鉴

极客时间企业版

研发管理 研发团队培训

30分钟学会应用正则表达式

墨灵

正则表达式 前端进阶训练营

智能手机拍照进化论:从传感器到算法摄影-InfoQ