金磊 发自 凹非寺量子位 报道 | 公众号 QbitAI

在摄影这件事上，「光影」切实其实不要太主要。

究竟大师们摄影作品，大年夜多都是对「光」和「影」的拿捏。

△来自俄罗斯摄影师George Mayer

而比来，MIT 和谷歌等机构联手提出了一种用神经收集「打光」的新方式，大年夜大年夜下降了对「光影」拿捏的门坎——神经光线传输（Nerual Light Transport，NLT）。

例以下图所示，只要拍大好人物照片，不管布景若何转换，都可以响应的调理人物身上的「光影」。

去布景后的「AI 打光」后果加倍明明。

还有如许的。

虽然说「打光」后果是出来了，但这画风…有点像阴间的器材了。

言归正传，继续聊聊 NLT 这项手艺。

NLT——拿捏光线的一把好手

光线传输（LT）可以描写一个场景中，物体在分歧光照和标的目标下所显现出来的模样。

而完全地体会一个场景的 LT，还可以实现肆意光照下的新视图合成。

是以，MIT 和谷歌的研究人员基于图象 LT 收集（以人体为主），提出了一种半参数的深度进修框架，来进修 LT 的神经透露显露，名曰NLT。

整体而言，NLT 可以伶仃或同时完成以下两项义务：

用定向光或HDRI图，从头照亮场景的光线真实性。合成具有视图依托性后果的新视图。来看下 NLT 在分歧义务下的后果。

起首是「定向重打光」（Directional Relighting）。

可以看到人物在光线的转变下，阴影、高亮的转变异常天然。

接下来，是基于「布景图的重打光」（Image-Based Relighting）。

从布景图中，大年夜致可以判定光源（太阳）的标的目标，而随着布景图的动弹，人物身上的阴影也会随之产生改变。

最后，是「视图合成+同步光源」（View Synthesis & Simultaneous）。

除视觉后果冷艳之外，从定性角度来看，NLT 方式也获得了不错的后果。

例如，在「重打光」（Redlighting）义务中，与其它基线方式比拟，在 PSNR 和 SSIM 两个指标中都获得了最早进的后果。

一样，在「视图合成」义务中，NLT 的后果也是相当不错。

那末，NLT 具体是若何实现这般后果的呢？

NLT模子：「查询」、「不雅测」两步走

NLT 的模子收集主要由2条路径构成，划分是查询路径（Query Path）和不雅测路径 （Observation Path）。

「不雅测路径」将周围的 K 个不雅测值作为输入，在方针光和不雅察标的目标周围采样，并将它们编码成多标准特点，堆积起来用来消弭对其按次和数量的依托。

接下来，这些堆积起来的特点将被毗邻到 「查询路径 」的特点激活上。

这条路径将所需的光线和不雅察标的目标，和物理上切确的 disue base 作为输入。

「查询路径」猜测了一个残差图，该残差图被添加到diuse base上，用来产生纹理衬着。

最后，颠末历程将深度神经收集嵌入到UV纹理空间中，即可以合成与可见光线和旁不雅角度对应的纹理空间RGB图象。

华人小哥一作

这项研究的第一作者，是来自MIT的博士生，张修明。

张修明今朝在 MIT 较量争论机科学与人工智能尝试室（CSAIL），从事较量争论机视觉和较量争论机图形学范畴的工作，稀奇对重光照、视图合成和材料建模感爱好。

别的一名主要作者是Sean Fanello。

Sean Fanello是一名研究科学家，也是谷歌的经理，在谷歌向导容量性能捕捉方面的工作。

研究爱好主要包孕数字人类、体积重建、高质量的深度传感和非刚性跟踪。

最后，项目将在近日开源，感爱好的朋侪延续存眷下方参考链接中的信息更新。