看到下面这张动图，你会想到什么？是谷歌地球，仍是苹果自带的 3D 地图？
其实都不是，它是用卫星和航拍图片直接烘托生成的洛杉矶。很难想象，如此精细的城市 3D 模型，竟然是用几张不同视点和高度的 2D 图片重建的。
这项研究来自香港中文大学多媒体实验室团队，叫做 CityNeRF。
说到这里，有人应该想到了这两年大热的“神经辐射场”（NeRF），它能够用多张视点相片重建 3D 目标，性能超卓。量子位之前对此进行了相关报道和解读。
NeRF 尽管康复室内场景作用惊艳，可是直接用到城市级的卫星地图上，却面临着巨大的应战。
首先是拍照相机有很大的运动自由度。跟着相机的上升，场景中的地物外观越来越粗糙，几何细节越来越少，纹路分辨率越来越低。
一起，跟着空间掩盖范围的扩大，来自外围区域的新目标会加入到视图中。
相机在这个一系列场景中，产生了具有不同细节等级和空间掩盖范围的多标准数据。
如果运用本来的 NeRF 烘托，那么生成的前景往往不完整，周边场景区域存在伪影，近景总是具有模糊的纹路和形状。
什么原理？
针对上述问题，作者提出了采用多阶段渐进式学习范式的 CityNeRF。
作者依据相机间隔将整个练习数据集划分为预界说数量的标准。从最远的标准开始，每个练习阶段逐渐将练习集扩大一个更近的标准，并同步增长模型。
经过这种方法，CityNeRF 能够稳健地学习跨场景一切标准的表示层次结构。
CityNeRF 引入了两个特殊的设计：
1、具有残差块结构的成长模型：
在每个练习阶段附加一个额外的块来扩展模型。每个块都有自己的输出 head，用于预测连续阶段之间的色彩和密度残差，促进块在近间隔调查中重视新兴细节；
2、包容的多级数据监督：
每个块的输出 head 由从最远标准到其对应标准的图画联合监督。
换句话说，最终一个块承受一切练习图画的监督，而最早的块只露出于最粗标准的图画。经过这样的设计，每个块模块都能够充分利用其才能，在更近的视图中对杂乱的细节进行建模，并保证标准之间共同的烘托质量。
总体来说，CityNeRF 是一种渐进式学习范式，可同步增长 NeRF 模型和练习集。从用浅基块拟合前景开始，跟着练习的进行，增加新的块以习惯越来越近的视图中呈现的细节。
该战略有效地激活了方位编码中的高频通道，并跟着练习的进行打开更杂乱的细节。
简而言之，运用基本神经网络多层感知器的权重，NeRF 将提前处理一切图画，知道其观点方位。NeRF 将运用相机的光线找到每个像素的色彩和密度。
因此，它知道相机的方向，并能够一起运用一切数组来了解深度和相应的色彩。然后，运用丢失函数优化了神经网络的收敛性，
模型练习数据数据来自 Google Earth Studio 中的 12 个城市图画。成果显现在几种常见重建模型中达到了最佳的作用。
最终，作者又将该模型用于重建无人机拍照的空中图画，依然收到了更佳的作用。
团队简介
本篇论文的两位一作是来自香港中文大学 MMLab 的两位博士生相里元博和徐霖宁。前者曾有一篇论文被 ICLR 2020 收录，后者有多篇论文被 CVPR、ICCV 等顶会收录。
通讯作者是以上两位的导师林达华。
▲ 林达华是香港中文大学信息工程系副教授，也是港中大-商汤科技联合实验室主任。
