从稀少的静态数据图像合成随意 三维 角度物件和情景新主视图是许多 VR 和 AR 运用的基本。近些年神经系统辐射源场（Neural Radiance Fields, NeRF）的神经元网络3D渲染科学研究根据神经元网络编号完成了真正的 三维 角度情景3D渲染。可是 NeRF 必须极端化的取样规定和很多的神经元网络计算，造成其3D渲染速率十分迟缓，比较严重牵制了其在具体情景，尤其是即时互动情景中的运用。比如，应用 NeRF 在高档 GPU 上3D渲染一张 800X800 清晰度的照片大约必须 30 秒。近日，来源于 UC 伯克利大学等组织的学者应用一种名叫 PlenOctrees 的算法设计为 NeRF 引进了一种新的数指，完成了即时的 NeRF 3D渲染。其3D渲染速率比初始的 NeRF 提升 了 3000 几倍，而且图象品质能够 与 NeRF 匹敌。除此之外，选用 PlenOctrees 构造还能合理降低 NeRF 的训炼時间。
毕业论文详细地址：
https://arxiv.org/pdf/2103.14024.pdf
新项目详细地址：
https://alexyu.net/plenoctrees/
在 NeRF 方式中，监控摄像头光源从特殊视角越过情景，转化成一组取样的三维点，根据神经元网络把这种点的室内空间部位和角度投射成相匹配的相对密度和色调。随后应用經典的体绘图技术性将这种色调和相对密度累积二维图象中。这规定沿放射线方位的每一个样版都需键入神经元网络来获得相对密度和色调。这类方法是很低效能的，由于绝大多数样版全是在自由空间中取样的，对总体的色调并沒有奉献。因而这篇毕业论文明确提出应用稀少的八叉树（Octree）构造来防止过多取样。此外该方式还预估算了吧每一个体素的值，防止反复键入互联网。
图 1 优化算法框图
该优化算法的架构如图所示 1 所显示。该科学研究明确提出了名叫 PlenOctree 的算法设计，将训炼好的 NeRF 预取样转化成 PlenOctree 的算法设计，实际地讲，该方式应用 Octree 构造，把模型需要的相对密度值和球谐函数（SH）储存到树的叶子节点上。曲面谐波电流替代了某一视角的 RGB 值，能够 从随意视角修复单独的色调信息内容。除此之外，为了更好地更立即地完成 PlenOctree 变换，该科学研究明确提出了一种改善的 NeRF 实体模型（NeRF-SH），造成曲面谐波电流表明，为此防止对互联网键入不一样角度数据信息。这种信息内容能够 立即储存在 PlenOctree 的叶子节点上。另外根据调整 Octree 构造就可以进一步提高图象品质。
NeRF-SH 实体模型如图所示 1（a）所显示，其基本上的提升全过程和3D渲染全过程与 NeRF 同样，但 NeRF-SH 实体模型不立即輸出 RGB 色调，只是輸出球谐函数 k。色调 c 由在相对应的放射线方位 (θ， φ) 上的球谐函数 k 基上加权求和测算得到。变换公式计算以下：
在其中 d 为角度视角，k 是互联网輸出的球谐函数 SH。应用 SH 基不用对主视图方位开展取样，进而降低了训炼時间。在 NeRF-SH 的训炼全过程中，该科学研究还引进了稀少先验管束，以提高 Octree 构造的储存高效率。全部获取全过程大概必须 15 分鐘。
PlenOctree 构造如图所示 1（b）所显示，在 NeRF-SH 实体模型训炼进行后，将其转化成稀少的 Octree 构造以完成动画渲染。变换的全过程分成下列三个流程：1）在较高的层级上，在网格图上评定互联网，只保存相对密度值，2）根据阀值过虑体素。3）对每一个剩下体素内的任意点开展取样，并对他们开展均值，以得到 SH 涵数，并储存在 Octree 叶片中。在3D渲染的全过程中树的值是彻底可微的，立即在初始训炼图象上调整就可以进一步提高图象品质。PlenOctree 构造的提升速率约为每秒钟 300 万放射线，比较之下，NeRF 提升速率约为每秒钟 9000 放射线。该方式的提升速率对比 NeRF 具备显著的提高，因而能够 推迟时间 NeRF-SH 的训炼来搭建 PlenOctree 构造，而基本上不容易减少实体模型特性。
3D渲染实际效果如图所示 2 所显示，对比于 NeRF，该方式3D渲染的图象在关键点上更优质，更贴近于真正图象，而且3D渲染速度更快了 3000 几倍。
图 2 3D渲染实际效果
图 3 是几类方式训炼時间的比照結果，能够 看得出 NeRF 实体模型和 NeRF-SH 实体模型需要的训炼時间贴近。而 PlenOctree 构造变换和调整必须大概 1 钟头的训炼時间。可是将 NeRF-SH 和 PlenOctree 融合能够 让实体模型只需 4.5 钟头，就能做到 NeRF 大概 16 钟头的训炼品质。
图 3 优化算法收敛性時间
尽管3D渲染速率和特性都有一定的提高，但应用 Octree 构造也会占有大量运行内存資源。
