本技术公开了一种用于房间布局估计的全景图C2P转换和布局生成方法。包括:获取目标室内场景图像;将目标室内场景图像输入深度学习模型,输出预测的完整深度图、全局平面可见性置信度图、墙面类别和平面语义标签;根据与每面墙对应的分割区域的形心水平位置来进行标签分配;根据平面语义标签在每个像素上确定与最高标签预测相关联的类别,从而得到一个粗略的布局分割掩模。从完整的深度图和平面可见性置信度中生成平面深度参数。利用C2P转换技术生成平面深度图,通过顺序平面深度图集成准确地估计房间的平面布局。本发明使C2P变换能灵活地应用于全景图像,为平面深度重建提供了强大的技术支持。
背景技术
房间布局估计是计算机视觉中一个具有挑战性的问题,它的目标是从全景图像中推出室内环境的整体空间布局。这些应用包括场景重建、室内定位和增强现实。
房间布局由主要的室内平面决定,特别是地板、天花板和墙壁。恢复3D房间布局本质上涉及到重建这些主要的室内平面,这是布局估计中的基本挑战。一些最近的研究通过学习平面参数在图像中重建这些主要平面。然而,这些方法的一个显著的限制是缺乏一种机制来指导网络关注主要室内平面的可见区域,这使得预测容易受到遮挡的干扰。此外,平面参数的确定不仅受到视觉外观的影响,还受到图像中平面的位置上下文的影响。这种双重依赖增加了复杂性,给网络拟合带来了额外的负担。
实现思路