结构光三维重建

UCI CS 117 期末项目 · 个人完成

从双相机格雷码扫描到一个带颜色的锦鲤雕塑三维网格

技术栈

Python, NumPy, SciPy, OpenCV, Matplotlib, Jupyter, MeshLab

项目目标与最终效果

目标:用课程提供的结构光数据集,重建一个带颜色的锦鲤雕塑三维模型。雕塑放在带棋盘格的转台上共扫描 5 次(下称 5 个 grab);每次由两台相机 C0、C1 各拍 39 帧格雷码图案,单次 78 帧、共 390 帧,分辨率 1920×1200。

流程:标定相机 → 解码格雷码、在两台相机之间匹配像素 → 三角化得到带颜色的点云 → 每个 grab 清理并平滑网格 → 把 5 个 grab 对齐到同一坐标系 → 在 MeshLab 中合并、泊松重建。

最终效果:一个完整的彩色网格(53,883 个顶点、107,762 个面),鱼鳞等表面细节和颜色都保留了下来。

转台上的锦鲤雕塑,绿色背景布点击查看原图
输入之一:某个 grab 的彩色图像(课程数据集)。
投影了横条纹格雷码图案的同一场景点击查看原图
输入之二:同一相机 39 帧格雷码图案中的一帧。解码这些帧,就能给每个像素一个编码,用于在两台相机之间匹配。
MeshLab 中从四个角度看到的彩色锦鲤网格点击查看原图
输出:最终彩色网格在 MeshLab 中的四个视角(截自报告)。证明 5 个 grab 已合并成一个闭合、带颜色的表面。

我的职责与个人贡献

下表按报告附录区分每一部分的来源。扫描数据由课程提供;流程中的选点和每个 grab 的裁剪框是手动完成的。

我编写的

  • 前景遮罩 reconstructUtils.compute_foreground_masks
  • 单个 grab 的重建流程 reconstructUtils.reconstruct_scan
  • 网格平滑 meshutils.smooth_mesh
  • 点击点到三维点的映射 selectpoints.clicks_to_pts3
  • 驱动整条流程的 finalProject.ipynb,含 SVD 刚体对齐

改自我先前的作业

  • 外参标定 calibrateUtils.calibrate_extrinsics(作业 3)
  • 格雷码解码 reconstructUtils.decode(作业 4)
  • 匹配与三角化 reconstructUtils.reconstruct(作业 4,新增:为每个点记录 RGB 颜色)
  • 网格清理 reconstructUtils.mesh_cleanup(作业 4,新增:每个 grab 的包围盒裁剪)
  • 标定可视化 visutils.vis_calibrate_extrinsic(作业 3)

教师提供

  • camutils.py(含位姿求解与三角化)
  • calibrate.py(内参标定)
  • meshutils.writeply
  • selectpoints.SelectPoints 与 select_k_points(来自 CS 116 作业 3)
  • visutils 中的绘图辅助函数

在 MeshLab 中完成

  • 合并 5 个对齐后的 .ply 文件
  • Filter → Poisson 泊松表面重建
  • Vertex Attribute Transfer:把点云颜色转移到泊松网格上
  • 用 MeshLab 的 Align 工具对我的对齐结果做最后微调

技术问题与解决办法

问题 1:背景处理:转台上的棋盘格去不掉

问题
前景遮罩把每张彩色图像和一张空背景图比较。但这个数据集里只有 grab 0 的背景图可用(其余 grab 的“背景图”其实和物体图一样),所以每个 grab 都只能用 grab 0 的背景。转台上的棋盘格会随鱼一起转动,在 grab 1–4 中和这张背景对不上,于是被当成前景混进了重建结果。
做法
  • 保留颜色差异遮罩(逐像素三通道平方差之和,阈值 0.065),并与解码遮罩取交集,只三角化“与背景不同且解码可靠”的像素。
  • 再给每个 grab 设一个三维轴对齐包围盒,只保留盒内的点;因为鱼在每个 grab 里朝向不同,盒子按 grab 分别设定。
  • 调盒子时,把每次试重建画成按真实 RGB 着色的三维散点图,棋盘格残留一眼就能看出来。
为什么这样做
数据集是给定的,不能重拍背景;而物体的空间范围很容易框定,按 grab 设包围盒是可靠又低成本的补救。
C0 相机的黑白前景遮罩,鱼为白色,下方有棋盘格轮廓点击查看原图
C0 相机的前景遮罩。鱼被干净地分离出来,但下方仍残留棋盘格的边缘——这就是还需要包围盒裁剪的原因。
按 RGB 着色的鱼点云,下方有一条棋盘格残留点点击查看原图
处理前:按 RGB 着色的点云,鱼身下方留着一条棋盘格的点。
清理后的鱼网格,没有棋盘格残留点击查看原图
处理后:棋盘格残留已去除,只剩鱼的表面。

问题 2:网格清理:跨越深度断层的长三角形和粗糙表面

问题
对二维点做 Delaunay 三角剖分时,会把深度断层两侧的点连起来,形成被拉长的“蹼状”三角面;重建出的表面也比较粗糙。
做法
  • 丢弃任何一条三维边长超过 trithresh(0.6)的三角形,再删掉不再被任何三角形引用的顶点并重新编号(沿用我作业 4 的做法)。
  • 然后平滑:遍历一次三角形列表为每个顶点建立邻居集合,再把每个顶点替换为其邻居的平均位置,迭代 3 次。
为什么这样做
跨越深度断层的面边长异常,按边长阈值过滤能直接针对它们。邻居平均是课上讲过的方法;3 次迭代已去掉锯齿状纹理,最终模型里鱼鳞仍清晰可见。
平滑前的鱼网格,尾部有明显锯齿纹理点击查看原图
处理前:表面(尤其是尾部)有明显的锯齿纹理。
平滑 3 次后的鱼网格,表面光滑但细节仍在点击查看原图
处理后:邻居平均迭代 3 次:锯齿消失,鳍和鳞片的形状保留。

问题 3:多视角对齐:手动选点时如何不让误差累积

问题
每个 grab 都在自己的相机坐标系里重建,合并前必须统一到同一坐标系。对应点靠在 1920×1200 的图上手动点选,每次点击都带误差,稍有偏差就会在三维中造成明显错位。
做法
  • 以 grab 0 为参考,其余每个 grab 都直接对齐到 grab 0。
  • 每对图像点选 6 个对应特征(眼睛、鳍尖、图案角点);把每个点击映射到最近的重建点,得到三维对应点。
  • 用 SVD 闭式求解刚体变换 (R, t),再应用到整片点云。
  • 把 5 片对齐后的点云叠在同一张三维散点图里检查;最后在 MeshLab 中用 Align 工具微调。
为什么这样做
我考虑过逐个相邻对齐(grab 2 → grab 1 → grab 0),相邻 grab 重叠更多、更好点选;但每一环都会带上前一环的误差,把人工点选误差逐级放大。全部对齐到同一个参考,每个 grab 离参考都只差一次变换。
一个 grab 的图像上标出 6 个编号点点击查看原图
在一对 grab 上点选 6 个对应特征;编号让两张图的点击顺序保持一致。
另一个 grab 的图像上标出对应的 6 个编号点点击查看原图
同一组特征在另一个 grab 中的位置。
5 个 grab 的点云按颜色叠加在一起的三维散点图点击查看原图
5 片对齐后的点云叠加,每个 grab 一种颜色。各颜色在鱼身上重合,说明对齐成功;多出来的绿色点属于 grab 1,它只扫到鱼的一小部分,最难对齐。

结果与验证方法

输入帧(5 × 2 相机 × 39)
390
最终网格顶点数
53,883
最终网格面数
107,762
  • 流程可以从原始扫描目录一路跑到一个带颜色的模型;锦鲤的颜色和鱼鳞细节都保留了下来。
  • 参数:decode_thresh = 0.015,color_thresh = 0.065,trithresh = 0.6,平滑 3 次,每对 6 个对应点;只有包围盒按 grab 分别设定。
  • 验证方法:每一步都做了可视化检查——相机位姿图检查标定,遮罩图检查前景分割,按 RGB 着色的散点图检查裁剪,5 片点云叠加图检查对齐,最后把成品网格和雕塑的实拍照片对比。

局限

  • 对齐依赖手动点选:1920×1200 的分辨率下,点歪一点就会在三维中明显错位,最终还需要 MeshLab 的 Align 工具微调。
  • grab 1 只扫到鱼的一小部分,很难对齐;鳍和尾巴太薄,结构光难以捕捉,网格在这些地方更容易有洞。
  • 所有 grab 都只能用 grab 0 的背景图,限制了前景遮罩的效果。
  • 模型表面有轻微的绿色反光。
  • MeshLab 的泊松滤镜在我的 Mac 上反复崩溃,限制为单线程后才能运行。
  • 我也把流程用在数据集中另一个物体(david)上,但没能对齐好,没有得到满意的模型。
  • 如果继续做:在 SVD 之后加 ICP 精配准、为每个 grab 拍摄干净的背景、增加扫描角度,并用自动对齐取代手动点选。

证据与资料