计算机视觉课程作业

UCI CS 116 · 2025 冬季学期 · 个人作业(6 次)

六次作业,从双线性插值到全景拼接、纹理合成、HOG 目标检测,再到用预训练扩散模型采样与编辑图像

技术栈

Python, NumPy, SciPy (ndimage, interpolate), Matplotlib, scikit-image, PyTorch, Jupyter, DeepFloyd IF (pretrained)

项目目标与最终效果

这门课的作业都在 notebook 里完成:课程给出题目、脚手架和部分测试;我负责实现算法、补写测试、跑实验并写分析。六次作业依次是:

  • NumPy 与 Matplotlib 热身:读图、取子区域、直方图、阈值二值化。
  • 插值:一维线性插值与二维双线性插值,用来放大和变换图像。
  • 全景拼接:对应点选取、最小二乘估计单应性、图像变换与羽化融合(问题 1)。
  • 纹理拼贴:用动态规划找最小代价接缝,把采样的小块拼成新的纹理(问题 2)。
  • 目标检测:图像梯度与 HOG 特征、用正负样本学习模板、带非极大值抑制的检测;再把同一套检测换成预训练 CNN 特征。
  • 扩散模型:在预训练的 DeepFloyd IF 模型外实现前向加噪、单步与迭代去噪、无分类器引导(CFG)、图生图、草图生图和图像修补。

每次作业都在 notebook 里完整跑通并保存了结果;本页的图都来自这些 notebook。

我的职责与个人贡献

个人作业。下表按 notebook 里的标注区分我写的部分和课程提供的部分。

我写的

  • 插值:linear_interpolate、bilinear_interpolate 及其测试
  • 全景:get_correspondences(选点循环)、compute_homography、apply_homography、warp_images、blend_images 与结果图
  • 纹理:shortest_path、stitch、synth_quilt、参数实验,以及两张自选纹理
  • 检测:mygradient、hog、detect、learn_template,人脸与交通标志实验,learn_template_cnn 与 detect_cnn
  • 扩散:forwardnoise、单步去噪、add_variance、iterative_denoise、iterative_denoise_cfg、image2image、inpaint 及各项实验

课程提供

  • notebook 模板、题目、部分绘图代码与测试骨架
  • selectpoints.py(点击选点界面)、hogvis.py(HOG 可视化)
  • quilt_demo、sample_tiles 与 topkmatch(采样小块、挑选候选)
  • 预训练 CNN 特征提取函数 extractfeatures;预训练 DeepFloyd IF 模型、噪声调度与预先算好的文本嵌入
  • 数据:中庭与窗外照片、岩石墙纹理、人脸图像、扩散实验的测试图

技术问题与解决办法

问题 1:把几张照片对齐、融合成一张全景

问题
绕同一个点转动相机拍的照片可以用单应性对齐,但有两个难点:变换后的照片会落到负坐标或画面之外;直接把照片一张张贴上去,曝光和对齐的细微差别会在交界处留下明显接缝。
做法
  • 用线性最小二乘估计每个单应性:每组对应点给出两个方程,固定 h33 = 1,用 np.linalg.lstsq 求解。课程给的两组照片我每张都点了 16 组对应点(最少需要 4 组)。
  • 把每张照片的四个角变换到基准照片的坐标系,取包围盒作为输出画布;再把每个像素经单应性映射过去,用 scipy 的 griddata 在画布网格上重新采样。
  • 用羽化透明度融合:每张照片的权重是它到照片边缘的距离变换,截断在 55 像素,再归一化使重叠处权重之和为 1;没有照片覆盖的像素保持黑色。
为什么这样做
用多于 4 组的点做最小二乘,可以把点击误差平均掉,而不是精确拟合某几次点歪的点击。距离变换的权重在照片边缘降到 0,过渡被分散到整个重叠区,而不是发生在一条硬边上;截断在 55 像素,则把过渡限制在靠近边缘的一条带里。
五张从同一位置转动相机拍的校园照片点击查看原图
输入:课程提供的五张照片,相机绕同一点转动拍摄。
五张归一化后的透明度遮罩,白色表示权重高,向照片边缘逐渐变暗点击查看原图
我的羽化遮罩(归一化后,白色为权重高):每张都向自己照片的边缘渐弱,所以重叠处是逐渐过渡的。
五张照片拼接后的宽幅全景点击查看原图
输出:五张照片拼成的全景(用我的 notebook 代码和保存的选点重新渲染)。
我自己拍的三张厨房照片拼接成的全景点击查看原图
我自己拍的三张厨房照片:以中间一张为基准,每张侧面照片点 8 组对应点拼成(同样重新渲染)。

问题 2:沿最不显眼的接缝拼接纹理小块

问题
纹理拼贴把从小样本里采样的小块拼成一大张纹理。相邻小块从来不会完全吻合,如果在重叠区直接直线切开,会留下一格一格明显的边。
做法
  • 在每条重叠带里,以两个小块逐像素差的绝对值作为代价,找一条从上到下、总代价最小、每行最多左右移一列的路径。
  • 用动态规划求解:M[i, j] = cost[i, j] + min(M[i−1, j−1], M[i−1, j], M[i−1, j+1])。每一行一次算完:把上一行左右各平移一格(越界处补 ∞)叠在一起取 min 与 argmin,最后从代价最小的末端回溯出路径。
  • 沿接缝拼接:路径左边取左块像素,右边取右块。先从左到右拼出每一行小块,再把各行转置后从上到下拼起来。
为什么这样做
从两个小块本来就相近的像素中间切过去,接缝最难看出来。动态规划在 H×W 的重叠带上以 O(H·W) 找到全局最优接缝,而逐行贪心选最小值可能错过它;我的测试里专门构造了一个贪心会失败、动态规划能找对的代价矩阵。
四张由岩石墙纹理合成的图,参数分别为默认、较大小块、较小重叠、较多候选点击查看原图
用我的拼贴代码在四组参数下合成的岩石墙纹理(课程提供的样例图):默认、较大小块、较小重叠、较多候选小块(k)。

结果与验证方法

从纯噪声逐步去噪成一张街景图像的八个阶段点击查看原图
用我的 iterative_denoise 和预训练 DeepFloyd IF 模型从纯噪声生成图像(第一阶段 64×64 输出,提示词 “a high quality photo”),从 t = 990 到最终结果。
交通标志的正样本平均 HOG 模板与负样本平均 HOG 模板点击查看原图
为交通标志学到的 HOG 模板:左为 5 个正样本的平均,右为 5 个负样本的平均。检测时用两者之差与图像的 HOG 图做相关。
一只鹿在路边,检测框框住了行人标志点击查看原图
我选的一张测试照片上的最高分检测:框住了行人标志。三张测试照片的第一名检测都落在标志上。
四人合影,四张脸被检测框框住,第五个框落在手上点击查看原图
HOG 人脸检测,课程提供的合影(前 5 个检测,绿色分数最高、红色最低):四张脸排在前四,第五个落在手上。
一群人围成一圈俯拍,七个检测框都在脸上点击查看原图
同一套检测换成预训练 CNN 特征,人脸围成一圈(前 7 个):七个框都在脸上,包括右下角一张倒着的脸。
  • 纹理参数实验(我在 notebook 里的分析):小块增大到 50 像素保留了更多原图的石块结构;重叠减到 3 像素时接缝更明显,因为可供接缝绕行的像素更少;候选数 k 增到 10 时石块变化更多。
  • 检测:交通标志模板只取每张图分数最高的一个检测,三张测试照片都落在标志上。人脸图像上,换成 CNN 特征后明显比 HOG 准确,人脸排成一圈时仍然能检测出来,我在分析中把这归因于对旋转等变化更稳健。
  • 检验方式:每个 notebook 都有测试单元(插值结果用 assert_allclose 对照手算值;单应性做 H 与 H⁻¹ 的往返检验;用已知最短路径的手工代价矩阵测试接缝),并保存了可视化结果。

局限

  • 全景的对应点靠手动点选,没有自动特征匹配或 RANSAC,对齐质量取决于点击精度;照片缩到 876×584、只处理灰度。
  • HOG 检测只用一个固定大小的模板,只能找到接近训练尺度和方向的目标。
  • 扩散部分使用预训练模型:我实现的是外围的采样与编辑循环,不是模型本身或它的训练。
  • 这些是有引导的课程作业:题目设置、脚手架和数据都来自课程。

证据与资料

没有公开链接:这些是计分作业,题目可能被重复使用,所以 notebook 和代码不公开。本页的图都导出自我提交的 notebook。