📚 《智能视觉计算与图像分析》 🌟 第二章空间卷积与复原实践

空间邻域卷积机理 与低质量图像增强实证

深入探究 2D 空间卷积的代数本质与邻域滤波物理特性,完成纯 NumPy 手写算子与工业库逐像素对齐; 并基于江西财经大学图文大楼(昼景高频)与南昌滕王阁(夜景暗光欠曝)双实拍案例, 实证剖析“先降噪再拉伸”的时序因果铁律。

👤 完成人:王志蕴 (0242633) 🏫 班级:软件工程249班 👨‍🏫 指导教师:万伟国 副教授 ⚡ 运行环境:Python 3.11 / PEP 723 / uv
Chapter 02 · Foundations

数学基石:空间卷积与图像退化逆命题

厘清“数学卷积 vs 互相关”、“高通 vs 低通对偶性”与“直方图映射”的代数与几何实质,彻底告别公式拥挤截断。

空间卷积代数本质
可交换性 Commutativity

邻域加权求和、空间平移与核 180° 翻转对齐

数学意义上的二维连续/离散卷积定义具备严格的代数可交换性,其本质是滑动邻域关于原点的对称加权映射:

$$S(i, j) = (I * K)(i, j) = \sum_{m} \sum_{n} I(i-m, j-n) K(m, n) = \sum_{m} \sum_{n} I(i+m, j+n) K(-m, -n)$$
🔄 卷积 (Convolution) vs 互相关 (Cross-Correlation)

OpenCV 工业算子 cv2.filter2D 实际计算的是滑动互相关(核未旋转)。要使其符合严格数学卷积,必须先将核在水平与垂直两个维度翻转 180°(即 K[::-1, ::-1]),否则非对称核(如 Sobel-X)会导致响应方向完全反转。

🛡️ 边界反射填充 (BORDER_REFLECT_101)

当滤波模板滑出图像边界时,采用内侧像素镜像对称反射填充(NumPy reflect 模式),能有效维持边界处的图像导数连续性,彻底消除常数零填充(Zero Padding)引发的人造黑边断崖效应。

频域滤波对偶与动态范围
空域-频域对偶映射

频域通带对偶性与直方图自适应拉伸机理

卷积核内部权重的空间和与差分排布,决定了其在傅里叶频域的通带特性;直方图映射则决定灰度动态范围展开:

$$\text{平滑 (低通)} \iff \sum K_{ij} = 1 \quad\Big|\quad \text{边缘 (二阶高通)} \iff \sum K_{ij} = 0 \quad\Big|\quad \text{锐化} = I + \alpha \cdot \nabla^2 I$$
📈 直方图均衡化 (HE) 累积映射

依据累积分布函数(CDF)将高度挤压在暗区的像素向 $[0, 255]$ 全域非线性展宽:$s_k = (L-1) \sum_{j=0}^k p_r(r_j)$。但全局 HE 容易将背景平坦区的微弱传感器高斯噪声非线性放大数倍。

✂️ 局部自适应 CLAHE 剪裁限幅机制

将图像划分为若干局部网格(Grid Tiles),在计算局部直方图时预设对比度阈值(Clip Limit),将超出限幅的高频峰值均匀重分配到底部,在大幅拉升夜景暗部层次的同时锁定噪声不暴走。

Mini-Lab Task A · Pure NumPy

从零实现 2D 卷积与 OpenCV 逐元素严格对齐

明令禁止使用任何现成滤波 API,纯粹基于切片滑动累加,实测绝对误差小于 1e-15。

PASS 8.88e-16
实测最大绝对误差 (Max Diff)
100% 对齐
OpenCV filter2D 逐像素等价
reflect 模式
BORDER_REFLECT_101 边界填充
180° 翻转
K[::-1, ::-1] 数学卷积核旋转
实拍江财图文大楼 · 检查点三联对比图

NumPy 手写输出 vs OpenCV 工业级算子 vs 逐元素绝对差

使用非对称的 Sobel-X 算子对江财图文大楼进行水平边缘响应测试。第三张差值图显示为完全纯黑(Max Diff = 8.88e-16),证明核心算法在数学与工程实现上完美契合。点击图片可打开全分辨率灯箱。

🔍 点击放大原图 手写卷积检验图
图 2-1: 【检验点实测】左:纯 NumPy 手写 conv2d;中:OpenCV filter2D;右:两者绝对差(热力图,极值为 0.000000)
Mini-Lab Task B · 1×5 Gallery

换核看世界:4 种经典卷积核视觉效应全景

同一张图、同一个手写 conv2d,换 4 个不同算子,直观观察低通平滑、高通边缘、定向浮雕与细节锐化。

案例一 · 江西财经大学蛟桥园相思湖实拍

江财图文信息大楼 1×5 多核全景响应排版

大楼窗格规整,树林叶片高频密集,湖面倒影对称。四种卷积核在空间频率上的响应截然不同:点击图片可放大查看高频细节。

🔍 点击放大原图 江财大楼四核排版
图 2-2: 【案例一】江财大楼实拍 1×5 排版:原图 $\to$ 高斯模糊(低通) $\to$ 拉普拉斯二阶边缘 $\to$ 对角线浮雕 $\to$ 高通锐化
课件思考题深度解答

为什么拉普拉斯与浮雕直接灰度显示会“怪怪的”?

代数与生理原因:拉普拉斯算子权重和为 0(如四周 $-1$,中心 $4$),浮雕核为正负定向差分。卷积结果在平坦区域趋近于 0,在明暗突变两侧分别出现强正值与负响应。 若直接强制转换为 8 位无符号整型(uint8),小于 0 的部分会被强制截断成 0(纯黑),造成大面积死黑断层。 因此在工程呈现上必须取绝对值(np.abs(out))或加上 128 灰度偏置(加法中性灰)。

Homework Assignment · Restoration

传统图像增强:把暗光低质量夜景复原到清晰可辨

仅使用本讲涉及的传统方法(点运算、双边保边卷积、CLAHE直方图自适应拉伸),拖动滑块直观对比复原效果。

复原增强图 原始暗光图
◀ 原始暗光欠曝原图
传统复原增强图 ▶
💡 交互提示:拖动中间滑块左右滑动(支持鼠标拖拽与手机触摸手势),即刻无损对比暗夜江水微波与古建飞檐的复原细节。
灰度直方图分布演变实测

动态范围拓展与暗部细节拉伸

将彩色图转换到 YCrCb 色彩空间,仅对亮度通道 Y 进行 CLAHE 局部自适应拉伸,避免了在 RGB 三通道独立操作导致的严重色偏。 从直方图可见:原图像素高度挤压在 $[0, 40]$ 暗夜区;复原后直方图平滑展开至 $[0, 255]$ 全域,江水微波与对岸高楼灯火跃然纸上,同时阁楼高光区域被限制未溢出。

🔍 点击放大原图 滕王阁直方图对比
图 2-4: 滕王阁暗光夜景前后对比及灰度直方图展开分布(点击可全屏查看直方图细节)
Empirical Study · Challenge

重磅实证:为什么算子执行顺序严禁颠倒?

解答万老师课件思考题:“为什么选这几个操作?顺序能不能换?”通过实证对照组给出无可辩驳的证据。

推荐方案:正序执行 (Denoise First)

保边去噪 $\to$ CLAHE直方图拉伸 $\to$ USM高通锐化

机理分析:暗光欠曝区域信噪比极低,夹带传感器高斯散斑。 先在低动态范围内使用双边滤波进行平滑,抹去微弱噪点同时锁定强边缘;随后拉伸直方图时,放大的全部是有效信号,夜空均匀通透,江水水纹清晰。

错误方案:颠倒顺序 (Contrast First)

CLAHE直方图拉伸 $\to$ 保边去噪 $\to$ USM高通锐化

灾难性后果:若先执行直方图均衡化,低信噪比暗部微弱的噪点波动会被自适应算法非线性剧烈放大数倍! 后续平滑滤波根本无法消除已经变成宏观大斑块的噪声,最终锐化更使色斑边缘锐化,整幅画面充满劣质噪斑伪影。

实证三联对比

颠倒顺序导致噪点被非线性剧烈放大的实证展示

🔍 点击放大原图 顺序颠倒对照组
图 2-5: 【顺序对比实证】中:正序方案(背景纯净,水色优美);右:反序方案(夜空与水面充斥大面积被放大的粗糙彩色噪点伪影)
Submission & Deliverables

教学合规、作业提交解答与全套源码

严格遵循万伟国老师关于 AI 使用透明度准则的考核规范,提供一键复制与源码资产下载。

超星学习通提交必备 · 100 字原理解释文本
本次复原组合采用“双边滤波去噪 + CLAHE直方图自适应拉伸 + USM卷积锐化”。
选取依据:欠曝夜景信噪比低,直方图被极度挤压在暗区且伴随传感器散斑噪声。
操作顺序严禁颠倒:若先做直方图均衡化,会将暗部微弱的噪点差分信号非线性放大数倍,导致后续平滑不仅难以消除还会产生粗糙色斑块;因此必须“先在低信噪比下保边去噪,再展开全局对比度,最后注入高通锐化补偿边缘细节”。
符合万老师考核要求的《AI 工具使用说明》

独立思考与 AI 辅助边界透明度披露

  • 使用工具:Google Antigravity (Gemini 3.8 Flash)。
  • 交互与探究问题:
    • 提问:“纯 NumPy 切片循环如何实现边界对称填充,使其与 OpenCV 互相关保持 1e-15 数学等价?”
    • 提问:“暗光高噪点图像中,直方图非线性拉伸与空间滤波的先后次序在数学上有何因果影响?”
  • AI 生成内容:二维卷积的滑动边界处理骨架、CLAHE 亮通道分离流水线框架及单页展示组件。
  • 本人独立验证与调试:
    • 亲自前往江财蛟桥园实拍图文大楼,并选取南昌滕王阁真实夜景作为双案例母图;
    • 独立测试核 180° 翻转方向,排除边界错位,实测通过 max diff < 1e-4 检验点;
    • 独立设计正反序对照组,亲眼见证并证实了先拉伸对比度会导致噪点被数倍放大的失效现象。
工程交付物下载中心

全套源代码与高分辨率实拍实验包

所有脚本均采用 PEP 723 内联元数据,安装 uv 后直接 uv run script.py 即可免配环境秒跑。

🌟 本次作业核心交付物
📦 Lab 02: 空间卷积与复原实验包
包含 task_a_conv.py, task_b_kernels.py, enhance.py、江财与滕王阁实拍高清母图、实验三联图及 100 字作业说明。
ZIP 压缩包 8.6 MB PEP 723 / uv 运行
📥 立即下载第二次作业完整包 (.zip, ~8.6MB)
第一章归档交付物
📦 Lab 01: 底层表征与 YOLO 挑错包
包含通道解剖脚本、YOLO11n 挑战推理脚本、对抗阈值评测图谱与学习通提交说明。
ZIP 压缩包 5.1 MB Python 3.10+ / PyTorch
📥 下载第一次作业归档包 (.zip, ~5.1MB)