11- OpenCV：自定义线性滤波（卷积，卷积边缘）

一、卷积

1、卷积概念

2、卷积如何工作

3、常见算子（卷积核 Kenel）

4、自定义卷积模糊

5、代码演示

二、卷积边缘

1、卷积边缘问题

2、处理边缘

3、相关的API说明

4、代码演示

一、卷积

1、卷积概念

（1）在OpenCV中，卷积是一种常用的图像处理操作，用于图像滤波、特征提取等任务。它基于滑动窗口的概念，通过将一个小的核Kenel（也称为滤波器）与图像进行逐像素的乘法和求和运算来实现。

— 卷积是图像处理中一个操作，是kernel在图像的每个像素上的操作。

— Kernel本质上一个固定大小的矩阵数组，其中心点称为锚点(anchor point)

（2）卷积操作可以理解为在图像上滑动一个小的核，并将核的每个元素与对应位置的图像像素值相乘，然后将所有乘积结果相加得到输出图像的对应像素值。这个过程可以简单地表示为：

output(x, y) = sum(kernel(i, j) * input(x+i, y+j))

其中，output(x, y)是输出图像的像素值，kernel(i, j)是核的元素值，input(x+i, y+j)是输入图像的像素值。

（3）卷积操作在图像处理中有多种应用，其中最常见的是图像滤波。通过选择不同的核，可以实现不同的滤波效果，例如平滑滤波、边缘检测等。卷积操作还可以用于图像特征提取，例如使用卷积神经网络（CNN）进行图像分类、目标检测等任务。

在OpenCV中，可以使用cv::filter2D函数来进行卷积操作。该函数接受输入图像、核以及输出图像作为参数，并将卷积结果存储在输出图像中。

2、卷积如何工作

把kernel放到像素数组之上，求锚点周围覆盖的像素乘积之和（包括锚点），用来替换锚点覆盖下像素点值称为卷积处理。数学表达如下

公式讲解：

K(i,j)：卷积核的大小

I里面的参数就是窗口的半径

两个方向X、Y方向上的求和

例子：从左到右，从上到下进行计算

Sum = 8x1+6x1+6x1+2x1+8x1+6x1+2x1+2x1+8x1

New pixel = sum / (m*n)

3、常见算子（卷积核 Kenel）

（1）Robert算子：又称“梯度算子”

（2）Sobel算子：中间2*2，更大，比Robert算子的差异更大，效果可能更明显了

（3）拉普拉斯算子

4、自定义卷积模糊

（1）filter2D方法

filter2D (

Mat src, //输入图像

Mat dst, // 模糊图像

int depth, // 图像深度32/8，不知道的就默认-1，系统也默认和src的深度一样

Mat kernel, // 卷积核/模板

Point anchor = Point(-1,-1) , // 锚点位置，3、5、7、9，或者默认自动寻找中心位置

double delta = 0 // 计算出来的像素+delta

)

其中 kernel是可以自定义的卷积核

5、代码演示

#include <opencv2/opencv.hpp>
#include <iostream>
#include <math.h>

using namespace cv;
int main(int argc, char** argv)
{
	Mat src, dst;
	int ksize = 0;

	src = imread("test.jpg");
	if (!src.data)
	{
		printf("could not load image...\n");
		return -1;
	}

	char INPUT_WIN[] = "input image";
	char OUTPUT_WIN[] = "Custom Blur Filter Result";
	namedWindow(INPUT_WIN, CV_WINDOW_AUTOSIZE);
	namedWindow(OUTPUT_WIN, CV_WINDOW_AUTOSIZE);

	imshow(INPUT_WIN, src);

	// Robert 算子 X 方向
	//Mat Robert_x = (Mat_<int>(2, 2) << 1, 0, 0, -1);
	//Mat mat_Robert_x;
	//filter2D(src, mat_Robert_x, -1, Robert_x);
	//imshow("Robert x", mat_Robert_x);

	 Robert 算子 Y 方向
	//Mat Robert_y = (Mat_<int>(2, 2) << 0, 1, -1, 0);
	//Mat mat_Robert_y;
	//filter2D(src, mat_Robert_y, -1, Robert_y);
	//imshow("Robert y", mat_Robert_y);

	// Sobel X 方向
	Mat kernel_x = (Mat_<int>(3, 3) << -1, 0, 1, -2, 0, 2, -1, 0, 1);
	filter2D(src, dst, -1, kernel_x, Point(-1, -1), 0.0);
	imshow("Sobel X", dst);

	// Sobel Y 方向
	Mat yimg;
	Mat kernel_y = (Mat_<int>(3, 3) << -1, -2, -1, 0, 0, 0, 1, 2, 1);
	filter2D(src, yimg, -1, kernel_y, Point(-1, -1), 0.0);
	imshow("Sobel Y", yimg);


	// 拉普拉斯算子
	//Mat kernel_y = (Mat_<int>(3, 3) << 0, -1, 0, -1, 4, -1, 0, -1, 0);
	//filter2D(src, dst, -1, kernel_y, Point(-1, -1), 0.0);
	//imshow("拉普拉斯", dst);
	
	waitKey(0);

    // 自定义卷积模糊
	//int c = 0;
	//int index = 0;
	//while (true)null
	//{
	//	c = waitKey(500);
	//	if ((char)c == 27) // ESC
	//	{ 
	//		break;
	//	}
	//	ksize = 5 + (index % 8) * 2;
	//	Mat kernel = Mat::ones(Size(ksize, ksize), CV_32F) / (float)(ksize * ksize);
	//	filter2D(src, dst, -1, kernel, Point(-1, -1));
	//	index++;
	//	imshow(OUTPUT_WIN, dst);
	//}

	return 0;
}

效果展示：

（1）Robert算子，在X与Y方向上呈现出差异性

（2）Sobel算子：相对与Robert算子，差异会明显一些

（3）拉普拉斯算子：碎发也没看到了

二、卷积边缘

1、卷积边缘问题

卷积边缘问题：图像卷积的时候边界像素，不能被卷积操作。

原因：在于边界像素没有完全跟kernel重叠，所以当3x3滤波时候有1个像素的边缘没有被处理，5x5滤波的时候有2个像素的边缘没有被处理。

2、处理边缘

在卷积开始之前增加边缘像素，填充的像素值为0或者RGB黑色，比如3x3在四周各填充1个像素的边缘，这样就确保图像的边缘被处理，在卷积处理之后再去掉这些边缘。

openCV中默认的处理方法是： BORDER_DEFAULT，此外常用的还有如下几种：

- BORDER_CONSTANT – 填充边缘用指定像素值

- BORDER_REPLICATE – 填充边缘像素用已知的边缘像素值

- BORDER_WRAP – 用另外一边的像素来补偿填充

3、相关的API说明

给图像添加边缘API：copyMakeBorder

copyMakeBorder（

- Mat src, // 输入图像

- Mat dst, // 添加边缘图像

- int top, // 边缘长度，一般上下左右都取相同值，

- int bottom,

- int left,

- int right,

- int borderType // 边缘类型

- Scalar value

）

4、代码演示

增加边缘的四种策略，都适用于什么场景，如何处理卷积的边缘。

先认识下：GaussianBlur（）

GaussianBlur函数用于对图像进行高斯模糊操作。它可以有效地去除图像中的噪声，并平滑图像的细节。

void GaussianBlur (

InputArray src, // 输入图像，可以是单通道或多通道图像

OutputArray dst, // 输出图像，与输入图像具有相同的尺寸和类型

Size ksize, // 高斯核的大小，用Size(w, h)表示。它必须是正奇数，例如(3, 3)、(5, 5)等。

double sigmaX, // 高斯核在X方向上的标准差

double sigmaY = 0, // 高斯核在Y方向上的标准差。如果为0，则默认使用sigmaX的值

int borderType = BORDER_DEFAULT // 边界处理方式，默认为BORDER_DEFAULT

);

int main(int argc, char** argv) 
{
	Mat src, dst;
	src = imread("test.jpg");
	if (!src.data) 
	{
		printf("could not load image...\n");
		return -1;
	}
	char INPUT_WIN[] = "input image";
	char OUTPUT_WIN[] = "Border Demo";
	namedWindow(INPUT_WIN, CV_WINDOW_AUTOSIZE);
	namedWindow(OUTPUT_WIN, CV_WINDOW_AUTOSIZE);
	imshow(INPUT_WIN, src);
	/*
	int top = (int)(0.05*src.rows);
	int bottom = (int)(0.05*src.rows);
	int left = (int)(0.05*src.cols);
	int right = (int)(0.05*src.cols);
	RNG rng(12345);
	int borderType = BORDER_DEFAULT;

	int c = 0;
	while (true) 
	{
		c = waitKey(500);
		// ESC
		if ((char)c == 27) 
			break;

		if ((char)c == 'r') 
			borderType = BORDER_REPLICATE;
		else if((char)c == 'w') 
			borderType = BORDER_WRAP;
		else if((char)c == 'c') 
			borderType = BORDER_CONSTANT;

		Scalar color = Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
		copyMakeBorder(src, dst, top, bottom, left, right, borderType, color);
		imshow(OUTPUT_WIN, dst);
	}
	*/


    // 上面的代码可以直接用下面接口替换
	GaussianBlur(src, dst, Size(5, 5), 0, 0);
	imshow(OUTPUT_WIN, dst);

	waitKey(0);
	return 0;
}

效果展示：