1. Предыстория бизнеса
В одном из наших предприятий нам нужно «автоматически» фотографировать группы мобильных телефонов с помощью интеллектуального оборудования собственной разработки.Иногда эти фотографии необходимо заменить общим цветом фона из-за факторов освещения, а затем представить C конечный пользователь. Тогда возникает необходимость замены фона.
2. Техническая реализация
При использовании OpenCV это требование достигается за счет традиционной обработки изображений.
Вариант первый:
Первое, что приходит на ум, это использовать K-средние для выделения цвета фона.
Общие шаги таковы:
- Линеаризуйте данные 2D-изображения
- Используйте алгоритм кластеризации K-средних, чтобы выделить фоновый цвет изображения.
- Бинаризация фона с телефоном
- Используя морфологическую эрозию, алгоритм размытия по Гауссу размывает пересечение изображения и фона Размытие по Гауссу
- Замена цветов фона и смешивание пересечений
k- Алгоритм усреднения(Английский:kкластеризация средних значений) возникла из метода векторного квантования в обработке сигналов и в настоящее время более популярна в области интеллектуального анализа данных в качестве метода кластерного анализа.k- Цель средней кластеризации: разделить n точек (которые могут быть наблюдением или экземпляром выборки) наkВ каждом кластере каждая точка принадлежит кластеру, соответствующему ближайшему среднему (то есть центру кластера), который используется в качестве эталона кластеризации. Эта проблема сведется к проблеме разделения пространства данных на ячейки Вороного.
Идея алгоритма K-средних заключается в следующем: учитывая n точек данных {x1, x2,...,xn}, найдите K кластерных центров {a1, a2,..., aK}, чтобы каждая точка данных была ближайший к нему кластер Сумма квадратов расстояний от центра является наименьшей, и эта сумма квадратов расстояний называется целевой функцией, обозначается как Wn, и ее математическое выражение имеет вид:
Основной процесс алгоритма K-средних:
- Исходные центры кластера K.
- Все образцы классифицируются по удаленности от центра кластера.
- Пересчитайте центр кластера, чтобы определить, следует ли выйти из условия: Расстояние между центрами двух кластеров достаточно мало, чтобы выполнить условие выхода; Если вы не выходите, вернитесь к шагу 2.
int main() {
Mat src = imread("test.jpg");
if (src.empty()) {
printf("could not load image...\n");
return -1;
}
imshow("origin", src);
// 将二维图像数据线性化
Mat data;
for (int i = 0; i < src.rows; i++) {//像素点线性排列
for (int j = 0; j < src.cols; j++)
{
Vec3b point = src.at<Vec3b>(i, j);
Mat tmp = (Mat_<float>(1, 3) << point[0], point[1], point[2]);
data.push_back(tmp);
}
}
// 使用K-means聚类
int numCluster = 4;
Mat labels;
TermCriteria criteria = TermCriteria(TermCriteria::EPS + TermCriteria::COUNT, 10, 0.1);
kmeans(data, numCluster, labels, criteria, 4, KMEANS_PP_CENTERS);
// 背景与手机二值化
Mat mask = Mat::zeros(src.size(), CV_8UC1);
int index = src.rows * 2 + 2; //获取点（2，2）作为背景色
int cindex = labels.at<int>(index);
/* 提取背景特征 */
for (int row = 0; row < src.rows; row++) {
for (int col = 0; col < src.cols; col++) {
index = row * src.cols + col;
int label = labels.at<int>(index);
if (label == cindex) { // 背景
mask.at<uchar>(row, col) = 0;
}
else {
mask.at<uchar>(row, col) = 255;
}
}
}
imshow("mask", mask);
// 腐蚀 + 高斯模糊：图像与背景交汇处高斯模糊化
Mat k = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
erode(mask, mask, k);
GaussianBlur(mask, mask, Size(3, 3), 0, 0);
// 更换背景色以及交汇处融合处理
RNG rng(12345);
Vec3b color; //设置的背景色
color[0] = 255;//rng.uniform(0, 255);
color[1] = 255;// rng.uniform(0, 255);
color[2] = 255;// rng.uniform(0, 255);
Mat result(src.size(), src.type());
double w = 0.0; //融合权重
int b = 0, g = 0, r = 0;
int b1 = 0, g1 = 0, r1 = 0;
int b2 = 0, g2 = 0, r2 = 0;
for (int row = 0; row < src.rows; row++) {
for (int col = 0; col < src.cols; col++) {
int m = mask.at<uchar>(row, col);
if (m == 255) {
result.at<Vec3b>(row, col) = src.at<Vec3b>(row, col); // 前景
}
else if (m == 0) {
result.at<Vec3b>(row, col) = color; // 背景
}
else {/* 融合处理部分 */
w = m / 255.0;
b1 = src.at<Vec3b>(row, col)[0];
g1 = src.at<Vec3b>(row, col)[1];
r1 = src.at<Vec3b>(row, col)[2];
b2 = color[0];
g2 = color[1];
r2 = color[2];
b = b1 * w + b2 * (1.0 - w);
g = g1 * w + g2 * (1.0 - w);
r = r1 * w + r2 * (1.0 - w);
result.at<Vec3b>(row, col)[0] = b;
result.at<Vec3b>(row, col)[1] = g;
result.at<Vec3b>(row, col)[2] = r;
}
}
}
imshow("final", result);
waitKey(0);
return 0;
}
Вариант 2:
Алгоритм схемы 1 эффективен не для всех мобильных телефонов, для некоторых светлых мобильных телефонов, похожих на цвет фона, алгоритм будет бессилен.
Итак, другой способ мышления:
- Улучшение изображения с помощью алгоритма повышения резкости USM
- Затем используйте чисто белое изображение в качестве фонового изображения и выполните слияние изображения с изображением с повышенной резкостью.
Повышение резкости изображения — это метод обработки изображения, который делает края изображения более четкими.
Алгоритм повышения резкости USM (маска нерезкости) заключается в том, чтобы сначала выполнить размытие по Гауссу для исходного изображения, затем вычесть коэффициент из исходного изображения и умножить размытое по Гауссу изображение, а затем масштабировать значение до диапазона значений пикселей RGB от 0 до 255. внутри. Алгоритм, основанный на повышении резкости USM, может удалить некоторые мелкие мешающие детали и шум, что является более реалистичным и достоверным, чем результаты повышения резкости изображения, полученные при непосредственном использовании оператора повышения резкости свертки.
int main() {
Mat src = imread("./test.jpg");
if (src.empty()) {
printf("could not load image...\n");
return -1;
}
namedWindow("src", WINDOW_AUTOSIZE);
imshow("origin", src);
Mat blur_img, usm;
GaussianBlur(src, blur_img, Size(0, 0), 25);
addWeighted(src, 1.5, blur_img, -0.5, 0, usm);
imshow("usm", usm);
Mat roi = Mat(Size(src.cols,src.rows), CV_8UC3, Scalar(255, 255, 255));
Mat dst;
addWeighted(usm, 1.275, roi, 0.00015, 0, dst);
imshow("final", dst);
waitKey(0);
return 0;
}
Среди них функция addWeighted — объединение двух изображений одинакового размера и типа. Математическая формула выглядит следующим образом:
dst = src1*alpha + src2*beta + gamma;
3. Резюме
На самом деле, я пробовал различные способы реализации этой функции с помощью OpenCV, а также пытался реализовать ее с помощью глубокого обучения. Удовлетворительного результата пока нет. В будущем я буду более склонен использовать глубокое обучение для реализации этой функции.