网站地图
-
人造皮革现已广泛应用于皮衣、汽车座椅和皮包的制作中。随着市场对皮革需求量增加和消费者对产品质量要求不断提高，如何切实保证生产出高质量皮革产品是企业生产过程中的一个重要环节。在皮革生产加工过程中，表面容易产生油污、孔洞、压痕、划痕和色差等缺陷。目前企业监测缺陷主要通过的是工人的肉眼辨别，工作环境复杂多变，单纯采用人眼检测速度慢且易受到主观影响[1-3]。
随着计算机和图像处理技术的快速发展，已有企业利用机器视觉实现皮革缺陷的自动化检测。
传统的机器视觉皮革缺陷检测算法主要有：聚类分析法[4]、阈值分割法[5]、小波分析算法[6]和特征直方图算法[7]等。上述多种算法在特定环境和实验平台中对于较为明显的皮革缺陷具有一定的检测效果，但当皮革样本背景纹理与缺陷区域相近，或表面存在细小缺陷时，易导致算法检测效率和准确率降低。算法对于不同材质皮革表面纹理敏感，所以无法得到广泛应用。
种类不同的皮革表面纹理差异是影响皮革缺陷检测过程中精度和准确率的最主要原因。本文中采用一种基于改进双边滤波的皮革缺陷检测方法，将传统双边滤波的2维非线性运算变为2维的快速傅里叶运算，提高了运算效率。利用改进的双边滤波算法快速模糊皮革表面纹理背景并保留缺陷边缘，降低皮革背景纹理对检测算法的影响。针对皮革样本缺陷形状不一和颜色相近的问题，采用灰度共生矩阵提取缺陷区域能量、对比度、熵和均匀性作为特征向量，最后利用最小二乘支持向量机构建分类器对皮革中的缺陷进行识别分类。
-
不同种类皮革表面纹理和材质都具有差异，因此图像采集过程中对光照强度与照射角度的需求亦不同。目前机器视觉检测平台使用光源主要为发光二极管(light emitting diode，LED)环形光源、背光源或条形光源。这些光源都是同轴光源，照明光在目标面上对称均匀分布，易导致在图像采集中，皮革样本中压痕和细小缺陷与背景对比度小，算法无法有效检测出来[8]。为应对复杂的皮革缺陷检测，本文中搭建了基于机器视觉的皮革缺陷检测平台。使用曲面离轴LED阵列照明，其主要由4个部分组成：光源摆角器、曲面离轴LED阵列、焦距为12mm的高倍镜头和工业电荷耦合元件(charge-coupled device，CCD)相机，结构和实物如图 1所示。
Figure 1. Leather defect detection platform
-
本文中采用的皮革缺陷检测算法，主要分为图像采集、图像预处理、特征提取和分类识别4个模块。算法流程如图 2所示。
Figure 2. Flow chart of defect detection algorithm
-
皮革表面纹理对缺陷区域分割提取干扰较大，为降低背景纹理干扰，增加检测算法的鲁棒性和准确率，需要采用滤波算法来模糊皮革的背景纹理。传统的空间域滤波，如高斯滤波[9]、中值滤波[10]和均值滤波[11]只考虑了空间域像素之间的欧氏距离，对图像中背景纹理部分起到了平滑作用，但无法保留缺陷区域边缘轮廓。因此准备采用双边滤波器[12]，该算法是一种非线性滤波器，能有效模糊背景纹理并保持目标区域边缘。由于该算法是进行非线性运算，计算量较大，易导致检测时间过长[13]。
假设原图像在点(x, y) 位置的灰度值为I(x, y)，经双边滤波算法运算后得到的图像在点(x, y)的灰度值为I′(x, y)，如下式所示：
$ \begin{array}{c} I^{\prime}(x, y)= \\ \frac{1}{W_{p}} \sum\limits_{q \in S} G_{\mathrm{s}}(\|p-q\|) G_{\mathrm{r}}\left(\left|I_{p}-I_{q}\right|\right) I(x, y) \end{array} $
(1) $ W_{p}=\sum\limits_{q \in S} G_{\mathrm{s}}(\|p-q\|) G_{\mathrm{r}}\left(\left|I_{p}-I_{q}\right|\right) $
(2) 式中，Wp是空间权值和灰度权值乘积的总和，Gs(‖p-q‖) 为空间域核，Gr(Ip-Iq)为值域核，其中‖‖表示欧氏距离，||表示绝对值，S为双边滤波的范围，Ip为邻域像素点p的灰度值，Iq是中心像素点q的灰度值；Gr和Gs为灰度邻近度函数和空间邻近度函数，如下式所示：
$ G_{\mathrm{s}}(\|p-q\|)=\exp \left[-\frac{(\|p-q\|)^{2}}{2 \sigma_{\mathrm{s}}{}^{2}}\right] $
(3) $ G_{\mathrm{r}}\left(\left|I_{p}-I_{q}\right|\right)=\exp \left[-\frac{\left(\left|I_{p}-I_{q}\right|\right)^{2}}{2 \sigma_{\mathrm{r}}{ }^{2}}\right] $
(4) 式中, σs是基于高斯函数的距离标准差，σr是基于高斯函数的灰度标准差。
改进后滤波算法主要是将坐标上点的灰度值与图像中点坐标相结合，产生一个3维图像，再使用3维图像函数与3维高斯核函数进行卷积运算，则把复杂的非线性运算转换成线性运算，加快了滤波算法的运算速度。像素点转换为3维后, 则有3维权值函数E和3维图像函数F，如下式所示：
$ \boldsymbol{F}=\left\{\begin{array}{l} z, (z=I(x, y)) \\ 0, (z \neq I(x, y)) \end{array}\right. $
(5) $ \begin{array}{c} \boldsymbol{E}=\left\{\begin{array}{l} 1, (z=I(x, y)) \\ 0, (z \neq I(x, y)) \end{array}\right. \end{array} $
(6) $ \boldsymbol{B}=\frac{G \otimes \boldsymbol{F}}{G \otimes \boldsymbol{E}} $
(7) 式中，B为对3维矩阵E和F进行3维高斯滤波得到的3维矩阵，G是高斯核函数，⊗ 是矩阵运算符克罗内克积。
改进的双边滤波处理效果如图 3所示。图 3a为相机拍摄的皮革油污缺陷的原图，图 3b为经采用改进双边滤波算法处理后效果图。对比发现，经算法处理后，模糊皮革背景纹理区域且保留了油污缺陷内外边缘轮廓，有助于后续缺陷区域准确地分割和特征提取。
Figure 3. Improved bilateral filtering processing graph
-
不同种类皮革表面缺陷形态各异、大小差异，因此不能简单通过物理特征来进行特征提取[14]。进行实验时发现，不同种类缺陷区域部分的纹理粗细、紧密和沟纹深浅程度不同，则每种缺陷都能够采用纹理特征进行表征。灰度共生矩阵通过不同函数对缺陷区域纹理特征、紧密程度和颜色之间差异进行表征[15-16]，通过实验比较最终选用能量值T、对比度C、熵M和均匀性H这4个特征参量分别从纹理的粗细、对比度、信息量和局部变化4个维度进行表征，表达式如下式所示：
$ \left\{\begin{array}{l} \boldsymbol{T}=\sum\limits_{i=0}^{L-1} \sum\limits_{j=0}^{L-1} \boldsymbol{P}^{2}(i, j) \\ \boldsymbol{C}=\sum\limits_{n=0}^{L-1} n^{2}\left[\sum\limits_{i=0}^{L-1} \sum\limits_{j=0}^{L-1} \boldsymbol{P}^{2}(i, j)\right] \\ \boldsymbol{M}=-\sum\limits_{i=0}^{L-1} \sum\limits_{j=0}^{L-1} \boldsymbol{P}(i, j) \lg \boldsymbol{P}(i, j) \\ \boldsymbol{H}=\sum\limits_{i=0}^{L-1} \sum\limits_{j=0}^{L-1} \frac{\boldsymbol{P}(i, j)}{1+(i-j)^{2}} \end{array}\right. $
(8) 式中，L为灰度级，P(i, j)为灰度共生矩阵，i，j分别为像素点的灰度。
一副图像经过区域分割后得到子图像，子图像即为皮革缺陷区域。计算该子图像上述4个共生矩阵特征参量的值，作为特征值, 并将4个特征值组合，由此每一个样本可得到一个4维特征向量。图像的灰度共生矩阵参量受到灰度量化级、像元对方向和距离的影响。本实验中选定灰度量化级为32，像元对方向为0°，距离为8个像素点。
支持向量机(support vector machine，SVM)是建立在统计学理论的一种重要的分类器[17]。本研究中利用最小二乘支持向量机将样本图片中各子区域的4个特征值(能量、对比度、熵和均匀性)作为输入的特征向量，建立分类模型对皮革缺陷进行识别，核函数为径向基函数，记作：
$ K(\boldsymbol{X}, \boldsymbol{Y})=\exp \left(-\sigma\|\boldsymbol{X}-\boldsymbol{Y}\|^{2}\right) $
(9) 式中，σ为函数的距离参量，取值为0.0718;X和Y为输入的特征向量。
SVM是一种二分类的分类器，只能用于两类样本的分类，想要对多个类别检测识别分类，主要有3种实现方法，分别为：一对多的最大响应策略; 一对一的投票策略; 一对一的淘汰策略[18-21]。经过对比实验，本文中采用的是一对一投票策略的分类方法，此分类方法原理是将4类样本，进行两两组成训练集，得到6个SVM分类器，把检测样本的特征向量依次送入这6个SVM分类器中，如果有n类样本，则需要n(n-1)/2个分类器，最终计算权重，得出最佳结果。
-
本文中实验样本为皮革生产厂家提供有缺陷和正常的皮革产品，其中，正常皮革样本100张，皮革缺陷样本500张，共选用5种缺陷作为代表进行检测实验分析，缺陷包括：褶皱、划痕、孔洞、油污和鼓包。将本文中检测算法与聚类分析算法、阈值分割算法和小波分析算法等缺陷检测算法进行对比实验，对比算法检测准确率和运行效率。实验平台均采用为MATALAB2016b, 系统环境为Windows7，运行内存4GB。
图 4为机器视觉实验平台分别采用普通环形面阵光源和曲面离轴LED阵列光源进行照明的检测对比实验结果。实验中发现，采用普通环形光源垂直照射目标面，相机采集到的皮革样本图片，缺陷区域与纹理背景差异较小，算法无法准确检测识别出缺陷位置。当采用曲面离轴LED阵列光源进行图像采集照明，缺陷区域轮廓清晰且与背景纹理对比度强，算法能够精确识别缺陷区域。曲面离轴LED阵列进行侧面照明保证光照目标面均匀度，同时凸出皮革各向异性缺陷，提高检测算法的准确率。
Figure 4. Defect detection results under two lighting modes
图 5为不同材质皮革的各类缺陷在对比算法下的运行结果。分别为缺陷原图和经过聚类分析法、阈值分割法、小波分析和本文中的改进双边滤波法的实验检测结果。对于聚类分析方法，模型训练时需要固定样本大小，因此训练样本会出现一定程度拉伸或者压缩，导致模型不能准确表征特征；对于孔洞或划痕等细小缺陷，漏检情况发生主要受算法预处理和后处理影响，在图像滤波过程中，背景纹理对后续缺陷区域分割的影响极大。
Figure 5. Test results of the four algorithms
本文中采用改进双边滤波对皮革样本图像进行预处理，有效实现皮革缺陷区域增强、纹理背景的弱化，便于后续特征提取和识别。采用的检测算法，能够精确标记皮革缺陷所在位置，避免缺陷标准矩形框较大的问题，减少皮革的浪费。从客观定量指标对检测结果进行评价，本文中所采用的算法能很好检测不同材质皮革缺陷。与其它3种检测算法相比较，其检测准确率高、速度快, 准确率、算法运行时间分别如表 1和表 2所示。阈值分割法运行时间最短，但其准确率较低。因不同材质皮革表面缺陷颜色不用，简单通过阈值分割，无法精确提取缺陷区域进行检测。
Table 1. Accuracy statistics of defect detection algorithm
cluster
analysisthreshold
segmentationwavelet
analysisimproved bilateral
filteringcorrect number 510 389 532 560 wrong number 12 59 18 9 missing number 78 152 50 31 total sample size 600 600 600 600 accuracy rate/% 85 64 88.7 93.3 Table 2. Running time statistics of defect detection algorithm
cluster
analysis/sthreshold
segmentation/swavelet
analysis/simproved bilateral
filtering/swrinkle 4.32 0.69 2.78 0.85 scratch 4.96 0.64 2.90 0.84 hole 4.01 0.72 2.76 0.82 oil 4.88 0.70 2.88 0.80 swell 4.20 0.68 2.84 0.85 mean time 4.46 0.68 2.83 0.83 -
针对不同材质皮革的视觉缺陷检测算法研究较少，且相应算法对不同材质皮革表面纹理敏感，检测效率不能满足企业生产力需求, 这一难题，本文中搭建了LED曲面离轴照明的机器视觉检测平台，与传统面阵同轴照明检测实验平台相比，LED曲面离轴照明有助于提高算法对皮革各向异性缺陷检测准确率和精确度，并采用改进双边滤波对图像样本进行预处理，减小纹理背景对检测的影响，增加算法鲁棒性，实现对皮革纹理图像的快速有效检测。通过对比实验分析，表明本文中采用的检测算法，在实际皮革检测效果及性能都较好应用。
基于改进双边滤波的皮革缺陷检测
Leather defect detection based on improved bilateral filtering
-
摘要: 为了提高皮革缺陷检测效率, 提出了一种基于改进双边滤波的皮革缺陷检测算法。通过搭建机器视觉检测平台, 完成不同种类缺陷的皮革样本的图像采集, 采用改进的双边滤波算法处理样本图像, 模糊皮革背景纹理并保留缺陷边缘轮廓, 在此基础上, 计算各类缺陷的4种特征参量作为输入向量, 构建了最小二乘支持向量机自动识别模型。结果表明, 与聚类分析算法、阈值分割法和小波分析法相比, 本文中采用的算法能更高效地检测出皮革多种缺陷, 检测平均用时0.83s, 缺陷检测准确率为93.3%。此研究结果为皮革的实时检测提供了有效途径。Abstract: In order to improve the efficiency of leather defect detection, a leather defect detection algorithm based on improved bilateral filtering was proposed. Through constructing machine vision detection platform, different kinds of defects in the finished leather sample image were obtained, sample images were processed with improved bilateral filtering algorithms to make the leather background texture fuzzy and keep its defect edge profile. Then, various kinds of defects of four characteristic parameters were calculated as the input vector, and the automatic identification of least squares support vector machine (SVM) mode was constructed. The results showed that compared with cluster analysis algorithm, threshold segmentation algorithm and wavelet analysis algorithm, the algorithm adopted in this paper could detect various defects of leather more efficiently. The average detection time was 0.83s, and the accuracy of defect detection was 93.3%. The results provide an effective way for real-time leather detection.
-
Figure 1. Leather defect detection platform
a—schematic diagram of testing platform b—physical object of detection platform
Figure 3. Improved bilateral filtering processing graph
a—original image b—image after improved bilateral filtering
Figure 4. Defect detection results under two lighting modes
a—ordinary light source illumination b—bending light source illumination
Figure 5. Test results of the four algorithms
a—original image b—cluster analysis c—threshold segmentation d—wavelet analysis e—improved bilateral filtering
Table 1. Accuracy statistics of defect detection algorithm
cluster
analysisthreshold
segmentationwavelet
analysisimproved bilateral
filteringcorrect number 510 389 532 560 wrong number 12 59 18 9 missing number 78 152 50 31 total sample size 600 600 600 600 accuracy rate/% 85 64 88.7 93.3 
下载: 导出CSV
Table 2. Running time statistics of defect detection algorithm
cluster
analysis/sthreshold
segmentation/swavelet
analysis/simproved bilateral
filtering/swrinkle 4.32 0.69 2.78 0.85 scratch 4.96 0.64 2.90 0.84 hole 4.01 0.72 2.76 0.82 oil 4.88 0.70 2.88 0.80 swell 4.20 0.68 2.84 0.85 mean time 4.46 0.68 2.83 0.83
下载: 导出CSV
-
[1] JAWAHAR M, VANI K, BABU N K C. Machine vision inspection system for detection of leather surface defects[J]. The Journal of the American Leather Chemists Association, 2019, 114(1): 10-19. [2] RADNAEVA V D, SOVETKIN N V, SHALBUEV D V. Innovative methods for processing leather and pelts[J]. Fibre Chemistry, 2019, 51(4): 297-299. doi: 10.1007/s10692-020-10100-1 [3] KHWAJA M, SRINIVAS K, PRASAD G. Defective texture classification using optimized neural network structure[J]. Pattern Recognition Letters, 2020, 135 (1): 228-236. [4] HUANG M, GUO Ch L, HE R L, et al. Classification of color matching functions with the method of cluster analysis[J]. Spectroscopy and Spectral Analysis, 2020, 40(2): 454-460 (in Chinese). [5] QIU H B, WANG X M, XU Zh, et al. Ship SAR image threshold segmentation based on two-dimensional energy detection[J]. Systems Engineering and Electronics, 2019, 41(12): 2747-2753(in Chinese). [6] FENG F, LI Ch W. Simulation of atmospheric turbulence phase screen based on wavelet analysis[J]. Acta Optica Sinica, 2017, 37(1): 0101004(in Chinese). doi: 10.3788/AOS201737.0101004 [7] RAZA A, NAWAZ T, DAWOOD H, et al. Square texton histogram features for image retrieval[J]. Multimedia Tools and Applications, 2019, 78(3): 2719-2746. doi: 10.1007/s11042-018-5795-x [8] WANG D Y, WANG X K, YU W W, et al. Off-axis LED curved array lighting design for leather defect detection[J]. Laser & Optoelectro-nics Progress, 2019, 56(8): 082202(in Chinese). [9] YUN S, ZANETTI R. Sequential monte carlo filtering with gaussian mixture sampling[J]. Journal of Guidance Control & Dynamics, 2019, 42(9): 2069-2077. [10] HUANG S, WAN S. A total variation denoising method based on median filter and phase consistency[J]. Sensing and Imaging, 2020, 21(1): 1-15. doi: 10.1007/s11220-019-0262-y [11] YUGANDER P, TEJASWINI H, MEENAKSHI J, et al. MR image enhancement using adaptive weighted mean filtering and homomorphic filtering[J]. Procedia Computer Science, 2020, 167 (1): 677-685. [12] GHOSH S, NAIR P, CHAUDHURY K N, et al. Optimized Fourier bilateral filtering[J]. IEEE Signal Processing Letters, 2018, 25(10): 1555-1559. doi: 10.1109/LSP.2018.2866949 [13] DAI L Q, TAMG L. Radial basis function network for fast bilateral filtering[J]. Electronics Letters, 2019, 55(3): 129-130. doi: 10.1049/el.2018.6470 [14] LIU G, CAI N, XIAO P, et al. Leather defect detection based on photometric stereo and saliency object detection[J]. Computer Engineering and Applications, 2019, 55(8): 215-219(in Chinese). [15] CHEN J, LIAO J, ZUO J B, et al. Fast depth intra-coding for 3D-HEVC based on gray-level co-occurrence matrix[J]. Journal of Imaging Science & Technology, 2019, 63(3): 1-8. [16] BAI K, HE F T, ZHANG M, et al. Evaluation method of laser speckle based on gray level co-occurrence matrix[J]. Laser Techno-logy, 2016, 40(4): 479-482(in Chinese). [17] SHEN J Y, SHEN J Y, CHEN W H. Grinding chatter detection and identification based on BEND and LSSVM[J]. Chinese Journal of Mechanical Engineering, 2019, 32(1): 1-13. doi: 10.1186/s10033-018-0313-7 [18] WEI P C, HE F C, LI L, et al. Research on sound classification based on SVM[J]. Neural Computing & Applications, 2020, 32(6): 1593-1607. doi: 10.1007/s00521-019-04182-0 [19] ZHOU S H, QIAN S, CHANG W B, et al. A novel bearing multi-fault diagnosis approach based on weighted permutation entropy and an improved SVM ensemble classifier[J]. Sensors, 2018, 18(6): 1934-1935. doi: 10.3390/s18061934 [20] GAUDIOSO M, GORGONE E, HIRIART-URRUTY J B. Feature selection in SVM via polyhedral k-norm[J]. Optimization Letters, 2020, 14(1): 19-36. doi: 10.1007/s11590-019-01482-1 [21] RYABTSEVA V, SKOMOROKHOV A. Critical power prediction using SVM algorithms[J]. Procedia Computer Science, 2020, 169 (1): 198-202. -
点击查看大图
图(5) / 表(2)
计量
- 文章访问数: 4228
- HTML全文浏览量: 2962
- PDF下载量: 13
- 被引次数: 0
