文章介绍了基于机器视觉的产品外观缺陷检验测试技术，包括图像处理、缺陷识别与分类算法，重点讨论了频域滤波和深度学习方法的应用。
《产品外观缺陷机器视觉在线检测技术及设备开发》一文由合肥工业大学仪器科学与光电工程学院卢荣胜教授投稿分享，包括自序、研究背景、典型系统组成、成像技术及实现策略、关键核心单元部件、缺陷识别与分类、结束语、致谢几个部分。由于篇幅较长分为四篇发布，以下为第四篇：成像技术及实现策略。
图像处理、缺陷识别及分类是缺陷视觉在线检测中的核心技术，关乎系统的功能能否成功实现。通常表面检测生成的图像含有大量噪声，有些表面图像还含有纹理背景，如太阳能电池阵列、薄膜晶体管液晶显示器（TFT-LCD）和彩色滤光片阵列等，会影响缺陷检验测试的速度和识别的准确性，对在线检测非常不利。根据图像背景情况和图像处理的难易程度，待处理的图像可大致分为三种类型：均匀背景的图像、周期纹理背景的图像和复杂随机纹理背景的图像。均为背景的图像相对来说还是比较容易处理，因为从均匀背景中非常容易分割出缺陷，并进行识别和分类。从周期纹理背景图像中分辨微小缺陷难度较大，第一步是要通过滤波的方法去掉纹理，将其变成均匀背景的图像，再进行缺陷提取、识别与分类。随机纹理背景图像缺陷检验测试与识别最难，均匀背景和周期纹理背景图像中的算法不适用于复杂随机纹理背景图像，不过目前能采用深度学习等机器学习的方法解决。
(2) 图像预处理：对获取的图像进行预处理，以提取感兴趣的特征并减少噪声的影响。预处理步骤可能包括图像增强、滤波、调整对比度、降噪等操作。
(3) Blob分析：对预处理后的图像进行Blob分析，即识别和分析图像中的连通成分。在缺陷识别与分类中，Blob分析有助于定位和描述不同的缺陷区域。
(4) 缺陷特征提取：从识别出的Blob区域中提取与缺陷相关的特征。这些特征可以是灰度级、纹理、形状、边缘等图像属性的统计量或描述符。
(5) 缺陷分类：使用选择的分类算法，对从Blob分析和特征提取中得到的特征进行训练和分类。常用的分类算法包括支持向量机（SVM）、决策树、K近邻算法（KNN）等。
需要注意的是，这个处理流程仅是一种常见的顺序，实际应用中可能会根据详细情况进行调整和扩展。
下面以液晶显示屏TFT阵列缺陷检验测试为例，简要概述频域滤波周期纹理背景缺陷检验测试算法的基础原理。
频域滤波方法的基本流程如图14所示，包括图像获取、选取合适的变换函数将图像从空域变化到频域、选取合适的频域滤波器对频域图像进行滤波、滤除周期性成分、反变换到空域和图像分割处理。
图15展示了频域滤波法的效果，图15(a)为TFT阵列及其表面上的纤维缺陷，根据频域滤波法的基本原理，先将图像按行进行一维DFT变换，在一维傅立叶频域中消除周期纹理背景中的频率成分，接着进行一维离散傅立叶反变换（IDFT）得到空间域一维行图像。傅立叶重构方法能有效移除周期性背景图案，同时保留局部异常，最后利用传统的双阈值方法分离缺陷与背景；图15(b)为二值化图像，能够准确的看出，纤维缺陷能够被很好地检测出来。
传统图像处理方法在缺陷识别和分类任务上有几率存在一些局限性，特别是在复杂的场景和变化多样的缺陷情况下，深度学习具有强大的威力。但深度学习算法也有它的缺点，主要有下列两点：（1）人工标注困难。与传统的机器学习方法相比，基于卷积神经网络的深度学习方法在缺陷识别领域具有更高的识别准确率和工作效率。但是这种方法和机器学习方法具有同样的缺点，首先是模型训练需要大量的标签数据，而具有缺陷模式标签的图像是不容易获取的，因为获取带有产品缺陷模式标签的图像需要人工监督，即需要大量有经验的专业技术人员进行人工标注，这是非常昂贵且耗时的。
（2）缺陷样本获取困难。在某些高度自动化的生产场景中，产品的良率特别高，收集缺陷样本非常耗时，而当前的用于缺陷检验测试的深度学习方法大多是基于大量缺陷样本建立模型，缺陷样本的缺乏导致模
型难以上线。针对某些行业比如汽车行业的多型号小批量生产场景（每种型号产品只生产几天），在完成缺陷样本收集前某种型号产品已不再生产了，这种场景下大量的缺陷样本收集是不可能的。此外，由于缺陷是由生产的全部过程中的非受控因素产生的，缺陷的形态是多种多样的，各种形态的样本很难收集完整，这也限制了深度学习在工业检验测试领域的应用。
（3）小目标检测问题：小目标检测问题也是工业产品表面缺陷检验测试领域的难点之一，小目标是指图像中尺寸较小的目标。 “小”有两种定义。一种是绝对尺寸小，通常认为是尺寸小于32*32像素的小目标。另一种是相对尺寸小，即目标尺寸小于原始图像尺寸的一定比例。
（4）样本不均衡问题：基于深度学习的目标检测可分为基于two-stage和基于one-stage的目标检测两大类。two-stage的目标检验测试框架检测准确性相比来说较高，但检测速度慢；而one-stage的目标检测速度相对较快，但是检测准确度相比来说较低。one-stage不如two-stage，一个主要的原因是训练过程中样本极度不均衡造成的。样本的不均衡包括正负样本不均衡、难易样本不均衡、类别间样本不均衡等。
要减少算法对样本的依赖，一种方法是采用完全不需要缺陷样本的非监督学习算法，基于非监督算法训练模型时仅需要OK图像参与训练即可。第二种方法仍基于有监督算法，但采取一定的算法策略，减小对缺陷样本的依赖程度。
非监督算法大体上分为两种：（1）基于生成模型算法。基本思路是训练一个只能生成OK图像的生成网络，推理时针对输入的NG图像，找到一个与NG图像最接近的OK图像，然后求两张图的差异，根据差异大小判断是否为NG，典型算法有AE，VAE ，Ano-GAN 等。（2）基于特征表示的算法，基本思路是找个一个较好的特征表示，将OK图和NG图分别映射到高维特征空间，OK图对应特征点的类内距离很小，推理时一张图对应特征点与OK图特征簇的中心距离很远就可以判定为NG，典型算法有SVDD 、OCSVM、DeepSVDD 等。
基于有监督算法减少样本依赖的思路也分为两种：一种是对输入数据来进行归一化，降低不同缺陷样本之间的差异，归一化算法基于传统图像处理算法实现，需要针对不一样场景做不同的算法设计，很难有通用性，因此仅作为一些临时处理手段。另一种思路是基于迁移学习，典型的算法研发方向是域适应（Domain Adaption，DA）和域泛化（Domain Generation,DG）。
改善深度学习的缺陷识别与分类算法性能的方法还有很多，如采用数据增广与人工缺陷生成技术扩增样本数量、采用增量式学习方法更新样本、采用权重惩罚和数据增强缓解样本不均匀等。限于篇幅问题，在此不详细展开论述了。
鉴于深度学习算法在实际应用中还不尽人意，故缺陷识别与分类算法尽可能使用传统的数字图像处理算法；只有在复杂背景的情况下，传统的图像处理难以获得满意的结果情况下，才建议使用深度学习算法。
基于视觉检测技术开发的缺陷在线检测设备不同于实验室光学仪器，它其实就是一种自动化装备，在制造领域除了能作为独立模块在生产线上或线下运行外，还常常作为制作的完整过程或智能装备中必不可少的信息感知单元，通过信息反馈，引导制作的完整过程按要求顺利运行。前述成像技术解决了信息获取问题，但要实现自动检验测试，系统集成技术特别的重要。系统集成技术牵涉到关键器件、系统模块设计、整机集成、软件开发等。在系统集成中，被测件的支撑方式、精密传输与定位装置也必须精心设计，这对精密制造与组装产业中的视觉检测系统很重要。在这些领域，制作的完整过程通常在超净间进行，要求视觉检测系统具备极高的自洁能力，对系统构件的材料选型、气动及自动化装置选型、运动导轨的设计与器件选型都有严格要求，不能给生产环境尤其是被测工件本身带来二次污染。尤其是用于表面缺陷检验测试的视觉检测系统不能在检验测试过程中，给被测件表面带来新的缺陷（如粉尘、划伤、静电等）。因此，对于大型零件（如高世代的液晶玻璃基板、硅片等）的在线检测，常常需要采取气浮支撑、定位与传输机构，运动部件（如轴承等）采用自润滑器件，以及利用FFU风机过滤机组对检测系统来进行环境净化，并采取消静电装置，对工件进行防静电处理。
由于产品类型和外形结构千变万化，缺陷的定义本身带有很强的主观性，这就从另一方面代表着外观缺陷视觉在线检测设备很难做成一个标注化和系列化的通用设备，通常都是一种定制化开发的设备。因此，为了减小开发成本，提高设备开发效率，结构模块化设计和软件插件化开发是一条有效的实施途径。
首先，我要向费业态教授致以最深切的哀悼和感激之情。费老师是我在硕士和博士研究中的导师，他在我的学术生涯中起到了至关重要的指导作用。我在硕士期间致力于仪器热变形误差的研究，在博士阶段专注于测量仪器误差分析和误差的修正技术探讨研究。正是在费老师的指导下，我才逐步对仪器精度理论有了更深的理解，在这些领域继续深入探索。然而，我深感遗憾的是，费老师已经离开了我们，但费老师的悉心培养和教育事业的无私奉献将永远铭刻在我的心中。
同时，我向叶声华教授表示最衷心的感谢。叶老师在我博士后期间引导我进入了机器视觉与光学测量技术的研究领域。在叶老师的指导下，我学到了许多新的理论和实践知识，他的专业经验和深厚的学术造诣对我产生了深远的影响。他对我的悉心指导和启发，为我打开了新的研究方向，让我对机器视觉技术充满了热情。此外，我要特别祝贺叶老师今年的90寿诞，由衷地祝愿叶老师福如东海，寿比南山！。
最后，感谢所有在科学研究上与我合作过以及给予支持帮助的前辈和同仁们，感谢各位对我科学研究事业的支持和关怀。
