雷锋网按：本文为矩视智能创始人弭宝瞳投稿。矩视智能成立于 2017 年 10 月，专注于机器视觉，主要是通过 SaaS 云平台帮助提升工厂机器视觉开发、升级效率。弭宝瞳为中国人民大学计算机博士，曾在奇虎 360 任产品经理、研发工程师。
随着自动化技术的加快速度进行发展，在工业生产里很多需要人工操作的环节逐渐转由机器完成，工业生产自动化也将慢慢的变多的工人们从枯燥乏味的工作中解放出来，让他们去发挥更大的价值。
产品表面缺陷检验测试是工业生产里的重要环节，是产品质量把控的关键步骤，借助缺陷检验测试技术能有效的提高生产质量和效率。但是由于设备及工艺等因素的影响，产品表面的缺陷类型往往五花八门，比如织物生产中方出现的污点、破损，金属产品上的划痕、裂纹、凹凸不平等各种不一样的缺陷，如下图所示。
单张图片中的缺陷多样且不同缺陷表现形式的也不相同，给缺陷的自动化检测带来了困难。
传统的表面缺陷检验测试算法结构通过图像预处理得到便于检测的图像，随后借助统计机器学习方法来提取图像特征，进而实现缺陷检验测试的目标。
图像预处理通常包括直方图均衡化、滤波去噪、灰度二值化、再次滤波几部分，以得到前后景分离的简单化图像信息；随后利用数学形态学、傅里叶变换、Gabor 变换等算法以及机器学习模型完成缺陷的标记与检测。
上述传统算法在某些特定的应用中已经取得了较好的效果，但任旧存在许多不足。例如：图像预处理步骤繁多且具有着强烈的针对性，鲁棒性差；多种算法计算量惊人且无法精确的检测缺陷的大小和形状。而深度学习可以直接通过学习数据更新参数，避免了人工设计复杂的算法流程，并且有着极高的鲁棒性和精度。
目前，基于深度学习的缺陷检验测试已经应用于金属固件、布匹丝织物、建筑裂纹、钢筋裂纹等多个领域，并取得了不错的成果。下面将结合具体案例介绍其实现方法。
建筑材料（如磁瓦等）的外观变化（如裂纹或腐蚀等）与其建筑结构的安全性密不可分，而依靠检察员视觉检查的效果局限性大，相比之下，基于计算机视觉的结构伤害损坏检测更为可靠便捷。
本文使用Faster RCNN实现对图像的准实时处理，其整体架构包括RPN和Fast RCNN两部分，如上图所示，RPN和Fast RCNN使用相同的CNN网络从图像中提取特征，CNN的主要结构如下图所示。
将特征图上每一个CONV滑动窗的特征映射为向量并输入Softmax和Regressor层中；
Fast RCNN的作用为对图像中的缺陷位置做定位和分类，其结构流程如上图所示。
在ROI池中，预先计算的兴趣区域覆盖在特征图上，提取固定大小的特征向量；
在电气化铁路等工业中，有许多关系着安全的重要固件，这些固件的缺陷检测十分重要。
本文作者利用深度卷积神经网络（DCNNs）结合SSD，Yolo等网络方法构建了一个从粗到细的级联检测网络，包括固件的定位、缺陷检测与分类，其实现流程如下图所示。
借助在速度和精度方面都表现良好的SSD框架，对图像中的悬臂节点做定位；
DCNNs具有良好的鲁棒性和自适应性，有利于检测的快速进行，因此本方法在紧固件的缺陷检验测试和分类中具有良好的应用前景。
斑点缺陷检验测试在纺织、木材、瓷砖等许多行业中都很常见，通常利用其纹理的一致性实现检测的目的。近年来，利用深度学习视觉检测技术对相关产业的表面缺陷检验测试引起了广泛关注。
作者采用结合图像金字塔层次结构思想和卷积去噪自编码器网络（CDAE）实现对布匹纹理图像的缺陷检验测试，其总体结构如下图所示。
图像预处理：光照归一化、高斯金字塔下采样和噪声降噪等操作，避免光照等因素的影响；
残差贴图构造：提取局部接受域在训练后的模型中滑动，以对每一个像素进行预测；
文章通过分析和实验已经证明，充分利用无监督学习和多模态结果融合策略，可以提高缺陷检验测试的鲁棒性和准确性。
划痕缺陷检验测试通常用于金属类产品的表面缺陷检测中，随着生活质量的提高，人们对产品的外观完整性与美观程度的要求也越来越高，因此精准地检测到产品外观的划痕等缺陷在生产环节十分重要。
将两个自动编码器（AE）级联在一起，这里的AE结构是FCN框架的迁移使用，有一层层的卷积、反卷积和跳跃链接组成，其结构如下图所示。
通过语义分割获得所有可能缺陷的区域，进一步使用blob分析以寻找准确的缺陷轮廓，最终从图像中提取最小的外接矩形区域。
本文参考前沿文献，总结了部分当前主流的缺陷检验测试实现思路。总的来说，使用基于深度学习的算法可快速准确地实现的缺陷检验测试，且适用范围广能够灵活地应用于建筑、金属固件以及布匹丝织物等众多行业的生产的全部过程中。
