伴随着与日俱增的数据量、海量的算力和不断突破的算法模型，机器视觉与深度学习等人工智能技术的融合使得高质量的表面缺陷检测成为了可能。机器视觉代替人类感官作为数据输入源，深度学习模型作为系统中处理数据和分析数据的“大脑”，大大提高了缺陷检测的精度，并且降低了设计缺陷检测系统的成本。
深度学习网络由多个单层非线性运算单元叠加而成，深度指的是非线性运算单元组合的层级数。深度学习比低层学习具有更强的表示能力，但深度的增加使得非凸目标函数陷入局部最优解而非全局最优解，这成为妨碍深度学习发展的主要因素。2006年，多伦多大学的Hinton教授在论文中提出了两个重要观点：
（1）多层的神经网络具备优秀的特征学习能力，能够挖掘到数据更本质的特征；
（2）可通过逐层预训练的方法解决深度神经网络难以得到全局最优解的问题。该论文奠定了深度学习的基础。自此，深度学习飞速发展，极大地改善了目标检测、语音识别等任务的性能，在工业质检、巡检、故障诊断等领域也取得了极大地成功。
基于深度学习的表面缺陷检测方法是一种端到端的方案，由卷积神经网络自动提取缺陷的特征。深度学习算法的特征自提取能力使得网络可以自动学习到表征缺陷的图像特征，其对于缺陷目标从局部到全局的理解，如从结构信息到语义信息，分布在网络的不同层中，最终形成对缺陷目标的整体感知。特征自提取相比人为特征工程更能准确地表达和理解各类型缺陷，检测的精度更高。
在表面缺陷检测系统中，相机、光源等硬件设备是基础支撑，检测算法是关键。基于深度学习的检测算法取得的性能突破，是人工智能技术在表面缺陷检测领域取得里程碑式发展阶段的重要原因。如下图所示，深度学习表面缺陷检测的基本任务主要可分为三类：第一类是图像分类，判断产品表面是否存在缺陷；第二类是目标检测，除了要判断出是否存在缺陷，还需识别出缺陷的种类，并以矩形框的形式定位缺陷的位置；第三类是图像分割，判断出图像的每一个像素位置所属的目标物类型。目前的表面缺陷检测主要以目标检测和图像分割为主。以Faster R-CNN、YOLOv3、SSD为主的目标检测算法和以Mask R-CNN、DeepLabv3为主的图像分割算法为表面缺陷检测带来了新的生命力。
