深度学习在工业领域的痛难点问题及前沿技术探索

一、深度学习在工业领域落地的痛点

人工智能自诞生以来，经历了早期的专家系统、机器学习，到当前持续火热的深度学习和大模型等多次技术变革和规模化商用。随着算力、算法和软件平台的快速进步和不断成熟，工业逐渐成为了深度学习技术的重点探索方向，工业AI智能技术应用而生。

基于深度学习的工业缺陷检测方法可以降低传统人工质检的成本，提升检测的准确性与效率，因而在智能制造中扮演重要角色。传统的机器学习和深度学习技术都依赖大量的标注数据，并在监督下训练出表现优异以及具备一定泛化能力的模型。但随着感知环境和应用场景的变化，模型的训练会存在以下问题：

（1）缺陷样本匮乏，生产过程中缺陷数据的数量和种类较少，数据不均衡，无法穷举生产过程中缺陷的种类和形态。

（2）数据的标注和清洗周期长，需要耗费大量的人力和物力。

（3）训练好的模型性能会大幅度下降，重新训练周期成本高。

（4）多模态数据的跨域学习和特征级数据融合。

上述问题都成为工业AI落地的障碍，如何解决数据标注效率、跨域学习、以及数据管理等问题，训练更具泛化性、鲁棒性和场景适应性的模型成为学术界和工业界面临的共同课题。

二、前沿技术探索和进展

对于一些传统方法无法有效解决的场景，如微小缺陷和瑕疵的检测、非结构化环境下的物体分拣等，可以归类为“少因素高复杂度”的问题，是深度学习发挥重要作用的领域，目前也是工业AI落地应用较多的场景，而随着场景机理的计算复杂度提升，深度学习可以发挥更大的作用。为了提升深度学习在工业领域的落地效率，降低项目实施和部署的周期，华汉伟业主要从以下几个方面进行技术探索和实践：

（1）缺陷数据生成：利用人工智能技术自动完成缺陷仿真数据的生成，基于AIGC技术建立现实世界到数字世界的映射关系，将现实世界中工件的物理属性（如物体的大小、纹理、颜色等）高效、可感知的实现数字化，可以基于少量样本实现多种属性样本的生成，从而解决缺陷样本匮乏的问题。

（2）数据管理：生产过程中，有多条产线、多个工位的数据需要进行管理，需要人工进行数据的管控，缺乏数据的管理系统，方便后续的继承和持续训练。华汉伟业通过数字化技术，实现多工位、多场景的数据系统化管控，降低人为因素对数据管控的影响。

（3）数据标注：当前监督学习仍为工业AI落地的技术方向，为了提升标注效率，降低标注的时间消耗，华汉伟业从交互式标注入手，提升标注效率，并且提供了多种选择，如基于二值化的标注、基于特征分割的标注、基于大模型的标注，满足多样化的标注需求。

（4）多模态数据融合：工业生产过产中，很多缺陷无法从某一特定角度或者单一传感器全部拍摄出来，需要多角度光源照射、多传感器协同拍摄，实现多种瑕疵缺陷的可视化。为了提升多角度、多姿态图像特征级别的融合，提升缺陷检测准确率，华汉伟业从多模态特征融合、基于图像数据流的特征融合等多方面进行技术探索，提升模型的泛化性能。

（5）降低样本数据依赖性：为了降低训练过程中对于样本的依赖，提升模型在不同产线和不同场景的适应能力，华汉伟业从小样本学习、迁移学习和异常检测，降低对缺陷样本数量的要求。

三、产品和解决方案

华汉伟业研发的人工智能检测系统iSense，实现在新能源、3C电子制造、汽车电子等领域的落地实践。系统涵盖图像采集、数据管理和结果输出等功能，整体软件架构如图1所示。

图 1 iSense软件架构

针对工业制造场景的特殊属性，沉淀了高精度算法模型，可满足行业普遍的算法需求。iSense 提供了丰富产品功能，如旋转目标检测、对比学习、异常检测、多图像分割等特色化解决方案，助力检测模型快速迭代。

图 2 iSense产品功能特性

iSense AI视觉检测平台主打“1个iSense平台+N种模态+适配X应用场景”的亮点特质；打造N种模态，涵盖：2D+AI、2.5+AI、3D+AI、2D+2.5D+3D+AI......等N种模态组合。

该系统针对底层算法全新升级，深度客制化成像系统实时把控，从环境、设备、产品端全流程细节调整，一键跨区域迁移学习，节省训练时间，多种数据增强功能，满足不同场景数据及迁移应用能力。

图 3 iSense产品亮点

iSense具备持续学习、带噪学习、自动样本生成等优势，提升工业AI落地的效率。

图4 iSense产品核心技术优势

除了降本增效外，iSense视觉检测更高维的价值在于打通生产各环节的数据链，帮助制造商企业实现连续化生产过程中缺陷数据的可追溯，软件可对数据做挖掘、处理和分析，实现工艺流程和产品品质的改造升级。

图5 iSense产品E2E快速部署

iSense产品界面，如图6所示。

图6  iSense系统产品界面

四、iSense行业应用案例  

随着深度学习技术的飞跃，AI快速解决问题和兼容产品快速换型方面的优势逐渐凸显，AI视觉质检作为制造细分领域中相对刚需、成熟的场景成为厂商优先考虑、资本高度青睐的行业。 

iSense 针对于工业检测行业的遇到的痛点难点等问题，以“多模态+强迁移+快速部署”三大关键点，实现技术性突破，满足企业所需。

以密封钉焊接检测为例，密封钉焊接缺陷形态丰富，难以界定其形态边缘；检测区移动频繁，缺陷位置具有随机性；部分小缺陷混杂于焊灰或清洗圈中等，对机器视觉检测提出了不小的挑战。

iSense基于光度立体技术的核心逻辑，将2D图像的纹理信息与3D图像的形貌信息进行异源数据融合，结合深度学习技术，完成表面焊接质量检测。检测效果达到扫描速度50mm/s，漏杀率为0% ，过杀率<1%，很好地解决了上述焊接检测痛点。

而同理在顶盖焊检测中，用异源融合深度学习对R角位置进行分类判定，传统算法+深度学习(二次判定)，可解决焊道鱼鳞纹噪声&起焊点成像极易导致传统算法误检，能检测0.1mm的针孔，过杀＜0.5%，漏检0%。

在方壳电芯膜后缺陷检测案例中，更是采用了2D+2.5D+3D+AI综合应用，采用多角度成像+AI的检测方案，使得具有高反光蓝膜在不同角度光源中总能在某种打光中清晰成像，无过曝或欠曝，保证缺陷的准确识别。

图7  iSense多种成像技术

深度学习检测方法在探究发展的过程中，一方面，需要不断扎根实际应用场景，牢牢抓住了开发者和企业智能化升级的需求，降低人工智能技术的应用门槛；另一方面，还需要与更多制造业厂商深度适配并融合，形成了软硬协同优势。

可以看到，华汉伟业iSense AI检测软件以快速场景自适应能力、多场景的应用开发能力以及产线快速落地能力，不断拓宽技术创新边界，将有效助力智能工厂、无人工厂在制造行业的大规模落地。