关于人工智能:准确率达-9174东南大学提出光伏电池缺陷检测模型首次引入神经结构搜索

<article class=“article fmt article-content”>乘着从寰球吹来的「绿色倒退、低碳转型」东风，光伏 (photovoltaic, PV) 产业自进入 21 世纪以来，便以令世人惊叹的速度迅猛向前倒退。在我国，光伏发电更是呈现出前所未有的生机。依据 2023 年 4 月国家能源局颁布的当年 1-3 月份全国电力工业统计数据，截止当年 3 月底，我国光伏累计装机量已超过水电，成为全国第二大电源。随着光伏发电的规模化利用，如何保障光伏供电稳固以及可继续倒退也成为行业钻研的重要课题。光伏组件是光伏的根本单元，受生产链条较长、利用场景简单等多种外因影响，在其制作、运输、装置等过程中都极易产生模块破损，如果这些缺点组件投入到理论运行中，极大可能造成整个供电系统功率升高甚至呈现平安问题。因而，针对光伏的现场保护和故障诊断要求正变得越来越高。目前，较为传统的 PV 缺点检测伎俩包含电流-电压 (I-V) 曲线 (current–voltage (I–V) curve)、红外热成像 (IRT) 等，但囿于辨认精度限度，上述办法均无奈无效辨认微裂纹等潜在危险因素。卷积神经网络 (CNN) 凭借其弱小的特色捕捉能力，联合基于高分辨率的电致发光 (electroluminescence, EL) 成像，正在成为 PV 缺点检测的支流办法。不过基于 CNN 的模型参数通常较大，且对硬件资源要求严格，因而很难在理论的工业我的项目中失去大规模部署。为了同时满足工业畛域对缺点检测的精度和速度要求，来自东南大学自动化学院的张金霞传授团队，提出了一种基于神经构造搜寻 (neural architecture search, NAS) 和常识蒸馏 (Knowledge Distillation) 的新型轻量级高性能光伏电池电致发光 (EL) 图像缺点自动检测模型。目前，该研究成果已公布在 arXiv 上，题目为「A lightweight network for photovoltaic cell defect detection in electroluminescence images based on neural architecture search and knowledge distillation」。钻研亮点：<ul><li>提出一种用于光伏电池缺点检测的轻量级模型，准确率高达 91.74%；</li><li>首次将 NAS 引入到光伏电池缺点检测畛域，用于自动化轻量级网络设计，缩小了手工设计的工作量；</li><li>引入常识蒸馏充分利用了各种先验常识 (prior knowledge)，且通过试验证实了该设计对进步缺点光伏电池辨认能力的有效性。</li></ul>论文链接： https://arxiv.org/abs/2302.07455 关注公众号，后盾回复「光伏电池」即可下载论文<h3>数据集和数据加强</h3>本次钻研的数据集为一个公共光伏电池数据集，含 2,624 张分辨率为 300 x 300 像素的光伏电池 EL 图像，包含单晶和多晶两种类型。钻研团队以 0.5 为阈值，将样本分为性能样本和缺点样本，将其中 75% 的图像，即 1,970 张图像随机抉择为训练集，残余的 654 张图像为测试集。训练集进一步被平分为搜寻训练集与搜寻测试集。所有图片的大小均调整为 150 x 150 像素。数据集划分数据加强是在小幅度减少数据的状况下，从原始数据中取得更多的表征，晋升原始数据的品质，从而帮忙模型缩小过拟合，并加强鲁棒性。数据加强操作包含随机程度翻转、随机垂直翻转、在 (-2°，2°) 范畴内随机旋转、在 {0°、90°、180°、270°} 范畴内随机旋转和随机仿射变换。该钻研提出的模型由 Normal cells 和 Reduction cells 重叠而成，通过搜索算法失去的内部结构如下图所示：基于公共PV数据集上搜寻失去的内部结构<h3>一种基于 NAS 和常识蒸馏的缺点检测办法</h3>该轻量级网络设计架构如下图所示。钻研人员通过 NAS 算法在设计好的搜寻空间中主动取得了轻量级网络，并通过常识蒸馏充分利用了现有预训练大规模模型获取的先验常识，从而进步模型性能。轻量级网络设计架构首先，钻研团队采纳了基于连续梯度的 NAS 框架 DARTS 来主动设计用于光伏电池缺点检测的模型，基于 DARTS 的疾速搜寻个性，钻研人员进一步思考了 PV 缺点的视觉多尺度特色，设计了适合的搜寻空间来加强对不同缺点尺寸的特色辨认。为轻量级缺点分类网络设计的搜寻空间轻量级网络所采纳的搜寻空间次要由两种单元构造重叠而成，即 5 个 normal cell 和 4 个 reduction cell。设置 normal cell 是为了放弃输出的大小，设置 reduction cell 是具备下采样的性能。如上图所示，每个单元交融前两个单元尺度不同的两个特色，第一个 normal cell 将雷同的特色作为两次输出。轻量化网络的具体构造前 3 个 reduction cell 执行下采样和信道扩大，最初一个 reduction cell 的信道数量放弃不变。所提出的轻量级网络将输出的光伏电池分类为性能失常或有缺点。其次，常识蒸馏是最无效的模型压缩办法之一，采纳 Teacher-Student 模式，可能将常识从 Teacher 模型转移到 Student 模型。那些无奈利用预训练模型中先验常识的网络架构，能够通过学习 Teacher 网络的常识来进步性能。在该试验中，因为轻量级网络只能从头开始训练，通过应用常识蒸馏，能够更好地利用先验常识进行训练。钻研人员转移了 4 种不同的常识先验——注意力信息、特色信息、logit 信息和面向工作的信息，以加强对光伏电池缺点检测工作的蒸馏成果。常识蒸馏概览<h3>模型性能出众</h3>钻研团队将其所提出的轻量级模型与 Teacher 模型以及其余钻研进行了比拟，并在公有数据集上进行了测试，进一步证实该网络架构的有效性。钻研团队将该模型与手动设计的 6 个神经网络和公开数据集上的 Teacher 模型，在 200 个雷同的 epoch 下进行了比照，后果如下图所示：准确度/均衡准确度/精确度/召回率/F1分值的比照结果显示，该钻研提出的轻量级模型在测试集上的精度达到了 91.74%，甚至超过了 Teacher 模型程度的 1.22%。同时，该研究所提出的模型参数量更小，相比局部经典大模型所用资源更少，更易部署在理论的终端设备上。上图为模型在辨认缺点光伏电池和性能失常的光伏电池上的准确率比照，钻研人员所提模型在缺点光伏电池辨认上的正确率达到 86.28%，远超其余办法。由此得出结论，与其余手动设计的模型相比，钻研团队提出的模型不仅可能通过 NAS 算法主动搜寻，缩小了工作量，同时还可能在绝对轻量级的架构下获得更高性能，证实了所提办法的有效性。为进一步评估所提模型的性能，钻研团队又提供了单晶或多晶 PV 上得性能比照，如表 4 所示：左表：雷同数据加强条件下， ELPV 公共数据集中仅单晶光伏电池与其余办法的比照 右表：雷同数据加强条件下， ELPV 公共数据集中仅多晶光伏电池与其余办法的比照在单晶 PV 电池上，所提模型的每一项指标都达到了最高程度，至于更难解决的多晶模型，该模型也远超其余模型。<h3>效率和泛化能力</h3>在终端设备上的部署须要综合思考模型规模和计算量，为了测试效率，钻研团队在 CPU 平台 (Intel i9-10980XE 24.75M Cache, 3 GHz) 上对该模型进行了评估。CPU平台上的效率比拟综合评估发现，该模型远远优于其余小型模型、甚至大型经典模型。该轻量化模型能够满足一些常见的低功耗嵌入式设施的部署需要，如 Raspberry Pi-4B (4GB, 15W, 9~10 GFLOPS) 和 NVIDLA Jetson Nano (4GB, 10W, 7.368 GEFLOPS FP64)。为了验证模型在不同数据源上的泛化性能，钻研团队在一个公有光伏电池数据集上进行了模型训练。从 6 x 10、6 x 12、6 x 24 三种规格的光伏电池中提取出了8,580 张像素分辨率为 256 x 256 的图像，其中缺点样品 482 张，性能失常样品 8,089 张。结果显示，该模型在均衡精度和缺点样本精度上别离比 Teacher 模型高出约 2.3% 和 5.7%。与其余办法相比差距很大。该模型对缺点样本的准确率达到 94.26%，特地是在事实场景中体现出更好的缺点辨认能力。如下图所示：在雷同数据加强下，与其余办法在公有数据集上的比照<h3>始于百年前，光伏发电仍是绿色能源的「宠儿」</h3>作为新能源的代表，对于光伏发电技术的钻研实际上已有超百年之久。1839 年，法国物理学家贝克勒尔首次发现了光伏效应，在此之后，通过各国科学家的一直钻研和致力，第一块实用光伏电池终于在 1954 年问世。现在，光伏产业随着寰球绿色倒退的脚步又一次乘上了东风，尤其在国内明确提出「双碳」指标之后，光伏产业的倒退堪称前途一片大好。这从不久前国家能源局公布的 2023 年全国电力工业统计数据便可见微知著。数据显示，截止 12 月底，全国累计发电装机容量约 29.2 亿千瓦，同比增长 13.9%，其中，太阳能发电装机容量约 6.1 亿千瓦，实现同比 55.2% 的增长。从政策方面来看，2019 年 5 月 30 日，国家能源局公布了《对于 2019 年风电、光伏发电我的项目建设无关事项的告诉》，其中明确了优先推动无补贴的平价上网我的项目建设，再发展须要国家补贴我的项目的竞争配置工作。这表明了我国光伏产业尽管曾经进入稳固倒退的成熟期，但推动光伏产业倒退也依然会是将来国内实现能源构造转型的重点工作。2023 年，国家能源局、国家发改委等多个部门相继印发多个对于能源工作的文件，其中都明确了光伏是 2023 年能源行业的重点方向。而本次钻研则从产业层面为光伏产业的倒退带来了利好音讯，张金霞传授团队的研究成果从理论的利用侧为光伏电池缺点检测提供无效工具，尤其是引入了 NAS 与常识蒸馏，为利用场景设计模型提供了一种新的思路，这或者将无望为产业就深度学习在光伏畛域利用带来新的启迪，从而让技术与产业更好的联合。</article>