Тепловизионная съемка солнечных панелей: как SESPNet обнаруживает каждую горячую точку в инфракрасном диапазоне

Введение в продукт

Солнечная ферма может содержать от десятков тысяч до нескольких миллионов модулей. День за днем они находятся на солнце, ветре, песке, дожде и снеге, поэтому неудивительно, что они приобретают различные неисправности. Самая распространенная и самая опасная из них — горячая точка.

Горячая точка — это небольшой участок на модуле, который нагревается аномально сильно. В лучшем случае это снижает выходную мощность. В худшем — прожигает заднюю пленку и вызывает пожар, ставя под угрозу всю станцию. Проблема в том, что модули расположены вплотную друг к другу. Отправлять бригады для проверки каждого модуля портативным прибором медленно и приводит к пропускам. Поэтому сочетание инфракрасной термографии с глубоким обучением вышло на первый план.

Направьте инфракрасную камеру на модуль, зафиксируйте распределение температуры в виде тепловой карты, затем позвольте обученной нейронной сети прочитать эту карту и отметить, где горячо и насколько горячо. Звучит просто. Но добиться реальной работы в полевых условиях — другая история. Инфракрасные изображения имеют три встроенных недостатка, которые мешают обычным алгоритмам: низкое разрешение, сильно различающиеся размеры дефектов и зашумленный фон.

Новый метод под названием SESPNet (Semantic Enhancement and Scale Perception Network) напрямую борется с этими тремя недостатками. Его показатели впечатляют: 92,1% средней точности, 62,4 кадра в секунду, и он достаточно компактен для работы в реальном времени на малогабаритном встроенном устройстве. Эта статья объясняет, как он извлекает каждую горячую точку из тусклого серого инфракрасного кадра.

Во-первых, почему горячие точки важны. Фотоэлектрический модуль состоит из множества ячеек, соединенных последовательно. Если одна ячейка теряет выходную мощность из-за затенения, микротрещины или загрязнения, она перестает давать ток и начинает действовать как резистор, превращая ток от других ячеек в тепло и сжигая его внутри себя. Эта одна ячейка становится источником тепла для всей цепочки, нагреваясь на десятки градусов выше соседних. Легкие случаи снижают выходную мощность цепочки. Тяжелые со временем разрушают инкапсулянт, прожигают заднюю панель и могут даже вызвать возгорание. Обнаружение горячих точек на ранней стадии и быстрое их устранение — задача, которую нельзя игнорировать при эксплуатации фотоэлектрических систем.

Рисунок 1: Модули солнечных коллекторов, установленные на крыше, годами подвергающиеся воздействию внешней среды, где образуются локальные повышения температуры — горячие точки.

Рисунок 2: Пятиэтапный рабочий процесс инфракрасного теплового обнаружения дефектов фотоэлектрических модулей: от захвата температуры до точного определения неисправной панели.

Технические параметры

Почему инфракрасное излучение необходимо для обнаружения горячих точек

Чтобы понять этот алгоритм, начните с основ: почему камера видимого света не подходит для скрытых дефектов фотоэлектрических систем и почему инфракрасное излучение — единственный способ.

Визуализация в видимом свете — это обычная фотография. Высокое разрешение, богатая детализация, хорошо подходит для обнаружения трещин, царапин и загрязнений на поверхности — того, что можно увидеть. Но у нее есть фатальный недостаток. Она считывает только внешний вид, а не температуру. Микротрещина или холодное паяное соединение внутри модуля часто не меняют его внешний вид на ранней стадии, но блокируют ток в этом месте и вызывают нагрев. Камеры видимого света бессильны против таких тепловых дефектов, а ночью или при плохом освещении они бесполезны.

Инфракрасное излучение идет другим путем. Любой объект с температурой выше абсолютного нуля излучает инфракрасное излучение, и чем он горячее, тем сильнее излучение. Инфракрасная камера улавливает это излучение и отображает невидимое распределение температуры непосредственно в виде цветной или серой тепловой карты. Ей не нужен внешний свет, поэтому она работает днем и ночью. Где модуль горячий и насколько — видно четко. Для дефектов, вызванных нагревом, таких как горячие точки и сломанные токопроводящие дорожки, инфракрасное излучение является естественным решением.

Вот почему инфракрасное излучение стало ключевым способом повышения точности и скорости обнаружения дефектов на фотоэлектрических станциях. Дрон с инфракрасной камерой может просканировать весь массив за несколько минут, что в десятки раз быстрее, чем ручная бригада. Но эта способность видеть тепло имеет свою цену: качество изображения значительно ниже, чем у видимого света.

Старый ручной метод требует, чтобы рабочие носили приборы и измеряли панель за панелью. Это медленно и сильно зависит от опыта. Поскольку модули расположены плотно и их количество исчисляется тысячами, считывать их по одному утомительно, чревато ошибками и почти невозможно ночью. Комбинация дрона и инфракрасной камеры максимизирует этап сбора данных, но если вы все еще вручную просматриваете тысячи изображений, узкое место просто перемещается с измерения на просмотр. Чтобы замкнуть цикл, нужен алгоритм для чтения изображений. Здесь на сцену выходит глубокое обучение.

Рисунок 3: Типичная инфракрасная тепловая карта. Чем горячее область, тем теплее ее цвет, и перегретая зона сразу бросается в глаза. Это сырой материал для обнаружения горячих точек.

Рисунок 4: Разделение труда между видимым и инфракрасным изображением. Для тепловых дефектов инфракрасное излучение — естественное решение.

Три сложные задачи в инфракрасном обнаружении дефектов

Инфракрасное излучение видит тепло, но ставит перед алгоритмами обнаружения три сложные проблемы. Именно эти три проблемы являются причиной того, что многие готовые алгоритмы не работают с инфракрасными изображениями фотоэлектрических панелей.

Первая: низкий контраст. Инфракрасные кадры тусклые и серые в целом. Разница в оттенках серого между дефектом и фоном изначально мала, а шум изображения сверху позволяет дефектам быть поглощенными фоном. Алгоритм не может захватить ключевые признаки, поэтому точность страдает.

Вторая: сильно различающийся масштаб дефектов. В одном инфракрасном кадре размеры горячих точек могут отличаться в десятки раз. Некоторые — это целая обойденная струна, светящаяся на большом участке; другие — всего одна ячейка, слегка нагревающаяся в углу. Фиксированное рецептивное поле, диапазон, который сеть может четко видеть за один проход, как правило, теряет одно ради другого при таком разбросе: захватываете большую цель и пропускаете маленькую, или наоборот.

Третья: потеря информации о мелких объектах. Это самая сложная. Нейронные сети понижают дискретизацию слой за слоем, уменьшая изображение, чтобы извлечь высокоуровневый смысл. Но маленькие горячие точки, которые изначально были всего в десятки пикселей, сглаживаются при уменьшении, пока к моменту принятия решения почти ничего не остается, и распознавание сильно страдает.

Сложите все три вместе, и станет ясно: обнаружение инфракрасных дефектов в фотоэлектрических системах сложно, потому что нужно одновременно бороться с «нечетким зрением, разными размерами, легкой потерей». Три ключевых улучшения SESPNet нацелены на каждую из этих проблем: одно улучшает семантику для подавления фона, другое строит пирамиду для обработки размеров, третье защищает каналы для восстановления мелких объектов.

Почему бы просто не взять готовый детектор? Обнаружение объектов продвинулось далеко, и оно делится на два пути. Первый — двухэтапный: сначала грубо отсеиваются кандидатные области, затем каждый тщательно оценивается, высокая точность, но медленно. Второй — одноэтапный: один взгляд дает и местоположение, и класс, быстро и подходит для реального времени. Серия YOLO — флагман одноэтапного подхода. Но эти общие алгоритмы обучены на обычных видимых изображениях, и при применении к низкоконтрастным, сильно разномасштабным инфракрасным кадрам солнечных панелей они испытывают трудности. Улучшения SESPNet заполняют эти три пробела, будучи специально созданными для инфракрасных дефектов.

Рисунок 5: Три сложные задачи обнаружения инфракрасных дефектов: низкий контраст, множественные масштабы и малые цели.

Рисунок 6: Мультироторный дрон с камерой, пролетающий над массивом, чтобы массово захватывать инфракрасные изображения, покрывая за минуты то, что команда потратила бы полдня.

Технические преимущества

Шаг первый: семантическое улучшение, выделение дефектов из фона

SESPNet построена на базовой модели YOLOv10. YOLOv10 — один из самых популярных современных детекторов реального времени, выпущенный командой из Университета Цинхуа в мае 2024 года, созданный для быстрой, точной и удобной для развертывания работы. SESPNet выполняет три операции над ним, и первая встраивает модуль семантического улучшения информации (SIEM) в основную сеть.

Что он решает — проблему низкого контраста. Плохой контраст в инфракрасных изображениях дефектов позволяет фоновым шумам мешать признакам, извлекаемым моделью, снижая точность. SIEM работает двумя способами одновременно. Глобальная ветвь внимания учитывает общий смысл всего изображения, определяя, что является фоном, а что может скрывать дефект, так что влияние помех снижается. Локальная ветвь внимания фокусируется на деталях и текстуре самого дефекта, усиливая его выражение признаков.

Каждая ветвь следит за своим, затем глобальное и локальное взвешиваются и объединяются. Представьте, что вы щуритесь, чтобы разглядеть общий контур крыши и исключить помехи, а затем наклоняетесь, чтобы пристально посмотреть на одно подозрительное пятно. Ближнее и дальнее вместе, и дефект выделяется из тусклого фона. Объединенные признаки сохраняют детали дефекта, подавляя фоновые помехи, так что выражение признаков явно сильнее.

Результат наглядно виден в последующем абляционном исследовании: добавление только SIEM повышает среднюю точность по всем трем классам целей, с реальными улучшениями в устойчивости к сложным фонам.

Бэкбон — это часть модели, которая первой взаимодействует с изображением и извлекает базовые признаки. Размещение SIEM здесь означает очистку на источнике: до того, как что-либо будет передано дальше, признаки дефекта уже усилены, а фоновый шум подавлен. С чистым источником последующая обработка масштабов и локализация целей не будут сбиты с толку помехами. Вот почему он находится в бэкбоне и нигде больше. Обрабатывайте загрязнение на ранней стадии.

Рисунок 7: Двухветвевая структура модуля семантического улучшения SIEM. Глобальная ветвь считывает общую картину для подавления фона, локальная ветвь следит за деталями для усиления дефекта, затем две ветви взвешиваются и объединяются.

Рисунок 8: Крышная фотоэлектрическая установка. Плотное поле модулей — это именно та хаотичная сцена, которая создает помехи для алгоритма обнаружения.

Шаг второй: пирамидальный пулинг, крупные и мелкие горячие точки в фокусе

Второе изменение заменяет исходный модуль пространственного пирамидального пулинга YOLOv10 на модуль пирамидального пулинга с пространственным вниманием (SAPPM). Он нацелен на проблему различных масштабов.

«Пирамидальный пулинг» можно понимать как одновременное сканирование одной и той же карты признаков несколькими окнами разных размеров. Маленькие окна видят мелкие детали, что хорошо для небольших горячих точек; большие окна видят широкую область, что хорошо для крупных горячих точек. Исследование запускает несколько окон пулинга от малых до больших параллельно, так что независимо от того, занимает ли дефект несколько рядов или является пятном размером с ладонь, нужное окно его захватывает.

Кроме того, SAPPM добавляет слой пространственного внимания. Он присваивает разные веса признакам из разных окон, так что действительно ключевая информация о масштабе остается на переднем плане, а нерелевантная подавляется, затем эти мультимасштабные признаки объединяются в более полную карту признаков. Короче говоря, первая часть отвечает за «видение всех размеров», вторая — за «выделение того, что должно быть видно». Вместе они резко повышают способность модели воспринимать мультимасштабные цели.

Это напрямую облегчает старую проблему «потеря одного ради другого». Сеть с фиксированным рецептивным полем теряет мелкую цель, заботясь о крупной; с SAPPM крупные и мелкие горячие точки могут быть четко видны в одном проходе, независимо от разницы в размерах.

Рисунок 9: Схема мультимасштабного пирамидального пулинга признаков SAPPM, параллельное сканирование окнами разных размеров с последующим объединением с взвешиванием пространственного внимания.

Рисунок 10: Аэрофотоснимок завода. Дроны снимают с разной высоты, из-за чего один и тот же дефект появляется на изображении в еще более разнообразных масштабах.

Шаг третий: внимание по каналам, возвращение почти потерянных мелких целей

Третье изменение находится в шейной сети, создавая многомасштабный механизм внимания каналов, MCI. Он решает самую сложную проблему — потерю информации о мелких объектах.

Сначала о каналах. Когда сеть обрабатывает изображение, она разделяет признаки на множество параллельных каналов, каждый из которых описывает изображение с разных сторон. Признаки мелких объектов уже слабы, разбросаны по этим каналам, и если каждый канал заботится только о себе без обмена, эта драгоценная информация легко теряется при передаче от слоя к слою.

Подход MCI заключается в создании взаимодействия между каналами, позволяя им общаться друг с другом. Там, где канал все еще содержит след мелкого объекта, межканальное сотрудничество усиливает и сохраняет его. Это дополнительно укрепляет извлечение мелкомасштабной информации о признаках, и те маленькие горячие точки, которые вот-вот исчезнут при понижении разрешения, возвращаются.

Расположение этих трех изменений в сети также продумано. SIEM очищает признаки в источнике магистрали, SAPPM суммирует многомасштабную информацию в конце магистрали, а MCI выполняет финальную полировку в шейке, соединяющей магистраль с головой обнаружения. Спереди, посередине, сзади — вместе они охватывают полную цепочку извлечения, суммирования и вывода признаков, и каждый шаг получает целенаправленное исправление для болевых точек инфракрасных дефектов.

Три изменения имеют четкие роли: SIEM отвечает за контраст, SAPPM — за масштаб, MCI — за мелкие объекты. Они не борются поодиночке, а передают эстафету: сначала поднимают дефект из фона, затем охватывают все размеры, затем ловят мелкий объект, который с наибольшей вероятностью ускользнет. С этой комбинацией три самые сложные проблемы обнаружения инфракрасных дефектов решаются одна за другой.

Рисунок 11: Инфракрасные горячие точки, отсортированные по масштабу на Large, Middle и Mini. Разрыв в размерах огромен, и самые маленькие горячие точки легче всего пропустить.

Рисунок 12: Слабый объект, зафиксированный инфракрасной камерой. Чем меньше и тусклее объект, тем легче он сглаживается при обработке.

Применение продукта

Результаты: 92,1% точности, 62 кадра в секунду

Эффект трех изменений сводится к данным. Исследователи создали собственный набор данных инфракрасных дефектов фотоэлектрических модулей, маркируя горячие точки по размеру в пикселях на изображении на три класса: более 64x64 пикселей — Large, от 32x32 до 64x64 — Middle, менее 32x32 — Mini. Качество обнаружения должно оцениваться по классам и масштабам.

Точность опирается на две метрики. Одна — полнота R, отвечающая на вопрос: «Из дефектов, которые должны быть найдены, сколько было обнаружено?». Другая — средняя средняя точность PmA, обобщение точности обнаружения по классам, общий показатель, который детектору важен больше всего. Добавьте скорость обнаружения, измеряемую в кадрах в секунду, и эти три числа вместе расскажут полную историю алгоритма.

Начнем с модульной абляции. В базовом YOLOv10 средняя средняя точность составляет 89,8%. Добавление только SIEM — до 90,4%; только SAPPM — 90,5%; только MCI — 90,7%. Каждое улучшение помогает. Сложите все три — полный SESPNet — и средняя средняя точность подскакивает до 92,1%. Выделяются малые цели: базовая точность Mini составляет всего 86,7%, а со всеми тремя она поднимается до 90,3%, на целых 3,6 пункта, что доказывает работу MCI по восстановлению малых целей.

Рисунок 13: Модульная абляция. При сложении трех модулей точность самых сложных малых целей возрастает с 86,7% до 90,3%.

Рисунок 14: Бескрайняя крупная наземная электростанция. Ее тысячи и тысячи модулей — именно то, что этот алгоритм должен проверять один за другим.

Сравнение: Девять алгоритмов на одной сцене

Сравнения с самим собой недостаточно. Исследование ставит SESPNet на одну сцену с восемью другими основными алгоритмами, обучает их на одном наборе данных и измеряет точность и скорость бок о бок.

Результат говорит сам за себя. Классические двухэтапные алгоритмы, такие как Faster R-CNN и Cascade R-CNN, имеют ограниченное извлечение признаков и работают медленно, достигая средней средней точности от 86% до 88%, что не подходит для сцен, требующих высокой производительности в реальном времени. SSD — самый быстрый, но его точность составляет всего 74,3%, что явно низко. Серия YOLO в целом более сбалансирована: от YOLOv7 с 88,1% через YOLOX, YOLOv8, YOLOv10 и YOLOv11 точность поднимается до диапазона 89–90% со скоростью около пятидесяти-шестидесяти кадров в секунду.

SESPNet сдвигает эту кривую еще дальше вправо вверх: средняя средняя точность 92,1%, примерно на 2 пункта выше, чем у ближайшего конкурента, и 62,4 кадра в секунду, что соответствует скоростным YOLO. Он не жертвует скоростью ради повышения точности; он занимает верхнюю правую позицию быстрого и точного, недоступную для других. В этом его главная ценность. В сцене с огромным количеством модулей, где вы оцениваете во время патрулирования, любая медлительность — это затраты.

R = TP ÷ ( TP + FN ) · P = TP ÷ ( TP + FP )

Эти две строки являются базовыми определениями метрик точности. R (полнота) измеряет долю реальных дефектов, которые были обнаружены, P (точность) измеряет, сколько из сообщенных дефектов являются реальными, а PmA — это общая оценка, вычисляемая по классам и уровням точности. Логика не сложна: пропустить как можно меньше (высокая полнота) и дать как можно меньше ложных тревог (высокая точность), держать оба показателя под контролем — и у вас надежный детектор.

Рисунок 15: Сравнение точности и скорости девяти алгоритмов. SESPNet занимает верхний правый угол с точностью 92,1% и 62,4 FPS.

Рисунок 16: Реальный тест на встроенной платформе. Самый точный SESPNet по-прежнему стабильно работает на 12,6 FPS.

Сжатый в коробку размером с ладонь и все еще в реальном времени

Хорошая работа в лаборатории не означает, что алгоритм применим в полевых условиях. Фотоэлектрические станции в основном находятся в дикой природе, где оборудование для инспекции ограничено по вычислительной мощности и энергопотреблению. Способность алгоритма поместиться в маломощную маленькую коробку и работать в реальном времени — последнее препятствие для реального внедрения.

Исследователи перенесли его на встроенную платформу Jetson Nano для проверки. Ее процессор — четырехъядерный ARM-чип в паре с начальным 128-ядерным GPU, что значительно ниже лабораторной рабочей станции с выделенной картой как по вычислительной мощности, так и по энергопотреблению. SESPNet был развернут с тем же входным масштабом, а затем соревновался с другими алгоритмами на этой маленькой плате.

Результат снова доказывает его сбалансированность. Классические двухэтапные алгоритмы показывают свою истинную суть во встроенной среде: Faster R-CNN падает до 1,9 кадров в секунду, едва ли реальное время; Cascade R-CNN — всего 3,7. Серия YOLO обычно падает до одиннадцати-двенадцати кадров, в то время как SESPNet держит 12,6 кадров в секунду, сохраняя лучшую точность 92,1%, наравне с легкими YOLO, даже немного опережая их. Вычислительная нагрузка сильно снижена, но он остается точным и стабильным, показывая, насколько хорошо дизайн подходит для сцен с ограниченными ресурсами.

Это означает, что дрон или портативный инспектор, оснащенный этим алгоритмом, не должен отправлять изображения обратно в облако для медленной обработки. На месте, в реальном времени, он может определить, на какой панели есть горячая точка. Эффективность инспекции и скорость реакции поднимаются на новый уровень.

Ценность оперативного анализа заключается не только в экономии одного оборота. Размещение вычислений на границе сети позволяет проводить инспекции на удаленных станциях с плохим сигналом; заметив подозрительную горячую точку, можно сразу отметить ее и повторно пролететь для подтверждения, не дожидаясь возврата данных и ручного анализа перед вторым вылетом. Для крупных станций мощностью в сотни мегаватт с миллионами модулей такая возможность работы в реальном времени напрямую определяет, займет полная инспекция часы или дни.

Заключение: Ни одной перегревающейся панели не скрыться

Оглядываясь назад, можно сказать, что изюминка SESPNet не в нагромождении сложных структур, а в правильном подходе к симптомам. Контраст инфракрасных изображений низок, поэтому семантическое улучшение подавляет фон. Масштаб дефектов разнороден, поэтому пирамидальное объединение охватывает все размеры. Мелкие цели легко теряются, поэтому канальное внимание возвращает их обратно. Три шага, каждый со своей задачей, и передача эстафеты.

Что еще более редко, так это то, что модель не была утяжелена ради точности. Многие алгоритмы слепо гонятся за высокой точностью, в итоге становятся громоздкими, снижают скорость и не могут поместиться на встроенном устройстве. SESPNet сохраняет скорость, достигая максимальной точности, и выдерживает резкое сокращение вычислительных ресурсов. Этот баланс точности, скорости и легкости — именно то качество, которое наиболее ценится в этой области. Хороша ли технология, определяется тем, может ли она выполнять реальную работу на реальной станции.

92,1% средней точности, 62,4 кадра в секунду и достаточно мала для работы в реальном времени в устройстве размером с ладонь. Эти три числа вместе описывают инструмент, который действительно можно применить на станции и приступить к работе. Он превращает тусклое серое инфракрасное изображение, которое раньше с трудом воспринимал даже человеческий глаз, в отчет о состоянии, где дефектам негде спрятаться.

Когда дрон с таким алгоритмом пролетает над полями синих массивов, каждая тихо перегревающаяся панель обнаруживается и устраняется в первый же момент. Скрытые горячие точки становятся видимыми, а кажущиеся незначительными риски устраняются. В результате получается станция, которая превращает солнечный свет в энергию долго, безопасно и на полной мощности.

Мнение Ooitech

Что нас больше всего поражает, так это то, что обнаружение и производство — две стороны одной медали надежности. Горячая точка, обнаруженная в поле, часто связана с микротрещиной или холодным спаем, возникшим на линии, поэтому сварка стрингеров, выравнивание укладки и контроль ламинирования так важны на линии производства модулей. Если эти этапы выполнены правильно, то в поле попадает меньше горячих точек. Если вы хотите увидеть, как строится и настраивается реальная линия модулей, наши обзоры заводов на канале Ooitech YouTube (www.youtube.com/ooitech) стоит посмотреть и подписаться.