Тепловизионная съёмка солнечных панелей: как SESPNet выявляет

Краткий ответ: Тепловизионная съёмка показывает, где солнечный модуль нагрет, но не объясняет, почему. В этой статье разбирается, что на самом деле выявляет температура: горячая точка — это симптом тока, принудительно проходящего через резистивный путь, и затем тепло последовательно поражает инкапсулянт, задний лист, стекло и межсоединения. SESPNet — это диагностический подход, используемый здесь для того, чтобы связать тепловую сигнатуру с её электрической причиной, а не воспринимать изображение как ответ. Правильная интерпретация теплового сканирования меняет корректирующие действия: горячая точка на уровне ячейки указывает на треснувшую или затенённую ячейку, а на уровне строки — на обходной диод, отказавший в разомкнутом состоянии. Практическая ценность заключается в том, чтобы прочитать картину до того, как повреждение станет необратимым, поскольку деградация инкапсулянта и обугливание заднего листа не подлежат восстановлению, как только они начались.

Производство PV-модулей · от Джерри, Ooitech

Введение в продукт

Тепловизионная съёмка показывает, где находится горячая точка. О том, во что температура, которую она выявляет, на самом деле обходится модулю со временем, см. горячие точки солнечных панелей: почему температура важна и что повреждает тепло.

Солнечная электростанция может содержать от десятков тысяч до нескольких миллионов модулей. День за днем они находятся на солнце, ветре, песке, дожде и снеге, поэтому неудивительно, что они приобретают всевозможные недуги. Самый распространенный и самый опасный из них — горячая точка.

Горячая точка — это всего лишь небольшой участок на модуле, который работает аномально горячо. В лучшем случае это снижает вашу выходную мощность. В худшем — прожигает задняя пленка и вызывает пожар, ставя под угрозу всю электростанцию. Проблема в том, что модули упакованы вплотную друг к другу. Отправлять бригады проверять их по одному с портативным прибором — это медленно и многое пропускается. Поэтому сочетание инфракрасной термографии с глубоким обучением вышло на первый план.

Направьте инфракрасную камеру на модуль, зафиксируйте распределение температуры в виде тепловой карты, а затем позвольте обученной нейронной сети прочитать эту карту и отметить, где горячо и насколько горячо. Звучит просто. Но добиться реальной работы в полевых условиях — совсем другая история. Инфракрасные изображения имеют три встроенных недостатка, которые сбивают с толку обычные алгоритмы: низкое разрешение, сильно различающиеся размеры дефектов и зашумленный фон.

Новый метод под названием SESPNet (сеть семантического улучшения и восприятия масштаба) напрямую борется с этими тремя недостатками. Его показатели впечатляют: 92,1% средней точности, 62,4 кадра в секунду, и он достаточно компактен для работы в реальном времени на устройстве размером с ладонь. В этой статье разбирается, как он извлекает каждую горячую точку из тусклого серого инфракрасного кадра.

Сначала о том, почему горячие точки важны. Фотоэлектрический модуль состоит из множества элементов, соединённых последовательно. Если один элемент теряет выходную мощность из-за затенения, микротрещины или грязи, он перестаёт давать ток и начинает вести себя как резистор, превращая ток от других элементов в тепло и рассеивая его внутри себя. Этот один элемент становится источником тепла для всей цепочки, работая на десятки градусов горячее соседей. В лёгких случаях это снижает выходную мощность цепочки. В серьёзных — со временем перегревает инкапсулянт , прожигает задний лист и может даже воспламениться. Раннее обнаружение горячих точек и быстрое их устранение — задача, которую фотоэлектрическая эксплуатация не может избежать.

Рисунок 1: Модули солнечных коллекторов, установленные на крыше и годами находящиеся на открытом воздухе, где локальные скачки температуры образуют горячие точки.

Рисунок 2: Пятиэтапный процесс инфракрасного теплового обнаружения дефектов фотоэлектрических модулей — от захвата температуры до точного определения неисправной панели.

Технические параметры

Почему инфракрасное излучение необходимо для обнаружения горячих точек

Чтобы понять этот алгоритм, начните с основ: почему камера видимого света не подходит для скрытых дефектов фотоэлектрических систем и почему инфракрасное излучение — единственный способ.

Визуализация в видимом свете — это просто обычная фотография. Высокое разрешение, богатая детализация, хорошо подходит для обнаружения трещин, царапин и загрязнений на поверхности — того, что можно увидеть. Но у нее есть один фатальный недостаток. Она считывает только внешний вид, а не температуру. Микротрещина или холодное паяное соединение внутри модуля часто не меняют его внешний вид на ранней стадии, но при этом блокируют ток в этом месте и нагревают его. Камеры видимого света бессильны против таких тепловых дефектов, а ночью или при плохом освещении они бесполезны.

Инфракрасное излучение идет другим путем. Любой объект выше абсолютного нуля излучает инфракрасное излучение, и чем он горячее, тем сильнее излучение. Инфракрасная камера улавливает это излучение и отображает невидимое распределение температуры непосредственно на цветной или черно-белой тепловой карте. Ей не нужен внешний свет, поэтому она работает днем и ночью. Где модуль горячий и насколько — видно четко. Для тепловых дефектов, таких как горячие точки и поврежденные токопроводящие шины, инфракрасное излучение — естественное решение.

Вот почему инфракрасное излучение стало ключевым способом повышения точности и скорости обнаружения дефектов на фотоэлектрических станциях. Дрон с инфракрасной камерой может обследовать весь массив за несколько минут, что в десятки раз быстрее, чем ручная бригада. Но эта способность видеть тепло имеет свою цену: качество изображения значительно ниже, чем в видимом свете.

Старый ручной метод требует, чтобы рабочие носили приборы и измеряли панель за панелью. Это медленно и сильно зависит от опыта. При плотно расположенных модулях, исчисляемых тысячами, чтение их по одному утомительно, чревато ошибками и почти невозможно ночью. Комбинация дрона и инфракрасного излучения максимально оптимизирует этап захвата, но если вы все еще читаете эти тысячи изображений вручную, узкое место просто перемещается с измерения на просмотр. Чтобы замкнуть цикл, нужен алгоритм для чтения изображений. Это сигнал для глубокого обучения.

Рисунок 3: Типичная инфракрасная тепловая карта. Чем горячее область, тем теплее ее цвет, и перегретая зона сразу бросается в глаза. Это исходный материал для обнаружения горячих точек.

Рисунок 4: Разделение труда между видимым светом и инфракрасной съемкой. Для тепловых дефектов инфракрасное излучение — естественное решение.

Три сложные проблемы в инфракрасном обнаружении дефектов

Инфракрасное излучение видит тепло, но ставит перед алгоритмами обнаружения три трудные задачи. Именно из-за них многие готовые алгоритмы не работают на инфракрасных изображениях фотоэлектрических панелей.

Первая: низкий контраст. Инфракрасные кадры в целом тусклые и серые. Разница в оттенках серого между дефектом и фоном изначально мала, а шум изображения усугубляет ситуацию, позволяя дефектам сливаться с фоном. Алгоритм не может выделить ключевые признаки, поэтому точность страдает.

Вторая: сильно различающийся масштаб дефектов. В одном инфракрасном кадре размеры горячих точек могут отличаться в десятки раз. Некоторые — это целая обойденная цепочка, светящаяся на большом участке; другие — всего одна ячейка, слегка нагревающаяся в углу. Фиксированное поле восприятия, диапазон, который сеть может четко видеть за один проход, часто теряет одно ради другого при таком разбросе: захватываешь крупный объект и упускаешь мелкий, или наоборот.

Третья: потеря информации о мелких объектах. Это самая сложная проблема. Нейронные сети уменьшают изображение слой за слоем, сжимая его для извлечения высокоуровневых признаков. Но маленькие горячие точки, которые изначально были всего в десятки пикселей, сглаживаются при уменьшении, пока к моменту принятия решения от них почти ничего не остается, и распознавание сильно страдает.

Если объединить все три проблемы, становится ясно: обнаружение инфракрасных дефектов в фотоэлектрике сложно, потому что приходится одновременно бороться с «нечетким изображением, разными масштабами и легкой потерей объектов». Три ключевых улучшения SESPNet направлены на каждую из этих проблем: одно усиливает семантику для подавления фона, другое создает пирамиду для работы с масштабами, третье защищает каналы для восстановления мелких объектов.

Почему бы просто не взять готовый детектор? Обнаружение объектов развивается быстро и делится на два направления. Одно — двухэтапное: сначала грубый отбор кандидатных областей, затем тщательная оценка каждой, высокая точность, но медленно. Другое — одноэтапное: один взгляд дает и местоположение, и класс, быстро и подходит для реального времени. Серия YOLO — флагман одноэтапного подхода. Но эти общие алгоритмы обучены на обычных видимых изображениях, и при применении к низкоконтрастным инфракрасным кадрам с разными масштабами они испытывают трудности. Улучшения SESPNet заполняют эти три пробела, специально созданные для инфракрасных дефектов.

Рисунок 5: Три сложные проблемы инфракрасного обнаружения дефектов: низкий контраст, множественные масштабы и мелкие объекты.

Рисунок 6: Мультироторный дрон с камерой, пролетающий над массивом панелей для массовой съемки инфракрасных изображений, выполняя за минуты работу, на которую у бригады ушло бы полдня.

Технические преимущества

Шаг первый: семантическое улучшение, выводящее дефекты из фона

SESPNet основан на YOLOv10 как базовой модели. YOLOv10 — один из самых популярных детекторов реального времени, выпущенный командой из Университета Цинхуа в мае 2024 года, созданный для быстрой, точной и удобной работы. SESPNet выполняет три операции над ним, и первая встраивает модуль семантического улучшения информации (SIEM) в основную сеть.

Он решает проблему низкого контраста. Низкий контраст инфракрасных изображений дефектов позволяет фоновым помехам мешать признакам, извлекаемым моделью, снижая точность. SIEM работает двумя путями одновременно. Глобальная ветвь внимания учитывает общий смысл всего изображения, определяя, что является фоном, а что может скрывать дефект, тем самым снижая влияние помех. Локальная ветвь внимания сосредотачивается на деталях и текстуре самого дефекта, усиливая его выраженность.

Каждая ветвь отслеживает свою область, затем глобальные и локальные признаки взвешиваются и объединяются. Это похоже на прищуривание, чтобы разглядеть общий контур крыши и исключить помехи, а затем наклон, чтобы внимательно изучить подозрительный участок. Сочетание ближнего и дальнего обзора позволяет выделить дефект из тусклого фона. Объединенные признаки сохраняют детали дефекта, подавляя фоновые помехи, что делает выраженность признаков значительно сильнее.

Результат наглядно виден в последующем абляционном исследовании: добавление только SIEM повышает среднюю точность по всем трем целевым классам, давая реальный выигрыш в сопротивлении сложным фонам.

Основная сеть — это часть модели, которая первой обрабатывает изображение и извлекает базовые признаки. Размещение SIEM здесь означает очистку на источнике: до передачи данных признаки дефекта уже усилены, а фоновый шум подавлен. С чистым источником последующая обработка масштабов и локализация целей не будут сбиты помехами. Поэтому модуль находится именно в основной сети, а не где-либо еще. Боритесь с загрязнением на раннем этапе.

Рисунок 7: Двухветвевая структура модуля семантического улучшения SIEM. Глобальная ветвь анализирует общую картину для подавления фона, локальная ветвь следит за деталями для усиления дефекта, затем результаты взвешиваются и объединяются.

Рисунок 8: Кровельная фотоэлектрическая панель. Плотное поле модулей — именно та хаотичная сцена, которая создает помехи для алгоритма обнаружения.

Шаг второй: пирамидальный пулинг, фокус на больших и малых горячих точках

Второе изменение заменяет исходный модуль пространственного пирамидального пулинга YOLOv10 на модуль пулинга с пространственным вниманием и пирамидой (SAPPM). Оно направлено на проблему различных масштабов.

«Пирамидальный пулинг» можно понимать как одновременное сканирование одной и той же карты признаков несколькими окнами разных размеров. Маленькие окна видят мелкие детали, что хорошо для небольших очагов; большие окна видят широкую область, что хорошо для крупных очагов. В исследовании параллельно запускается несколько окон пулинга от малых до больших, поэтому независимо от того, занимает ли дефект несколько строк или является пятном размером с ладонь, нужное окно его обнаружит.

Кроме того, SAPPM добавляет слой пространственного внимания. Он присваивает разные веса признакам из разных окон, так что действительно ключевая информация о масштабе остается на переднем плане, а нерелевантная приглушается, затем эти многомасштабные признаки сшиваются в более полную карту признаков. Короче говоря, первая часть отвечает за «видение всех масштабов», вторая — за «выделение того, что должно быть видно». Вместе они резко повышают чувствительность модели к многомасштабным объектам.

Это напрямую смягчает старую проблему «одно за счет другого». Сеть с фиксированным полем восприятия теряет мелкий объект, уделяя внимание крупному; с SAPPM крупные и мелкие очаги могут быть четко видны за один проход, независимо от разрыва в размерах.

Рисунок 9: Схема многомасштабного пирамидального пулинга признаков SAPPM: параллельное сканирование окнами разных размеров с последующей сшивкой с весами пространственного внимания.

Рисунок 10: Аэроснимок завода. Дроны снимают с разной высоты, из-за чего один и тот же дефект на изображении выглядит в еще более разнообразных масштабах.

Шаг третий: Внимание к каналам, возвращение почти потерянных мелких объектов

Третье изменение находится в сети шеи и создает многомасштабный механизм внимания к каналам (MCI). Он решает самую сложную проблему — потерю информации о мелких объектах.

Сначала о каналах. Когда сеть обрабатывает изображение, она разделяет признаки на множество параллельных каналов, каждый из которых описывает изображение под разным углом. Признаки мелких объектов уже слабы и разбросаны по каналам, и если каждый канал заботится только о себе без обмена, эта ценная информация легко теряется при поэтапной передаче.

Подход MCI заключается в создании взаимодействия между каналами, позволяя им общаться друг с другом. Если в каком-то канале еще сохраняется след мелкого объекта, межканальное сотрудничество усиливает и сохраняет его. Это дополнительно укрепляет извлечение информации о мелкомасштабных признаках, и те небольшие очаги, которые почти исчезли при понижении разрешения, возвращаются.

Расположение этих трех модулей в сети тоже не случайно. SIEM очищает признаки на исходном уровне магистрали, SAPPM суммирует многоуровневую информацию на выходе магистрали, а MCI выполняет финальную доводку на стыке, соединяющем магистраль с головой детекции. Начало, середина, конец — вместе они охватывают всю цепочку извлечения, суммирования и вывода признаков, и каждый этап получает точечное решение своей проблемы, связанной с инфракрасными дефектами.

Три модуля имеют четкие роли: SIEM отвечает за контраст, SAPPM — за масштаб, MCI — за мелкие цели. Они не действуют поодиночке, а передают эстафету: сначала выделяют дефект из фона, затем охватывают все размеры, и наконец ловят мелкую цель, которая с наибольшей вероятностью ускользнет. С такой комбинацией три самые сложные проблемы обнаружения инфракрасных дефектов решаются одна за другой.

Рисунок 11: Инфракрасные горячие точки, отсортированные по масштабу на крупные, средние и мини. Разница в размерах огромна, и самые маленькие горячие точки легче всего пропустить.

Рисунок 12: Слабый объект, зафиксированный инфракрасной камерой. Чем меньше и тусклее объект, тем легче он сглаживается при обработке.

Применение продукта

Итоговые показатели: точность 92,1%, 62 кадра в секунду

Эффект трех модулей сводится к данным. Исследователи создали собственный набор данных инфракрасных дефектов фотоэлектрических модулей, разметив горячие точки по размеру в пикселях на три класса: более 64x64 пикселей — крупные, от 32x32 до 64x64 — средние, менее 32x32 — мини. Качество обнаружения оценивается по каждому классу и масштабу отдельно.

Точность опирается на две метрики. Одна — это полнота, R, отвечающая на вопрос: «из дефектов, которые должны быть найдены, сколько было обнаружено». Другая — средняя точность по классам, PmA, усреднённая точность обнаружения по классам, итоговая оценка, которая для детектора важнее всего. Добавьте скорость обнаружения, измеряемую в кадрах, обрабатываемых в секунду, и эти три числа вместе расскажут полную историю алгоритма.

Начнем с абляции по модулям. С базовой моделью YOLOv10 средняя точность составляет 89,8%. Добавление только SIEM повышает её до 90,4%; только SAPPM — до 90,5%; только MCI — до 90,7%. Каждый модуль помогает. При объединении всех трех — полная модель SESPNet — средняя точность подскакивает до 92,1%. Особенно выделяются мелкие цели: точность базовой модели для мини-класса составляет лишь 86,7%, а с добавлением всех трех модулей она поднимается до 90,3% — рост на целых 3,6 пункта, что подтверждает эффективность MCI в обнаружении мелких целей.

Рисунок 13: Абляция по модулям. При объединении трех модулей точность обнаружения самых сложных мелких целей возрастает с 86,7% до 90,3%.

Рисунок 14: Бескрайняя наземная электростанция. Тысячи и тысячи её модулей — именно то, что этот алгоритм должен проверять один за другим.

Схватка: девять алгоритмов на одной сцене

Сравнивать с самим собой недостаточно. Исследование ставит SESPNet на одну сцену с восемью другими основными алгоритмами, обучает их на одном наборе данных и измеряет точность и скорость бок о бок.

Результат говорит сам за себя. Классические двухэтапные алгоритмы, такие как Faster R-CNN и Cascade R-CNN, имеют ограниченное извлечение признаков и работают медленно, достигая средней точности 86–88%, что не подходит для сцен, требующих высокой производительности в реальном времени. SSD — самый быстрый, но его точность составляет лишь 74,3%, что явно низко. Серия YOLO в целом более сбалансирована: от 88,1% у YOLOv7 через YOLOX, YOLOv8, YOLOv10 и YOLOv11 точность поднимается до диапазона 89–90% при скорости около пятидесяти-шестидесяти кадров в секунду.

SESPNet сдвигает эту кривую ещё дальше в правый верхний угол: средняя точность 92,1%, примерно на 2 пункта выше, чем у ближайшего конкурента, и 62,4 кадра в секунду — в ногу со скоростными моделями YOLO. Он не жертвует скоростью ради повышения точности; он удерживает недостижимую для других верхнюю правую позицию «быстро и точно». В этом его главная ценность. В сцене с огромным количеством модулей, где нужно оценивать на ходу, каждая доля секунды замедления — это затраты.

R = TP ÷ ( TP + FN ) · P = TP ÷ ( TP + FP )

Эти две строки — базовые определения метрик точности. R (полнота) измеряет долю реально обнаруженных дефектов, P (точность) — сколько из сообщённых дефектов действительно являются дефектами, а PmA — общая оценка, вычисляемая по классам и уровням точности. Логика не сложна: пропускать как можно меньше (высокая полнота) и давать как можно меньше ложных срабатываний (высокая точность), держать оба конца под контролем — и у вас надёжный детектор.

Рисунок 15: Сравнение точности и скорости девяти алгоритмов. SESPNet занимает правый верхний угол с точностью 92,1% и скоростью 62,4 FPS.

Рисунок 16: Реальное испытание на встроенной платформе. Самый точный SESPNet по-прежнему стабильно держит 12,6 FPS.

Сжат в коробку размером с ладонь и всё ещё работает в реальном времени

Хорошая работа в лаборатории не означает пригодность в полевых условиях. Фотоэлектрические станции в основном находятся в дикой природе, где оборудование для инспекции ограничено по вычислительной мощности и энергии. Сможет ли алгоритм поместиться в маломощную маленькую коробку и работать в реальном времени — последнее препятствие для реального развёртывания.

Исследователи перенесли его на встроенную платформу Jetson Nano для проверки. Его процессор — четырёхъядерный чип ARM в паре с начальной 128-ядерной GPU, что значительно ниже лабораторной рабочей станции с выделенной картой как по вычислениям, так и по мощности. SESPNet был развёрнут в том же входном масштабе, а затем соревновался с другими алгоритмами на этой маленькой плате.

Результат снова подтверждает его сбалансированность. Классические двухэтапные алгоритмы показывают свою истинную суть во встроенной среде: Faster R-CNN падает до 1,9 кадра в секунду, едва достигая реального времени; Cascade R-CNN — всего 3,7. Серия YOLO обычно падает до одиннадцати-двенадцати кадров, в то время как SESPNet удерживает 12,6 кадра в секунду, сохраняя лучшую точность 92,1%, вровень с лёгкими YOLO, даже немного опережая их. Вычисления резко сокращены, но он остаётся точным и стабильным, показывая, насколько хорошо конструкция подходит для сцен с ограниченными ресурсами.

Это означает, что дрон или портативный инспектор с этим алгоритмом не должен отправлять изображения обратно в облако для медленной обработки. На месте, в реальном времени, он может определить, на какой панели есть горячая точка. И эффективность проверки, и скорость реакции поднимаются на новую ступень.

Ценность оценки на лету — это больше, чем экономия одного цикла. Размещение вычислений на границе означает, что проверка может работать даже на удалённых станциях со слабым сигналом; при обнаружении подозрительной горячей точки её можно отметить на месте и сразу же повторить полёт для подтверждения, не дожидаясь возврата данных и ручной проверки перед вторым вылетом. Для крупных станций, измеряемых сотнями мегаватт с миллионами модулей, эта возможность работы в реальном времени напрямую определяет, займёт ли полная проверка часы или дни.

Заключение: Ни одной горячей панели не скрыться

Оглядываясь назад, можно сказать, что хитрость SESPNet не в создании сложной структуры, а в правильном лечении симптомов. Контраст инфракрасного изображения низкий, поэтому семантическое улучшение подавляет фон. Масштаб дефектов беспорядочный, поэтому пирамидальный пулинг охватывает все размеры. Мелкие цели легко теряются, поэтому канальное внимание возвращает их. Три шага, каждый для своей задачи, и передача эстафеты.

Что ещё более ценно, так это то, что он не раздувал модель ради точности. Многие алгоритмы слепо гонятся за высокой точностью, в итоге становятся громоздкими, замедляют скорость и даже не могут поместиться на встроенное устройство. SESPNet сохраняет скорость, достигая максимальной точности, и выдерживает испытание резко сокращёнными вычислениями. Этот баланс точности, скорости и лёгкости — именно то качество, которое больше всего ценится в этой области. Хороша ли технология, определяется тем, может ли она выполнять реальную работу на реальной станции.

92,1% средней точности, 62,4 кадра в секунду и достаточно компактный, чтобы работать в реальном времени в устройстве размером с ладонь. Эти три числа вместе описывают инструмент, который действительно может спуститься к заводу и приступить к работе. Он превращает тусклое серое инфракрасное изображение, которое когда-то было трудно различить даже человеческому глазу, в отчет о состоянии, где дефектам негде спрятаться.

Когда дрон с таким алгоритмом облетает поле за полем синих массивов, каждая тихо перегревающаяся панель фиксируется и устраняется в первый же момент. Скрытые горячие точки становятся видимыми, а казалось бы, незначительные риски устраняются. В итоге остается именно та станция, которая превращает солнечный свет в энергию — долго, безопасно и на полной нагрузке.

Мнение Ooitech

Что нас больше всего поражает здесь, так это то, что обнаружение и производство — две стороны одной медали надежности. Горячая точка, обнаруженная в поле, часто восходит к микротрещине или холодному паяному соединению, возникшему на линии, поэтому сварка стрингеров, выравнивание при укладке и контроль ламинации так важны на линии производства модулей. Если правильно выполнить эти этапы, вы изначально отправляете в поле меньше горячих точек. Если вы хотите увидеть, как строится и настраивается реальная линия модулей, наши обзоры заводов на канале Ooitech на YouTube (www.youtube.com/ooitech) стоит посмотреть и подписаться.