Описание продукта

Солнечная ферма может содержать от десятков тысяч до нескольких миллионов модулей. День за днем они находятся на жаре, ветре, песке, дожде и снегу, поэтому неудивительно, что они приобретают всевозможные неисправности. Самая распространенная и самая опасная из них — горячая точка.

Горячая точка — это просто небольшой участок на модуле, который нагревается аномально. В лучшем случае это снижает выходную мощность. В худшем — прожигает заднюю пленку и вызывает пожар, ставя под угрозу всю станцию. Проблема в том, что модули расположены вплотную друг к другу. Отправлять бригады для проверки каждого модуля по отдельности с помощью ручного прибора медленно и приводит к пропускам. Поэтому сочетание инфракрасной термографии с глубоким обучением вышло на первый план.

Направьте инфракрасную камеру на модуль, зафиксируйте распределение температуры в виде тепловой карты, затем позвольте обученной нейронной сети прочитать эту карту и отметить, где горячо и насколько горячо. Звучит просто. Но заставить это работать на практике — другая история. Инфракрасные изображения имеют три встроенных недостатка, которые сбивают с толку обычные алгоритмы: низкое разрешение, сильно различающиеся размеры дефектов и зашумленный фон.

Новый метод под названием SESPNet (Semantic Enhancement and Scale Perception Network) напрямую борется с этими тремя недостатками. Его показатели впечатляют: 92,1% средней точности, 62,4 кадра в секунду, и он достаточно компактен для работы в реальном времени на встроенном устройстве размером с ладонь. В этой статье разбирается, как он извлекает каждую горячую точку из тусклого серого инфракрасного кадра.

Во-первых, почему горячие точки важны. Фотоэлектрический модуль состоит из множества ячеек, соединенных последовательно. Если одна ячейка теряет выходную мощность из-за затенения, микротрещины или загрязнения, она перестает давать ток и начинает действовать как резистор, превращая ток от других ячеек в тепло и сжигая его внутри себя. Эта одна ячейка становится источником тепла для всей цепочки, нагреваясь на десятки градусов выше соседних. Легкие случаи снижают выходную мощность цепочки. Тяжелые со временем разрушают инкапсулянт, прожигают заднюю поверхность и могут даже вызвать возгорание. Обнаружение горячих точек на ранней стадии и быстрое их устранение — задача, которую нельзя избежать при эксплуатации фотоэлектрических систем.

Рисунок 1: Модули солнечных коллекторов, установленные на крыше, годами подвергающиеся воздействию внешней среды, где образуются локальные повышения температуры — горячие точки.

Рисунок 2: Пятиэтапный рабочий процесс инфракрасного теплового обнаружения дефектов фотоэлектрических модулей: от захвата температуры до точного определения неисправной панели.

Технические параметры

Почему инфракрасное излучение необходимо для обнаружения горячих точек

Чтобы понять этот алгоритм, начните с основ: почему камера видимого света не подходит для скрытых дефектов фотоэлектрических систем и почему инфракрасное излучение — единственный способ.

Визуализация в видимом свете — это просто обычная фотография. Высокое разрешение, богатая детализация, хорошо подходит для обнаружения трещин, царапин и загрязнений на поверхности — того, что можно увидеть. Но у нее есть один фатальный недостаток. Она показывает только внешний вид, а не температуру. Микротрещина или холодное паяное соединение внутри модуля часто не меняют его внешний вид на ранней стадии, но блокируют ток в этом месте и нагревают его. Камеры видимого света бессильны против таких тепловых дефектов, а ночью или при плохом освещении они бесполезны.

Инфракрасное излучение идет другим путем. Любой объект с температурой выше абсолютного нуля излучает инфракрасное излучение, и чем горячее объект, тем сильнее излучение. Инфракрасная камера захватывает это излучение и отображает невидимое распределение температуры непосредственно в виде цветной или серой тепловой карты. Ей не нужен внешний свет, поэтому она работает днем и ночью. Где модуль горячий и насколько — видно четко. Для дефектов, вызванных нагревом, таких как горячие точки и сломанные токопроводящие дорожки, инфракрасное излучение — естественное решение.

Вот почему инфракрасное излучение стало ключевым способом повышения точности и скорости обнаружения дефектов на фотоэлектрических станциях. Дрон с инфракрасной камерой может просканировать весь массив за несколько минут, что в десятки раз быстрее, чем ручная бригада. Но эта способность видеть тепло имеет свою цену: качество изображения значительно ниже, чем у видимого света.

Старый ручной метод требует, чтобы рабочие носили приборы и измеряли панель за панелью. Это медленно и сильно зависит от опыта. Поскольку модули расположены плотно и их количество исчисляется тысячами, считывать их по одному утомительно, чревато ошибками и почти невозможно ночью. Комбинация дрона и инфракрасной камеры максимально ускоряет этап сбора данных, но если вы все еще вручную просматриваете тысячи изображений, узкое место просто перемещается с измерения на просмотр. Чтобы замкнуть цикл, нужен алгоритм для чтения изображений. Здесь на сцену выходит глубокое обучение.

Рисунок 3: Типичная инфракрасная тепловая карта. Чем горячее область, тем теплее ее цвет, и перегретая зона сразу бросается в глаза. Это исходный материал для обнаружения горячих точек.

Рисунок 4: Разделение труда между видимым светом и инфракрасной съемкой. Для тепловых дефектов инфракрасное излучение — естественное решение.

Три сложные задачи в инфракрасном обнаружении дефектов

Инфракрасное излучение видит тепло, но ставит перед алгоритмами обнаружения три сложные проблемы. Именно из-за них многие готовые алгоритмы не работают с инфракрасными изображениями фотоэлектрических панелей.

Первая: низкий контраст. Инфракрасные кадры тусклые и серые в целом. Разница в оттенках серого между дефектом и фоном изначально мала, а шум изображения позволяет дефектам сливаться с фоном. Алгоритм не может выделить ключевые признаки, поэтому точность страдает.

Вторая: сильно различающийся масштаб дефектов. В одном инфракрасном кадре размеры горячих точек могут отличаться в десятки раз. Некоторые — это целая обойденная струна, светящаяся на большом участке; другие — всего одна ячейка, слегка нагревающаяся в углу. Фиксированное рецептивное поле, диапазон, который сеть может четко видеть за один проход, обычно теряет одно ради другого при таком разбросе: поймаешь большую цель — упустишь маленькую, и наоборот.

Третья: потеря информации о мелких объектах. Это самая сложная. Нейронные сети понижают дискретизацию слой за слоем, сжимая изображение для извлечения высокоуровневого смысла. Но маленькие горячие точки, которые изначально были всего десятками пикселей, сглаживаются при уменьшении, пока к моменту принятия решения от них почти ничего не остается, и распознавание сильно страдает.

Сложите все три вместе, и станет ясно: инфракрасное обнаружение дефектов в фотоэлектрических системах сложно, потому что нужно одновременно бороться с «нечетким зрением, разными размерами и легкой потерей». Три ключевых улучшения SESPNet нацелены на каждую из этих проблем: одно улучшает семантику для подавления фона, другое строит пирамиду для обработки размеров, третье защищает каналы для восстановления мелких объектов.

Почему бы просто не взять готовый детектор? Обнаружение объектов продвинулось далеко, и оно делится на два пути. Первый — двухэтапный: сначала грубо отсеиваются области-кандидаты, затем каждый тщательно оценивается, высокая точность, но медленно. Второй — одноэтапный: один взгляд дает и местоположение, и класс, быстро и подходит для реального времени. Серия YOLO — флагман одноэтапных методов. Но эти общие алгоритмы обучены на обычных видимых изображениях, а при применении к низкоконтрастным, сильно разномасштабным инфракрасным кадрам солнечных панелей они испытывают трудности. Улучшения SESPNet заполняют эти три пробела, будучи специально разработанными для инфракрасных дефектов.

Рисунок 5: Три сложные задачи обнаружения инфракрасных дефектов: низкий контраст, множественные масштабы и малые цели.

Рисунок 6: Мультироторный дрон с камерой, пролетающий над массивом, чтобы массово захватывать инфракрасные изображения, покрывая за минуты то, что команда потратила бы полдня.

Технические преимущества

Шаг первый: семантическое улучшение, выделение дефектов из фона

SESPNet построена на базовой модели YOLOv10. YOLOv10 — один из самых популярных современных детекторов реального времени, выпущенный командой из Университета Цинхуа в мае 2024 года, созданный для быстрой, точной и удобной для развертывания работы. SESPNet выполняет три операции над ним, и первая встраивает модуль семантического улучшения информации (SIEM) в основную сеть.

Что он решает — проблему низкого контраста. Плохой контраст в инфракрасных изображениях дефектов позволяет фоновому шуму мешать признакам, извлекаемым моделью, снижая точность. SIEM работает двумя способами одновременно. Глобальная ветвь внимания учитывает общий смысл всего изображения, определяя, что является фоном, а что может скрывать дефект, так что влияние помех снижается. Локальная ветвь внимания фокусируется на деталях и текстуре самого дефекта, усиливая его выражение признаков.

Каждая ветвь следит за своим, затем глобальное и локальное взвешиваются и объединяются. Представьте, что вы щуритесь, чтобы разглядеть общий контур крыши и исключить помехи, а затем наклоняетесь, чтобы пристально посмотреть на одно подозрительное пятно. Ближнее и дальнее вместе, и дефект выделяется из тусклого фона. Объединенные признаки сохраняют детали дефекта, подавляя фоновые помехи, так что выражение признаков явно сильнее.

Результат наглядно проявляется в последующем абляционном исследовании: добавление только SIEM повышает среднюю точность по всем трем классам целей, с реальными улучшениями в устойчивости к сложным фонам.

Базовый слой — это часть модели, которая первой обрабатывает изображение и извлекает основные признаки. Размещение SIEM здесь означает очистку у источника: до того, как что-либо будет передано дальше, признаки дефекта уже усилены, а фоновый шум подавлен. С чистым источником последующая обработка масштабов и локализация целей не будут сбиты с толку помехами. Вот почему он находится в базовом слое и нигде больше. Обрабатывайте загрязнение на раннем этапе.

Рисунок 7: Двухветвевая структура модуля семантического улучшения SIEM. Глобальная ветвь считывает общую картину для подавления фона, локальная ветвь следит за деталями для усиления дефекта, затем две ветви взвешиваются и объединяются.

Рисунок 8: Крышная фотоэлектрическая установка. Плотное поле модулей — это именно та хаотичная сцена, которая создает помехи для алгоритма обнаружения.

Шаг второй: пирамидальное объединение, крупные и мелкие очаги в фокусе

Второе изменение заменяет исходный модуль пространственного пирамидального объединения YOLOv10 на модуль пространственного внимания с пирамидальным объединением (SAPPM). Он направлен на решение проблемы переменного масштаба.

«Пирамидальное объединение» можно понимать как одновременное сканирование одной и той же карты признаков несколькими окнами разного размера. Маленькие окна видят мелкие детали, что хорошо для небольших очагов; большие окна видят широкую область, что хорошо для крупных очагов. В исследовании параллельно запускается несколько окон объединения от малого до большого, так что независимо от того, занимает ли дефект несколько рядов или размером с ладонь, нужное окно его захватывает.

Кроме того, SAPPM добавляет слой пространственного внимания. Он присваивает разные веса признакам из разных окон, так что действительно ключевая масштабная информация остается на переднем плане, а нерелевантная подавляется, затем эти многомасштабные признаки объединяются в более полную карту признаков. Короче говоря, первая часть отвечает за «видение всех размеров», вторая — за «выделение того, что должно быть видно». Вместе они резко повышают способность модели к обнаружению многомасштабных целей.

Это напрямую смягчает старую проблему «потеря одного ради другого». Сеть с фиксированным рецептивным полем теряет мелкую цель, сосредотачиваясь на крупной; с SAPPM крупные и мелкие очаги могут быть четко видны в одном проходе, независимо от разницы в размерах.

Рисунок 9: Схема многомасштабного пирамидального объединения признаков SAPPM, параллельное сканирование окнами разного размера с последующим объединением с взвешиванием пространственного внимания.

Рисунок 10: Аэрофотоснимок завода. Дроны снимают с разной высоты, из-за чего один и тот же дефект появляется на изображении в еще более разнообразных масштабах.

Шаг третий: внимание по каналам, возвращение почти потерянных мелких целей

Третье изменение попадает в шейную сеть, создавая многомасштабный механизм внимания по каналам, MCI. Оно решает самую сложную проблему — потерю информации о мелких объектах.

Сначала о каналах. Когда сеть обрабатывает изображение, она разделяет признаки на множество параллельных каналов, каждый из которых описывает изображение с разных сторон. Признаки мелких объектов уже слабы, разбросаны по этим каналам, и если каждый канал заботится только о себе без обмена, эта драгоценная информация легко теряется при передаче от слоя к слою.

Подход MCI заключается в создании взаимодействия между каналами, позволяя им общаться друг с другом. Там, где канал все еще хранит след мелкого объекта, межканальное сотрудничество усиливает и сохраняет его. Это дополнительно укрепляет извлечение мелкомасштабной информации о признаках, и те маленькие горячие точки, которые вот-вот исчезнут при понижении разрешения, возвращаются.

Расположение этих трех изменений в сети также продумано. SIEM очищает признаки в источнике (backbone), SAPPM суммирует многомасштабную информацию в конце backbone, а MCI выполняет финальную полировку в шейке, соединяющей backbone с головой обнаружения. Спереди, посередине, сзади — вместе они охватывают полную цепочку извлечения, суммирования и вывода признаков, и каждый шаг получает целенаправленное исправление для болевых точек инфракрасных дефектов.

Три изменения имеют четкие роли: SIEM отвечает за контраст, SAPPM — за масштаб, MCI — за мелкие объекты. Они не борются поодиночке, а передают эстафету: сначала поднимают дефект из фона, затем охватывают все размеры, затем ловят мелкий объект, который с наибольшей вероятностью ускользнет. С этой комбинацией три самые сложные проблемы обнаружения инфракрасных дефектов решаются одна за другой.

Рисунок 11: Инфракрасные горячие точки, отсортированные по масштабу на Large, Middle и Mini. Разрыв в размерах огромен, и самые маленькие горячие точки легче всего пропустить.

Рисунок 12: Слабый объект, зафиксированный инфракрасной камерой. Чем меньше и тусклее объект, тем легче он сглаживается при обработке.

Применение продукта

Результаты: 92,1% точности, 62 кадра в секунду

Эффект трех изменений сводится к данным. Исследователи создали собственный набор данных инфракрасных дефектов фотоэлектрических модулей, маркируя горячие точки по размеру в пикселях на изображении на три класса: более 64x64 пикселей — Large, от 32x32 до 64x64 — Middle, менее 32x32 — Mini. Качество обнаружения должно оцениваться по классам и масштабам.

Точность опирается на две метрики. Одна — полнота R, отвечающая на вопрос: «Из дефектов, которые должны быть найдены, сколько было обнаружено?». Другая — средняя средняя точность PmA, обобщение точности обнаружения по классам, общий показатель, который детектору важен больше всего. Добавьте скорость обнаружения, измеряемую в кадрах в секунду, и эти три числа вместе расскажут полную историю алгоритма.

Начнем с модульной абляции. С базовым YOLOv10 его средняя средняя точность составляет 89,8%. Добавление только SIEM — до 90,4%; только SAPPM — 90,5%; только MCI — 90,7%. Каждое улучшение помогает. Сложите все три — полный SESPNet — и средняя средняя точность подскакивает до 92,1%. Выделяются малые цели: базовая точность Mini составляет всего 86,7%, а со всеми тремя она поднимается до 90,3%, на целых 3,6 пункта, что доказывает работу MCI по восстановлению малых целей.

Рисунок 13: Модульная абляция. При сложении трех модулей точность самых сложных малых целей возрастает с 86,7% до 90,3%.

Рисунок 14: Бескрайняя крупная наземная электростанция. Ее тысячи и тысячи модулей — именно то, что этот алгоритм должен проверять один за другим.

Сравнение: Девять алгоритмов на одной сцене

Сравнения с самим собой недостаточно. Исследование ставит SESPNet на одну сцену с восемью другими основными алгоритмами, обучает их на одном наборе данных и измеряет точность и скорость бок о бок.

Результат говорит сам за себя. Классические двухэтапные алгоритмы, такие как Faster R-CNN и Cascade R-CNN, имеют ограниченное извлечение признаков и работают медленно, достигая средней средней точности от 86% до 88%, что не подходит для сцен, требующих высокой производительности в реальном времени. SSD — самый быстрый, но его точность составляет всего 74,3%, что явно низко. Серия YOLO в целом более сбалансирована: от YOLOv7 с 88,1% до YOLOX, YOLOv8, YOLOv10 и YOLOv11 точность поднимается до 89–90% при скорости около 50–60 кадров в секунду.

SESPNet продвигает эту кривую еще дальше в правый верхний угол: средняя средняя точность 92,1%, примерно на 2 пункта выше, чем у ближайшего конкурента, и 62,4 кадра в секунду, что соответствует скоростным YOLO. Он не жертвует скоростью ради повышения точности; он занимает недостижимую для других позицию в правом верхнем углу — быстрый и точный. В этом его главная ценность. В сцене с огромным количеством модулей, где вы оцениваете во время патрулирования, каждая доля замедления — это затраты.

R = TP ÷ ( TP + FN ) · P = TP ÷ ( TP + FP )

Эти две строки являются базовыми определениями метрик точности. R (полнота) измеряет долю реальных дефектов, которые были обнаружены, P (точность) измеряет, сколько из сообщенных дефектов являются реальными, а PmA — это общая оценка, вычисленная по классам и уровням точности. Логика не сложна: пропустить как можно меньше (высокая полнота) и дать как можно меньше ложных тревог (высокая точность), держать оба показателя под контролем — и у вас есть надежный детектор.

Рисунок 15: Сравнение точности и скорости девяти алгоритмов. SESPNet занимает верхний правый угол с точностью 92,1% и 62,4 кадра в секунду.

Рисунок 16: Реальное тестирование на встроенной платформе. Самый точный SESPNet по-прежнему стабильно работает со скоростью 12,6 кадров в секунду.

Сжат в коробку размером с ладонь и все еще работает в реальном времени

Хорошая работа в лаборатории не означает, что алгоритм применим в полевых условиях. Фотоэлектрические станции в основном находятся в дикой природе, где оборудование для инспекции ограничено по вычислительной мощности и энергопотреблению. Способность алгоритма поместиться в маломощную маленькую коробку и работать в реальном времени — последнее препятствие для реального внедрения.

Исследователи портировали его на встроенную платформу под названием Jetson Nano для проверки. Ее процессор — четырехъядерный ARM-чип в паре с начальным 128-ядерным GPU, что значительно ниже лабораторной рабочей станции с выделенной картой как по вычислительной мощности, так и по энергопотреблению. SESPNet был развернут с тем же входным масштабом, а затем соревновался с другими алгоритмами на этой маленькой плате.

Результат снова доказывает его сбалансированность. Классические двухэтапные алгоритмы показывают свою истинную суть во встроенной среде: Faster R-CNN падает до 1,9 кадров в секунду, едва ли реальное время; Cascade R-CNN — всего 3,7. Серия YOLO обычно падает до одиннадцати-двенадцати кадров, в то время как SESPNet удерживает 12,6 кадров в секунду, сохраняя при этом лучшую точность 92,1%, наравне с легкими YOLO, даже немного опережая их. При сильном сокращении вычислительных ресурсов он остается точным и стабильным, показывая, насколько хорошо конструкция подходит для сцен с ограниченными ресурсами.

Это означает, что дрон или портативный инспектор, оснащенный этим алгоритмом, не будет отправлять изображения обратно в облако для медленной обработки. На месте, в реальном времени, он может определить, на какой панели есть горячая точка. Эффективность инспекции и скорость реакции поднимаются на новый уровень.

Ценность оперативного анализа на лету заключается не только в экономии одного цикла. Размещение вычислений на границе сети позволяет проводить инспекции на удаленных станциях с плохим сигналом; заметив подозрительную горячую точку, вы можете сразу отметить ее и повторно вылететь для подтверждения, не дожидаясь возврата данных и ручной проверки перед вторым вылетом. Для крупных станций мощностью в сотни мегаватт с миллионами модулей эта возможность работы в реальном времени напрямую определяет, займет полная инспекция часы или дни.

Заключение: Ни одной перегревающейся панели не скрыться

Оглядываясь назад, можно сказать, что изюминка SESPNet не в нагромождении сложных структур, а в правильном подходе к симптомам. Контраст инфракрасных изображений низок, поэтому семантическое усиление подавляет фон. Масштаб дефектов разнороден, поэтому пирамидальное объединение охватывает все размеры. Мелкие цели легко теряются, поэтому канальное внимание возвращает их обратно. Три приема, каждый для своей задачи, и передача эстафеты.

Что еще более редко, так это то, что модель не была утяжелена ради точности. Многие алгоритмы слепо гонятся за высокой точностью, в итоге становятся громоздкими, снижают скорость и не могут поместиться на встраиваемом устройстве. SESPNet сохраняет скорость, достигая максимальной точности, и выдерживает резкое сокращение вычислительных ресурсов. Этот баланс точности, скорости и легкости — именно то, что наиболее ценится в этой области. Хороша ли технология, определяется тем, может ли она выполнять реальную работу на реальной станции.

92,1% средней точности, 62,4 кадра в секунду и достаточно мала для работы в реальном времени в устройстве размером с ладонь. Эти три числа вместе описывают инструмент, который действительно можно применить на станции и приступить к работе. Он превращает тусклое серое инфракрасное изображение, которое раньше с трудом различал даже человеческий глаз, в отчет о состоянии, где дефектам негде спрятаться.

Когда дрон с таким алгоритмом пролетает над полями синих массивов, каждая тихо перегревающаяся панель фиксируется и обрабатывается в первый же момент. Скрытые горячие точки становятся видимыми, а кажущиеся незначительными риски устраняются. В итоге мы получаем станцию, которая превращает солнечный свет в энергию долго, безопасно и на полной мощности.

Мнение Ooitech

Что нас больше всего поражает, так это то, что обнаружение и производство — две стороны одной медали надежности. Горячая точка, обнаруженная в поле, часто связана с микротрещиной или холодным паяным соединением, возникшим на линии, поэтому сварка стрингеров, выравнивание укладки и контроль ламинирования так важны на линии производства модулей. Если эти этапы выполнены правильно, то в поле попадает меньше горячих точек. Если вы хотите увидеть, как строится и настраивается реальная линия модулей, наши обзоры заводов на канале Ooitech YouTube (www.youtube.com/ooitech) стоит посмотреть и подписаться.