Подготовка датасета для ночной детекции: ИК‑кадры, шум и аугментации

Почему ночная детекция требует отдельной диагностики

Ночная детекция имеет свои особенности: другое соотношение сигнал/шум, иные источники помех и отличающаяся динамика освещённости. Алгоритмы, обученные на дневных данных, часто дают плохо интерпретируемые ошибки — ложные срабатывания, пропуски объектов или нестабильность в разных сцеплениях сцены.

При этом причины ошибок могут быть разные: плохое качество ИК‑кадров, несоответствие спектральных характеристик сенсора при тренировке и в продакшене, несбалансированные аугментации или неверные предположения о типе шума. Диагностика помогает сузить круг гипотез и не тратить усилия на бесперспективные правки модели.

Цель раздела — дать практическую карту действий: какие симптомы смотреть в первую очередь, какие быстрые тесты выполнить и какие изменения в датасете чаще всего приводят к улучшению на ночных кадрах.

Симптомы проблем и краткие проверки (симптом → что проверить → возможная причина)

Симптом → что проверить → возможная причина: Частые ложные срабатывания на темных участках → проверить контраст и пороговые значения анкоров, визуально просмотреть несколько кадров с ложными срабатываниями → возможная причина: низкий SNR и усиление, приводящее к зависимым артефактам, которые модель воспринимает как признаки объекта.

Симптом → что проверить → возможная причина: Пропуск мелких объектов в дали сцены → проверить динамический диапазон и экспозицию кадров, сравнить распределение яркости в трейне и валидации → возможная причина: клиппинг в тёмных областях или слишком сильная коррекция гаммы при сборе.

Симптом → что проверить → возможная причина: Переменная производительность между разными ночными сценами → проверить метаданные о сенсоре, фильтрах и температуре, а также статистику аугментаций → возможная причина: доменный разрыв между группами кадров — разные сенсоры или режима ИК‑подсветки.

• Ложные срабатывания в тёмных областях — проверьте уровень шумоподавления на устройстве.
• Снижение recall ночью при стабильном precision — проверьте экспозицию и аннотации мелких объектов.
• Нестабильность между днями/ночами — проверьте, не смешиваются ли наборы с разными сенсорами без меток.

Быстрые проверки и контрольные тесты, которые нужно сделать в первую очередь

Соберите репрезентативную выборку ошибок: 50–200 кадров с типичными проблемами (ложные срабатывания, пропуски, артефакты) и проаннотируйте, какие из них связаны с качеством данных, а какие — с моделью. Важно отделять ошибки, вызванные плохими аннотациями, от ошибок, вызванных недообучением на специфическом шуме.

Выполните простые статистические проверки: распределение яркостей, гистограммы пикселей, спектральные характеристики (если доступны метаданные ИК‑каналов), а также частоту объектов по размерам и по позициям в кадре. Сравните эти распределения между тренировочным, валидационным и целевым продакшен‑набором.

Запустите базовые эксперименты с контрольными аугментациями: отключите все аугментации и прогоните валидацию, затем по очереди включайте (шум, контраст, гауссово размытие). Такие A/B тесты быстро покажут, какие трансформации сильно влияют на качество и в каком направлении.

Инфракрасные кадры: формат, калибровка и частые ошибки

ИК‑кадры могут поступать в разных форматах: чистые IR‑каналы, NIR+широкополосный сенсор или тёплые/холодные палитры после постобработки. Первый шаг — зафиксировать, что именно вы храните: сырые 16‑бит пиксели, нормализованные 8‑бит или цветная визуализация. Неправильное предположение о формате ведёт к неверной интерпретации яркости и контраста.

Калибровка сенсора и брак компенсируется в разных проектах иначе: одни устройства требуют коррекции тёмного тока (dark current), другие — компенсации разницы по температуре. Важно иметь метаданные о температуре сенсора и условиях съёмки, иначе шум и смещение яркости будут выглядеть как нерешаемая «особенность» датасета.

Частая ошибка — смешивание кадров от разных ИК‑камер без отличительных меток. Симптомы: резкие скачки в распределении яркости, разные уровни контраста для одних и тех же объектов. Решение — сегрегировать по устройствам, провести нормализацию или обучать доменно‑адаптированную модель.

Шум и артефакты: как распознать тип шума и выбрать обработку

Шумы в ночных ИК‑кадрах бывают разными: тепловой шум, спекулярные блики от ИК‑подсветки, полосы и пиксельный «salt-and-pepper». Для каждой категории есть характерные признаки — частота и спектр шумовых составляющих, зависимость от экспозиции и температуры. Визуализируйте шум с помощью разности кадров и спектрального анализа, чтобы отделить структурный шум от случайного.

Диагностика: возьмите соседние кадры и вычтите их друг из друга — структурные объекты останутся устойчивыми, случайный шум проявится как равномерный фоновый остаток. Также полезно смотреть на автокорреляцию по пространству: полосы дадут сильные пиковые значения на определённых частотах.

Выбор метода подавления шума зависит от цели: для detection агрессивное сглаживание может убрать мелкие объекты, поэтому баланс — ключевой. Рассмотрите многомасштабные фильтры, адаптивные нелинейные методы и обучение нейросетевому денойзеру на парных данных (noisy → clean), если есть возможность получить чистые эталоны.

Аугментации для ночной детекции: какие оставлять, какие настраивать

Аугментации помогают увеличить вариативность, но при ночной съемке они легко могут вводить нежелательные артефакты. Базовые безопасные аугментации: геометрические трансформации (сдвиг, масштаб, поворот в разумных пределах), локальные кадрирования и имитация дрожания камеры. Они не искажают статистику яркости и обычно улучшают обобщение.

Аугментации, связанные с яркостью и шумом, требуют аккуратной настройки. Имитация шума, варьирование контраста и гаммы полезны, но их параметры должны соответствовать реальному распределению в целевой среде. Если вы повышаете шум сильнее, чем встречается в продакшене, модель начнёт игнорировать слабые признаки объектов.

Полезно добавлять целевые аугментации: имитация ИК‑блика, шум от разной температуры сенсора, локальные засветки. При этом обязательно проводить валидацию на «чистом» наборе, который репрезентирует реальные ночные условия. Таблица ниже сравнивает типичные аугментации и их влияние.

Сравнение подходов к аугментациям (краткая таблица)

Ниже таблица, которая поможет выбрать аугментации в зависимости от задачи. Она даёт ориентиры — применять или осторожничать, и объясняет, какой эффект можно ожидать на детекции.

Таблица помогает систематизировать подходы и служит чек‑листом при экспериментировании: сначала тестируем простые трансформации, затем добавляем имитации шума и блики, и только по результатам валидации принимаем решение о включении в финальный пайплайн.

Углублённая диагностика: метрики, визуализация и доменные разрывы

Для глубокой диагностики используйте не только mAP, precision/recall, но и более детальные разрезы: mAP по диапазонам размеров объектов, по позициям в кадре, по уровням яркости. Это позволит выявить, в каких конкретно подусловиях модель падает: на мелких объектах, в тенях или при высокой шумности.

Визуализируйте активации модели и карты внимания (если модель поддерживает). Это помогает понять, какие паттерны модель использует для решения задачи: шум, текстуру или контуры. Если активации концентрируются на шумовых структурах — это сигнал, что в датасете присутствуют систематические артефакты.

Проверяйте доменный разрыв: разделите данные по устройствам, по геометрии сцены и по режимам подсветки. Выполните cross‑validation по доменам — если модель плохо переносится между доменами, то проблема в датасете, а не только в архитектуре. В таком случае эффективнее работать над добавлением данных и адаптацией, чем менять модель.

Варианты исправления и практические рекомендации по сбору и обработке

Если выявлена проблема качества ИК‑кадров — первые шаги: собрать метаданные по сенсорам, сегрегировать наборы и по возможности получить чистую калиброванную выборку. При наличии возможностей — сделать парный сбор: noisy → clean (корректная экспозиция или усреднение по кадрам), чтобы обучить денойзер или провести ретроспективную нормализацию.

При проблемах с аннотациями важно провести ручной аудит случайной подвыборки и исправить систематические ошибки: смещения боксов, пропуски мелких объектов и несогласованность классов. Автоматические проверки согласованности аннотаций (например, минимальный размер бокса, пересечения с масками) помогают быстро найти явные баги.

Если наблюдается доменный разрыв — стратегия: 1) добавить в тренировку данные из проблемного домена; 2) использовать адаптационные техники (fine‑tune на маленькой выборке целевого домена); 3) применять подходы типа domain randomization и целевые аугментации. Важно итеративно измерять эффект и не вносить множество изменений одновременно.

Профилактика: как строить пайплайн, чтобы проблемы не возвращались

Внедрите сбор метаданных вместе с кадрами: модель сенсора, экспозиция, температура, режим подсветки, версия прошивки камеры. Эти данные критичны для последующей сегрегации и анализа причин падения качества. Часто именно отсутствие метаданных делает диагностику долгой и дорогостоящей.

Организуйте регулярные контрольные тесты: небольшой устойчивый набор ночных кадров для регулярной проверки качества после изменений в пайплайне или обновлений моделей. Такой контрольный набор должен охватывать ключевые сценарии риска (мелкие объекты, блики, низкая освещённость).

Автоматизируйте базовые проверки при загрузке данных: валидация форматов, проверка распределения яркости, автодетект аномалий по статистике пикселей. Чем раньше вы поймаете нестыковку, тем дешевле её исправить на этапе подготовки данных, а не после развертывания модели.

Частые вопросы