Как подготовить фотографии товаров от продавцов маркетплейса для обучения модели визуального поиска

Что подготовить до съёмки: бриф и набор данных от продавцов

Перед тем как просить продавцов загружать фотографии, согласуйте минимальный бриф. В брифе укажите обязательные поля: SKU/артикул, точное наименование товара, материал/цвет/размер, требования к фону и освещению, формат файлов и правила именования. Назначьте контактное лицо со стороны маркетплейса для оперативных вопросов.

Соберите исходные данные о каталоге: список категорий, атрибутов, связанные группы товаров и ожидаемые варианты визуального сходства (например: «цветочные принты», «матовый металл»). Это поможет заранее определить, какие ракурсы и детали требуется снять для корректной работы модели.

Подготовьте образцы корректных и некорректных фотографий — несколько живых примеров вместо абстрактных правил. Образцы пригодятся продавцам и аннотаторам: наглядная разница помогает снизить ошибки на этапе съёмки и маркировки.

• Бриф с полями SKU, название, атрибуты
• Контрольные примеры правильных/неправильных фото
• Контактное лицо для оперативных вопросов

Технические требования к файлам: формат, размер, профиль

Укажите допустимые форматы изображения (например, JPEG и PNG) и желаемые параметры сжатия. Для большинства задач визуального поиска подходят сжатые фото без сильной артефактизации — важно сохранить детали. Попросите сохранять цветовой профиль sRGB для однообразия рендеринга в модели и интерфейсе.

Определите минимальное разрешение и соотношение сторон. Вместо фиксированных чисел лучше задать диапазон и соотношение, которое характерно для карточек товара на маркетплейсе: это упростит приведение изображений к единому виду при подготовке датасета. Не удаляйте EXIF, если он содержит полезную информацию, но не полагайтесь на него для критичных атрибутов.

Оговорите правила по обработке: допустима ли ретушь, удаление фонов, наложение водяных знаков. Если фон должен быть нейтральным для обучения, запретите добавлять декоративные элементы и логотипы. Если ретушь допустима, опишите границы: корректировка экспозиции и баланса цвета — да, сильные фильтры — нет.

• Форматы: JPEG/PNG, профиль sRGB
• EXIF можно сохранять, но не полагайтесь на него
• Ограничения по ретуши и логотипам

Пошаговая инструкция съёмки для продавцов (четкая нумерация)

1. Подготовьте чистый фон: нейтральный однотонный, без узоров и бликов. 2. Разместите товар в центре кадра, избегайте перекрытий и посторонних предметов. 3. Снимайте при рассеянном естественном или равномерном студийном освещении, избегайте резких теней. 4. Делайте основной кадр (полный вид) и дополнительные — крупные планы, особенности и ярлыки.

5. Снимайте с нескольких ракурсов: фронтальный, задний, боковые, снизу/сверху по необходимости. 6. Для одежды — кадры на модели и в виде flat-lay; для техники — кадры с открытым корпусом/портами; для аксессуаров — кадры с масштабом (монета, линейка) или рядом с объектом стандартного размера. 7. Дублируйте ключевые кадры: минимум две похожие фотографии каждого ракурса на случай неудачной экспозиции.

8. Сохраняйте файлы по согласованной схеме именования, включая SKU и ракурс (например, SKU123_front.jpg). Перед загрузкой проверьте соответствие файлу метаданных (название, категория, атрибуты) и загрузите вместе с заполненной карточкой товара.

• Основной кадр + 3–5 дополнительных ракурсов
• Минимум две попытки каждого критичного ракурса
• Именование: SKU_ракурс_номер.jpg

Ракурсы, кадрирование и обязательные детали

Для визуального поиска важны ракурсы, показывающие отличительные признаки товара. Основной кадр должен показывать товар полностью, без обрезки. Дополнительные кадры фокусируются на деталях — текстура, застёжки, бирки, уникальные декоративные элементы. Это позволяет модели различать похожие позиции.

Соблюдайте правила кадрирования: не оставляйте слишком много пустого пространства вокруг объекта, но и не обрезайте края важной детали. Для мелких товаров добавляйте кадр с масштабом, чтобы модель могла оценить размер. Для комплектов снимайте отдельные элементы и общий кадр, чтобы было ясно, как товар выглядит вместе.

Если товар имеет вариации (цвет, принт, отделка), снимайте образцы каждой вариации. В описании к файлу указывайте точную вариацию: это снизит количество ложных «похожих» результатов, когда пользователь ищет конкретную версию товара.

• Основной кадр без обрезки ключевых деталей
• Крупные планы уникальных элементов
• Отдельные кадры для каждой вариации

Аннотация изображений: что и как помечать

Аннотация — критичный элемент подготовки: без согласованной схемы меток модель не обучится правильно. Опишите набор меток (bounding box, сегментация, ключевые точки) и схему атрибутов (цвет, материал, состояние). Для задач визуального поиска чаще всего достаточно класс-тэгов и bounding box для выделения предмета на сложном фоне.

Выберите формат разметки и договоритесь о нотации: COCO, Pascal VOC или простые CSV/JSON с ссылками на файлы. Важно задать стандарты: координаты в пикселях или относительные, единая система категорий, обязательные поля в каждой записи. Предоставьте примеры валидных аннотаций и скрипты проверки формата.

Организуйте контроль качества аннотаций: двойная проверка ключевых категорий, выборочная проверка случайных сэмплов и выборка проблемных товаров для экспертной ревизии. Ошибки в разметке напрямую портят обучение — лучше выделить время на мелкие правки на этапе подготовки.

• Схема меток и атрибутов (список категорий)
• Формат аннотаций: COCO/Pascal/JSON
• Механизмы контроля качества разметки

Формирование датасета и правила разбиения

Организуйте файлы в понятную структуру: папки по категориям и подпапки для train/val/test или единый репозиторий с манифестом. Манифест должен связывать файл изображения с его SKU, аннотациями и атрибутами. Это упростит автоматическую генерацию обучающих пайплайнов и воспроизводимость экспериментов.

При разбиении следите за распределением по классам и вариациям: не допускайте, чтобы все фото одной вариации оказались только в тренировочном наборе. Разделение должно отражать реальную ситуацию: товары из одной карточки лучше распределять по разным сетам, чтобы модель не «запоминала» контент строго по карточке.

Подумайте об аугментации данных, если некоторые классы недостаточно представлены. Стоит использовать трансформации, которые имитируют реальные вариации съёмки (изменение яркости, небольшие сдвиги, повороты), но избегайте искусственных эффектов, которые меняют внешний вид товара (сильные фильтры, искажение цвета).

• Манифест с привязкой SKU→файл→аннотация
• Равномерное распределение вариаций по сетам
• Аугментация только реалистичных трансформаций

Сравнение популярных методов аугментации и когда их применять

Аугментация помогает модели быть устойчивее к вариациям съёмки, но каждое вмешательство несёт риск изменить ключевой визуальный сигнал. Ниже — упрощённая таблица с методами, их назначением и возможными рисками. Используйте таблицу как ориентир при подборе трансформаций для конкретной категории товаров.

Тестируйте аугментации отдельно, фиксируя влияние на валидационный набор. Для некоторых категорий (например, текстиль с яркими принтами) повороты и отражения уместны, а для других (смарт-устройства с интерфейсом) они могут вводить артефакты.

Включайте только те трансформации, которые имитируют реальные условия съёмки покупателей и продавцов, избегайте экстремальных эффектов, которые никогда не встретятся в проде.

Контрольные точки перед отправкой датасета (чек‑лист)

Перед передачей датасета на обучение пройдитесь по чек‑листу. Этот блок — ваш последний фильтр качества: он позволяет быстро выявить очевидные несоответствия и вернуть задачи продавцам на доработку до того, как потратится время инженеров и аннотаторов.

Чек‑лист должен быть простым и выполнимым: каждой проверке соответствует конкретное действие и ответственное лицо. Желательно автоматизировать часть проверок — например, скриптом валидировать структуру манифеста и целостность ссылок на файлы.

Если на чек‑листе появляются системные ошибки (типичная проблема у многих продавцов), соберите примеры и обновите бриф — проще улучшить инструкцию, чем исправлять тысячи файлов вручную.

• Именование файлов соответствует схеме (SKU_ракурс_номер)
• Каждому изображению сопоставлен SKU и аннотация
• Файлы открываются без ошибок и соответствуют формату
• Фон соответствует требованиям (если требовался нейтральный фон)
• Наличие обязательных ракурсов и дополнительных детальных снимков

Тестирование модели на подготовленных данных

Перед полномасштабным обучением проведите «быстрый старт»: возьмите подмножество данных и сделайте пробную тренировку. Оцените качество с помощью релевантных метрик (recall@K, precision, mAP для задач извлечения). Также выполните ручную проверку выдачи по реальным запросам — это часто выявляет несоответствия, которые численные метрики скрывают.

Проанализируйте ошибочные случаи: карточки, где модель выдала похожие, но не релевантные товары, часто указывают на недостаток ракурсов или неправильную аннотацию. Системная ошибка в разметке или одном типичном фонe может давать значительную долю ложных срабатываний.

После исправлений данных запустите повторную тренировку и следите за динамикой метрик. Оцените также производительность модели на данных, имитирующих реальный пользовательский ввод (фото с мобильных, кадры с хранений товара и т.д.).

• Пробная тренировка на подмножестве данных
• Оценка по recall@K и ручная проверка выдачи
• Анализ ошибок и возвращение на этап съёмки/аннотации

Запуск в продакшн, мониторинг и итерации после старта

При запуске интегрируйте модель в систему поиска поэтапно: сначала в тестовый сегмент трафика, затем через A/B‑тесты на небольшой доле пользователей. Следите за качеством выдачи, временем отклика и степенью отказов — на практике проблемы интеграции чаще технические, чем алгоритмические.

Настройте метрики мониторинга: доля кликов по похожим товарам, конверсия с результатов визуального поиска, рост количества обращений в поддержку по ошибочной выдаче. Собирать обратную связь от пользователей и продавцов в виде отчётов о неверных результатах нужно с самого старта.

Планируйте регулярные итерации: добавление новых изображений, переаннотация проблемных категорий и повторное обучение. Автоматизируйте пайплайн сбора обратной связи, чтобы быстро включать фактические пользовательские кейсы в следующую версию датасета.

• Пошаговый выпуск: тест → A/B → полный выпуск
• Мониторинг бизнес- и технических метрик
• Процедура сбора обратной связи и план итераций

Частые вопросы