Подключение данных

Как добавлять папки, изображения и видео в проект YoloEase

Подключение данных

Источники данных — это входные изображения и видео, из которых YoloEase собирает набор данных. Вкладка Project показывает источники, метки и базовую статистику проекта.

Labels and data source

Что можно добавить

Add Folder... добавляет папку с изображениями. Папка остается внешним источником, а YoloEase во время синхронизации копирует нужные изображения в хранилище проекта.

Add Video... открывает окно извлечения кадров. Видео не нужно нарезать заранее отдельным скриптом.

Перетаскивание принимает папки, изображения и видео. Папки добавляются как источники. Отдельные файлы копируются в хранилище проекта, обычно в local-sources.

Запись видео через EyeAuras

Для экранной автоматизации лучший источник данных — видео, записанное прямо из того CV-триггера EyeAuras, который потом будет использовать модель. CV-триггер — это триггер, который захватывает изображение окна или региона и ищет в нем визуальные объекты.

Откройте предпросмотр этого триггера и нажмите Save Video.

EyeAuras save video

Так вы получаете данные, очень близкие к рабочим: тот же регион, тот же размер изображения, тот же поток кадров и те же преобразования, которые модель увидит во время распознавания.

После записи у вас будет обычный видеофайл. Добавьте его в YoloEase через Add Video... и извлеките кадры через Extract frames.

Если записывать просто весь экран, появляются лишние отличия: другой масштаб, рамки окна, сжатие, другое положение области, системный курсор, оверлеи или фон вокруг нужного места. Для человека это мелочи, но для модели это уже другой вход, и качество может заметно упасть.

Эффекты EyeAuras

В EyeAuras можно применять эффекты к изображению до распознавания. Это полезно не только во время работы сценария, но и при записи обучающего видео.

EyeAuras effects

Например, эффектами можно убрать фон, заменить цвета, усилить контраст, оставить только нужный канал или выделить объекты, которые плохо видны на обычном изображении. Если записать видео уже с такими эффектами, а потом включить те же эффекты перед ML Search, модель будет учиться и работать в одном и том же визуальном пространстве.

Главное правило: условия записи и распознавания должны совпадать. Если модель обучалась на кадрах с эффектом, используйте тот же эффект во время распознавания. Если хотите сравнить варианты, сохраните отдельные наборы данных или отдельные проекты.

Почему YoloEase копирует файлы

Исходная папка или видео — это внешний ввод. Проекту нужна стабильная локальная копия кадров, чтобы обучение не ломалось, если вы переименовали исходную папку или удалили видео.

Хорошая модель проекта:

  • .yeproj — входная точка проекта;
  • соседняя папка проекта — рабочая папка с файлами, задачами, разметкой, наборами данных и моделями;
  • assets/training — изображения для обучения, принадлежащие проекту;
  • local-sources — локально импортированные файлы и кадры из видео.

Если переносите проект, переносите .yeproj и соседнюю папку вместе.

Пропавшие источники

Если источник исчез с диска, YoloEase показывает его как отсутствующий и пропускает до восстановления. Это нормальная ситуация: внешний диск отключен, папку переименовали, синхронизация еще не обновлена.

Что делать:

  1. Верните папку на место, если она нужна.
  2. Или удалите источник через Remove.
  3. Нажмите Refresh в Trainer, чтобы пересчитать состояние проекта.

Практические советы

Добавляйте меньше, но разнообразнее. Для первого обучения лучше 50 хороших кадров с разными ситуациями, чем 500 почти одинаковых кадров.

Держите метки простыми. Если цель и кнопка требуют разного поведения в EyeAuras, делайте разные метки, например tgt и btn.

Не добавляйте кадры, на которых вы не готовы объяснить модели, что важно. Все неоднозначное потом превращается в ошибки предсказаний.

Добавляйте и отрицательные кадры: меню, паузы, пустой экран, похожие цвета без цели. Их нужно завершить как обычные задачи, просто без лишних рамок.

См. также: извлечение кадров из видео, редактор разметки, Trainer, диагностика.