Подготовка данных

Перед обучением модели нужен проект, метки и изображения. В примере ниже мы записываем короткое видео AimTrainer.io через EyeAuras, извлекаем кадры в YoloEase и добавляем две метки: tgt для целей и btn для кнопки.

Создайте проект

На стартовом экране нажмите New.... Откроется обычный диалог сохранения файла. Выберите место для .yeproj, и YoloEase создаст рядом папку проекта.

Проект состоит из .yeproj и соседней папки с данными. Если нужно перенести проект на другой компьютер, переносите оба элемента вместе.

Подробнее о том, как YoloEase хранит источники и копии файлов внутри проекта: подключение данных.

Проверьте Settings

Откройте вкладку Settings. Здесь видно, что проект работает через Offline backend, а рабочая папка находится в локальной папке проекта.

В Training settings выберите базовую модель, число эпох, размер входного изображения и дополнительные аргументы, если они нужны. Для первого прохода обычно достаточно значений по умолчанию.

Добавьте метки

Перейдите на вкладку Project и добавьте метки, которые модель должна искать. В примере используются:

• tgt — цели, по которым нужно кликать;
• btn — кнопка PLAY AGAIN, которую важно распознавать отдельно.

Цвет метки нужен для удобства в редакторе. Он не влияет на модель.

Если один объект должен приводить к одному поведению, а другой к другому, используйте разные метки. Например, tgt — кликать, btn — не кликать по цели, пока видна кнопка.

Запишите видео в EyeAuras

Самый быстрый способ собрать данные для экранной автоматизации — записать именно ту область окна, которую потом будет видеть EyeAuras. В примере видео записано через предпросмотр в EyeAuras.

Старайтесь записывать обычное поведение приложения или игры: разные положения целей, разные состояния интерфейса, промахи, победный экран, кнопку перезапуска. Модель учится только на том, что вы ей показали.

Добавьте видео или папку

На вкладке Project можно использовать:

• Add Video... для видеофайла;
• Add Folder... для папки с готовыми изображениями;
• drag and drop для папок, изображений и видео.

Папки добавляются как источники. Отдельные файлы копируются в хранилище проекта, чтобы проект оставался стабильным.

Подробно про источники, пропавшие пути и перенос проекта: подключение данных.

Извлеките кадры

Если вы добавили видео, YoloEase откроет окно Extract frames. Выберите шаг кадров и диапазон. Чем меньше шаг, тем больше похожих кадров попадет в набор данных. Чем больше шаг, тем меньше работы на разметку.

Для первого прохода удобно взять небольшую партию: достаточно кадров, чтобы модель увидела основные объекты, но не настолько много, чтобы ручная разметка заняла весь вечер.

Подробно про шаг, диапазон и количество кадров: извлечение кадров из видео.

Когда кадры добавлены, переходите к разметке и обучению или сразу откройте подробную страницу про редактор разметки.