¶ Подготовка данных
Перед обучением модели нужен проект, метки и изображения. В примере ниже мы записываем короткое видео AimTrainer.io через EyeAuras, извлекаем кадры в YoloEase и добавляем две метки: tgt для целей и btn для кнопки.
¶ Создайте проект
На стартовом экране нажмите New.... Откроется обычный диалог сохранения файла. Выберите место для .yeproj, и YoloEase создаст рядом папку проекта.
Проект состоит из .yeproj и соседней папки с данными. Если нужно перенести проект на другой компьютер, переносите оба элемента вместе.
Подробнее о том, как YoloEase хранит источники и копии файлов внутри проекта: подключение данных.
¶ Проверьте Settings
Откройте вкладку Settings. Здесь видно, что проект работает через Offline backend, а рабочая папка находится в локальной папке проекта.
В Training settings выберите базовую модель, число эпох, размер входного изображения и дополнительные аргументы, если они нужны. Для первого прохода обычно достаточно значений по умолчанию.
¶ Добавьте метки
Перейдите на вкладку Project и добавьте метки, которые модель должна искать. В примере используются:
tgt— цели, по которым нужно кликать;btn— кнопкаPLAY AGAIN, которую важно распознавать отдельно.
Цвет метки нужен для удобства в редакторе. Он не влияет на модель.
Если один объект должен приводить к одному поведению, а другой к другому, используйте разные метки. Например, tgt — кликать, btn — не кликать по цели, пока видна кнопка.
¶ Запишите видео в EyeAuras
Самый быстрый способ собрать данные для экранной автоматизации — записать именно ту область окна, которую потом будет видеть EyeAuras. В примере видео записано через предпросмотр в EyeAuras.
Старайтесь записывать обычное поведение приложения или игры: разные положения целей, разные состояния интерфейса, промахи, победный экран, кнопку перезапуска. Модель учится только на том, что вы ей показали.
¶ Добавьте видео или папку
На вкладке Project можно использовать:
Add Video...для видеофайла;Add Folder...для папки с готовыми изображениями;- drag and drop для папок, изображений и видео.
Папки добавляются как источники. Отдельные файлы копируются в хранилище проекта, чтобы проект оставался стабильным.
Подробно про источники, пропавшие пути и перенос проекта: подключение данных.
¶ Извлеките кадры
Если вы добавили видео, YoloEase откроет окно Extract frames. Выберите шаг кадров и диапазон. Чем меньше шаг, тем больше похожих кадров попадет в набор данных. Чем больше шаг, тем меньше работы на разметку.
Для первого прохода удобно взять небольшую партию: достаточно кадров, чтобы модель увидела основные объекты, но не настолько много, чтобы ручная разметка заняла весь вечер.
Подробно про шаг, диапазон и количество кадров: извлечение кадров из видео.
Когда кадры добавлены, переходите к разметке и обучению или сразу откройте подробную страницу про редактор разметки.