Начало работы

Практический путь от данных до рабочей YOLO-модели

YoloEase

старт: 5-10 кадров руками -> первая модель
                            |
                            v
десятки/сотни кадров -> авторазметка -> проверка и исправления
        ^                                      |
        |                                      v
        +---------- новая модель <- Trainer <--+
                            |
                            v
                 .pt/.onnx -> EyeAuras или другая программа

Задача YoloEase — помочь обучить YOLO-модель, которая ищет нужные объекты на ваших кадрах. На выходе получаются обычные веса .pt для дальнейшего обучения и файл .onnx для запуска модели без Python.

EyeAuras в этом руководстве — пример программы, где используется готовая модель. В примере с AimTrainer.io модель ищет цели tgt и кнопку btn, а EyeAuras потом загружает ONNX в ML Search и кликает по найденным целям через Behavior Tree.

Start screen

Минигайд на практике

Не начинайте с большого идеального набора данных. Самый быстрый путь — маленькая ручная затравка, первая модель, затем более крупные задачи с авторазметкой.

Возьмите первые 5-10 кадров.
Разметьте их руками.
Запустите обучение.
Пока первая модель обучается, добавьте еще немного ручной разметки, если успеваете.
Когда первая модель готова, используйте ее для авторазметки следующей задачи.
Если авторазметка уже помогает, увеличивайте размер задач: сначала десятки кадров, затем сотни.
Проверяйте предложения модели, исправляйте ошибки и снова отправляйте задачу в обучение.

Так после каждого цикла появляется новая версия модели. Сначала она слабая, затем помогает всё больше, а через несколько поколений вы уже не рисуете каждую рамку с нуля, а проверяете и исправляете авторазметку.

Подробнее про этот цикл: разметка и обучение, Trainer, редактор разметки.

Что создается по дороге

Шаг	Что появляется
Видео или папка	Исходные кадры, из которых будет собран набор данных.
`Extract frames`	Копии кадров внутри проекта YoloEase.
`Create Task`	Задача разметки: сначала маленькая, позже на десятки или сотни кадров.
Редактор разметки	Рамки объектов и метки вроде `tgt` или `btn`.
`Finish Job`	Завершенная задача, которую можно брать в обучение.
`Trainer`	YOLO-набор данных, обучение, предсказания и файлы модели.
`Open` у модели	Папка с `.pt`, `.onnx`, графиками и результатами обучения.
EyeAuras или другая программа	Реальная автоматизация, которая использует готовый `.onnx`.

Короткий словарь

Термин	Смысл
Кадр	Одно изображение из видео или папки.
Метка или класс	Имя типа объекта: `tgt`, `btn`, `enemy`, `loot`.
Задача	Партия кадров, которую удобно обработать за один заход.
`.pt`	PyTorch-веса для обучения и дообучения через YOLO/Ultralytics.
`.onnx`	Файл для запуска модели в EyeAuras или другом совместимом движке.
Предсказание	Объекты, которые нашла модель: рамка, класс и уверенность.
Авторазметка	Использование уже обученной модели, чтобы быстрее разметить новые кадры.
Ложное срабатывание	Модель увидела объект там, где его нет.
Пропуск	Модель не нашла объект, который должна была найти.

Что получится

В конце у вас будет:

проект YoloEase с исходными кадрами, задачами, разметкой и историей обучения;
.pt веса для дальнейшего обучения в YOLO/Ultralytics;
.onnx модель для запуска без Python-окружения;
при желании — готовая логика в EyeAuras, которая использует ML Search и Behavior Tree.

Final result

Основной цикл

Скачайте свежую сборку с GitHub releases и запустите YoloEase.
Создайте проект через New.... YoloEase покажет обычный диалог сохранения .yeproj и создаст рядом папку проекта. Подробнее: подготовка данных.
Откройте Prerequisites, нажмите Check all, затем Install missing. Подробнее: предварительные компоненты.
Добавьте метки, например btn и tgt. Подробнее: подключение данных.
Добавьте видео или папку с изображениями. Подробнее: подключение данных.
Если источник видео, извлеките кадры через Extract frames. Подробнее: извлечение кадров из видео.
В Trainer создайте первую задачу. Подробнее: Trainer.
Разметьте первые кадры вручную и обязательно нажмите Finish Job. Подробнее: редактор разметки.
Запустите Start automatic training и посмотрите метрики. Подробнее: разметка и обучение.
Используйте предсказания и авторазметку для следующих задач. Подробнее: редактор разметки и Trainer.
При необходимости включите аугментации. Подробнее: аугментации.
Разберитесь, какие файлы получились после обучения. Подробнее: YOLO ONNX и веса моделей.
Подключите финальный .onnx в EyeAuras или другой совместимый движок распознавания. Подробнее: EyeAuras интеграция.

Страницы раздела

Основное руководство:

Подробные страницы по возможностям:

Готовые материалы

Если хотите посмотреть готовый результат или повторить пример без подготовки с нуля:

Записанная сессия
Пакет EyeAuras с Behavior Tree и моделью — можно открыть готовый пример и сравнить свою связку с финальной.
ONNX веса
PyTorch веса
Полный проект YoloEase с историей обучения

См. также

Если вы запускаете YoloEase впервые, начните с предварительных компонентов. Если окружение уже готово, переходите к подготовке данных.