¶ EyeAuras интеграция
YoloEase готовит модель. EyeAuras берет изображение с экрана, запускает ML Search, выбирает найденный класс и выполняет действия через Behavior Tree.
В старых и соседних страницах EyeAuras может встречаться название AI Search Trigger. Для этого сценария важна одна и та же идея: триггер компьютерного зрения, который загружает ONNX-модель и возвращает найденные объекты.
¶ Полезные ссылки
- Записанная сессия
- Готовый пакет EyeAuras
- AI Search Trigger
- Image capture triggers
- Деревья поведения
- Selector node
- Sequence node
- Mouse Move node
- Key Press node
¶ Идеальная цепочка
- В EyeAuras откройте предпросмотр CV-триггера, который будет видеть нужную область.
- Нажмите
Save Videoи запишите короткий реальный фрагмент. - В YoloEase добавьте видео через
Add Video.... - Извлеките кадры через
Extract frames. - Разметьте первые задачи и обучите модель.
- В
TrainerнажмитеOpenу результата и найдите.onnx. - В EyeAuras загрузите
.onnxвML Search. - Включите
Enable OSDи проверьте рамки без кликов. - Настройте
ML Find Classдля нужной метки, напримерtgt. - Сначала двигайте мышь к найденному объекту, потом добавляйте действие клика.
.pt не нужен для ML Search: это файл для обучения и дообучения. В EyeAuras выбирайте .onnx.
¶ Подключите ONNX
В EyeAuras добавьте или откройте ML Search, нажмите кнопку загрузки модели и выберите .onnx файл из папки результата YoloEase.
После загрузки проверьте:
- model status стал
Loaded; - область захвата совпадает с тем, что было в данных обучения;
- окно выбрано правильно;
Enable OSDвключен для отладки.
Если область захвата сильно отличается от кадров, на которых модель обучалась, качество может резко упасть. Модель видит пиксели, а не намерение пользователя.
Если во время записи видео в EyeAuras были включены эффекты, включите те же эффекты перед ML Search во время реального распознавания. Иначе модель будет видеть другой вход, и качество может упасть даже при хороших метриках обучения.
¶ ML Find Class
ML Search только находит объекты. Чтобы использовать конкретный класс в дереве, добавьте ML Find Class.
Для tgt обычно нужны:
ClassилиLabel=tgt;Selection Strategy=Closest, если удобнее брать цель рядом с курсором;Closest To=Cursor;- порог уверенности около
70%или выше после первых проверок; Width MinиHeight Min, чтобы отсечь крошечные ложные срабатывания.
Для btn можно сделать отдельный ML Find Class и использовать его как блокирующее условие: если кнопка видна, игра закончилась и кликать по tgt уже не надо.
¶ Простой Behavior Tree
Минимальная схема:
ML Searchобновляет предсказания.ML Find Classищет нужную метку.Mouse Moveдвигает курсор к найденному объекту.Key Press MouseLeftкликает.
Это подходит для простых случаев, но в реальном сценарии почти всегда нужны условия.
Первый запуск делайте безопасно: сначала только OSD, потом Mouse Move, и только после проверки добавляйте клик. Так вы увидите ошибки модели до того, как автоматизация начнет действовать.
¶ Финальная логика demo
В AimTrainer.io нельзя просто кликать по любому найденному объекту:
- если видна кнопка
btn, игра уже закончилась и по целям кликать не нужно; - слишком маленькие срабатывания могут быть ложными;
- удобнее выбирать цель, ближайшую к курсору.
Финальный Behavior Tree использует Selector, отдельную проверку btn, поиск tgt, фильтр уверенности и фильтры размера.
В ML Find Class для tgt полезны:
Selection Strategy=Closest;Closest To=Cursor;- порог уверенности около
70%или выше; Width MinиHeight Min, чтобы отсечь крошечные ложные срабатывания.
¶ Проверка результата
Сначала смотрите OSD и убеждайтесь, что рамки стоят на правильных объектах. Потом уже включайте действия клика.
Финальный результат демо:
Если EyeAuras ошибается, не всегда виновато дерево. Часто нужно вернуться в YoloEase, добавить кадры с ошибками, исправить разметку и обучить новое поколение модели.
¶ Цикл исправления ошибок
| Ошибка в EyeAuras | Что делать в YoloEase |
|---|---|
| Модель видит цель там, где ее нет. | Запишите короткое видео с ошибкой, добавьте отрицательные кадры без лишних рамок. |
| Модель пропускает цель. | Добавьте похожие реальные кадры и разметьте цель. |
| Рамка стоит криво. | Исправьте рамки на похожих кадрах и дообучите модель. |
Модель путает btn и tgt. |
Добавьте контрпримеры обоих классов и проверьте, что метки не смешаны. |
| В YoloEase все хорошо, в EyeAuras плохо. | Проверьте регион захвата, масштаб окна, эффекты, OSD и что загружен свежий .onnx. |
См. также: YOLO ONNX и веса моделей, Trainer, редактор разметки, диагностика.