EyeAuras Wiki
RU

EyeAuras интеграция

Как использовать ONNX-модель в ML Search и Behavior Tree

EyeAuras интеграция

YoloEase готовит модель. EyeAuras берет изображение с экрана, запускает ML Search, выбирает найденный класс и выполняет действия через Behavior Tree.

В старых и соседних страницах EyeAuras может встречаться название AI Search Trigger. Для этого сценария важна одна и та же идея: триггер компьютерного зрения, который загружает ONNX-модель и возвращает найденные объекты.

Полезные ссылки

Идеальная цепочка

  1. В EyeAuras откройте предпросмотр CV-триггера, который будет видеть нужную область.
  2. Нажмите Save Video и запишите короткий реальный фрагмент.
  3. В YoloEase добавьте видео через Add Video....
  4. Извлеките кадры через Extract frames.
  5. Разметьте первые задачи и обучите модель.
  6. В Trainer нажмите Open у результата и найдите .onnx.
  7. В EyeAuras загрузите .onnx в ML Search.
  8. Включите Enable OSD и проверьте рамки без кликов.
  9. Настройте ML Find Class для нужной метки, например tgt.
  10. Сначала двигайте мышь к найденному объекту, потом добавляйте действие клика.

.pt не нужен для ML Search: это файл для обучения и дообучения. В EyeAuras выбирайте .onnx.

Подключите ONNX

В EyeAuras добавьте или откройте ML Search, нажмите кнопку загрузки модели и выберите .onnx файл из папки результата YoloEase.

Load model in EyeAuras

После загрузки проверьте:

  • model status стал Loaded;
  • область захвата совпадает с тем, что было в данных обучения;
  • окно выбрано правильно;
  • Enable OSD включен для отладки.

Если область захвата сильно отличается от кадров, на которых модель обучалась, качество может резко упасть. Модель видит пиксели, а не намерение пользователя.

Если во время записи видео в EyeAuras были включены эффекты, включите те же эффекты перед ML Search во время реального распознавания. Иначе модель будет видеть другой вход, и качество может упасть даже при хороших метриках обучения.

ML Find Class

ML Search только находит объекты. Чтобы использовать конкретный класс в дереве, добавьте ML Find Class.

Для tgt обычно нужны:

  • Class или Label = tgt;
  • Selection Strategy = Closest, если удобнее брать цель рядом с курсором;
  • Closest To = Cursor;
  • порог уверенности около 70% или выше после первых проверок;
  • Width Min и Height Min, чтобы отсечь крошечные ложные срабатывания.

Для btn можно сделать отдельный ML Find Class и использовать его как блокирующее условие: если кнопка видна, игра закончилась и кликать по tgt уже не надо.

Простой Behavior Tree

Минимальная схема:

  1. ML Search обновляет предсказания.
  2. ML Find Class ищет нужную метку.
  3. Mouse Move двигает курсор к найденному объекту.
  4. Key Press MouseLeft кликает.

Basic ML clicking tree

Это подходит для простых случаев, но в реальном сценарии почти всегда нужны условия.

Первый запуск делайте безопасно: сначала только OSD, потом Mouse Move, и только после проверки добавляйте клик. Так вы увидите ошибки модели до того, как автоматизация начнет действовать.

Финальная логика demo

В AimTrainer.io нельзя просто кликать по любому найденному объекту:

  • если видна кнопка btn, игра уже закончилась и по целям кликать не нужно;
  • слишком маленькие срабатывания могут быть ложными;
  • удобнее выбирать цель, ближайшую к курсору.

Финальный Behavior Tree использует Selector, отдельную проверку btn, поиск tgt, фильтр уверенности и фильтры размера.

Final behavior tree

В ML Find Class для tgt полезны:

  • Selection Strategy = Closest;
  • Closest To = Cursor;
  • порог уверенности около 70% или выше;
  • Width Min и Height Min, чтобы отсечь крошечные ложные срабатывания.

Проверка результата

Сначала смотрите OSD и убеждайтесь, что рамки стоят на правильных объектах. Потом уже включайте действия клика.

Third generation result

Финальный результат демо:

Final accuracy

Если EyeAuras ошибается, не всегда виновато дерево. Часто нужно вернуться в YoloEase, добавить кадры с ошибками, исправить разметку и обучить новое поколение модели.

Цикл исправления ошибок

Ошибка в EyeAurasЧто делать в YoloEase
Модель видит цель там, где ее нет.Запишите короткое видео с ошибкой, добавьте отрицательные кадры без лишних рамок.
Модель пропускает цель.Добавьте похожие реальные кадры и разметьте цель.
Рамка стоит криво.Исправьте рамки на похожих кадрах и дообучите модель.
Модель путает btn и tgt.Добавьте контрпримеры обоих классов и проверьте, что метки не смешаны.
В YoloEase все хорошо, в EyeAuras плохо.Проверьте регион захвата, масштаб окна, эффекты, OSD и что загружен свежий .onnx.

См. также: YOLO ONNX и веса моделей, Trainer, редактор разметки, диагностика.