Триггер AI Search в EyeAuras использует машинное обучение (AI) для обнаружения и распознавания объектов на изображениях, захваченных из указанного окна. Для этого триггер применяет заранее обученную модель машинного обучения и может быть настроен так, чтобы срабатывать только при выполнении определённых условий на основе найденных объектов.
Параметры захвата для AI Search Trigger такие же, как и у других Image Capture Triggers. Они определяют, как и когда EyeAuras делает снимок изображения для обработки. Подробное описание этих параметров см. на странице Image Capture Triggers page.
AI Search Trigger поддерживает модели YOLOv3+ в формате ONNX для обнаружения объектов, сегментации и классификации. Подробную документацию по созданию и использованию таких моделей можно найти здесь.
Пользователь может указать класс объектов, который триггер должен искать. Если ваша модель содержит метаданные с именами классов, можно выбрать конкретный класс для поиска в EyeAuras. По умолчанию триггер учитывает "any class".
Все совпадения с confidence score ниже этого порога будут отброшены. Триггер сработает, если найдётся хотя бы одно совпадение выше указанного порога.
Intersection over Union (IoU) — это метрика оценки, которая используется для измерения точности детектора объектов на конкретном наборе данных. Подробнее об этом можно прочитать здесь.
Количество потоков CPU, которое EyeAuras будет использовать для получения результата. Чем больше потоков, тем быстрее обработка, но тем выше нагрузка на систему.
Ниже — несколько примеров того, как AI Search Trigger можно использовать в играх:
- Распознавание объектов в сложных играх: ML Search можно использовать для поиска сложных объектов в играх, где обычного распознавания по статичному изображению недостаточно. Например, для обнаружения определённого типа врага или NPC в MMO.
- Взаимодействие с динамическим окружением: ML Search может обнаруживать изменения в окружении и запускать нужные действия. Например, при навигации по изменяющемуся лабиринту или при обходе динамических препятствий.
- Классификация изображений для стратегии: в стратегических играх ML Search может различать разные типы юнитов или зданий, что позволяет принимать решения на основе текущего состояния игры.
- Распознавание состояния игры: ML Search можно использовать для определения разных состояний игры, таких как меню, игровой процесс, катсцены и т. д., чтобы запускать соответствующие действия.
- Управление инвентарём: ML Search может распознавать и обрабатывать предметы в инвентаре, что особенно полезно в RPG или survival-играх со сложными системами инвентаря.
- Отслеживание здоровья персонажа: в играх, где полоски здоровья визуально меняются или имеют нестандартный дизайн, ML Search может точно определять их состояние и запускать действия, когда здоровье падает ниже заданного порога.
- Распознавание врагов: ML Search способен определять конкретные типы врагов и запускать разные стратегии для каждого из них.
- Автоматическое исследование мира: ML Search может помогать ориентироваться в неизвестных или процедурно генерируемых локациях, распознавая ориентиры или указатели пути.
- Обнаружение взаимодействий: ML Search может определять моменты определённых игровых взаимодействий, например получение запроса в друзья или атаку по персонажу, и соответствующим образом реагировать.
- Действия на основе поведения: ML Search может распознавать поведение или паттерны в игре, даже если у них нет явного визуального маркера, но они могут быть определены с помощью ML — например, движения игрока или шаблоны поведения врагов.
Подробнее об обучении модели для использования с AI Search Trigger см. в Yolo Model Training Guide.