AI-поиск
Использует машинное обучение для распознавания и отслеживания объектов в указанном игровом окне, предоставляя гибкие и мощные возможности взаимодействия с игрой.
Триггер AI Search в EyeAuras использует машинное обучение (AI) для обнаружения и распознавания объектов на изображениях, захваченных из указанного окна. Для этого триггер применяет заранее обученную модель машинного обучения и может быть настроен так, чтобы срабатывать только при выполнении определённых условий на основе найденных объектов.
Параметры захвата
Параметры захвата для AI Search Trigger такие же, как и у других Image Capture Triggers. Они определяют, как и когда EyeAuras делает снимок изображения для обработки. Подробное описание этих параметров см. на странице Image Capture Triggers page.
ML Model
AI Search Trigger поддерживает модели YOLOv3+ в формате ONNX для обнаружения объектов, сегментации и классификации. Подробную документацию по созданию и использованию таких моделей можно найти здесь.
ML Class
Пользователь может указать класс объектов, который триггер должен искать. Если ваша модель содержит метаданные с именами классов, можно выбрать конкретный класс для поиска в EyeAuras. По умолчанию триггер учитывает "any class".
Match Threshold
Все совпадения с confidence score ниже этого порога будут отброшены. Триггер сработает, если найдётся хотя бы одно совпадение выше указанного порога.
IoU Threshold
Intersection over Union (IoU) — это метрика оценки, которая используется для измерения точности детектора объектов на конкретном наборе данных. Подробнее об этом можно прочитать здесь.
Calculation Threads / InterOp Threads
Количество потоков CPU, которое EyeAuras будет использовать для получения результата. Чем больше потоков, тем быстрее обработка, но тем выше нагрузка на систему.
Применение в играх
Ниже — несколько примеров того, как AI Search Trigger можно использовать в играх:
- Распознавание объектов в сложных играх: ML Search можно использовать для поиска сложных объектов в играх, где обычного распознавания по статичному изображению недостаточно. Например, для обнаружения определённого типа врага или NPC в MMO.
- Взаимодействие с динамическим окружением: ML Search может обнаруживать изменения в окружении и запускать нужные действия. Например, при навигации по изменяющемуся лабиринту или при обходе динамических препятствий.
- Классификация изображений для стратегии: в стратегических играх ML Search может различать разные типы юнитов или зданий, что позволяет принимать решения на основе текущего состояния игры.
- Распознавание состояния игры: ML Search можно использовать для определения разных состояний игры, таких как меню, игровой процесс, катсцены и т. д., чтобы запускать соответствующие действия.
- Управление инвентарём: ML Search может распознавать и обрабатывать предметы в инвентаре, что особенно полезно в RPG или survival-играх со сложными системами инвентаря.
- Отслеживание здоровья персонажа: в играх, где полоски здоровья визуально меняются или имеют нестандартный дизайн, ML Search может точно определять их состояние и запускать действия, когда здоровье падает ниже заданного порога.
- Распознавание врагов: ML Search способен определять конкретные типы врагов и запускать разные стратегии для каждого из них.
- Автоматическое исследование мира: ML Search может помогать ориентироваться в неизвестных или процедурно генерируемых локациях, распознавая ориентиры или указатели пути.
- Обнаружение взаимодействий: ML Search может определять моменты определённых игровых взаимодействий, например получение запроса в друзья или атаку по персонажу, и соответствующим образом реагировать.
- Действия на основе поведения: ML Search может распознавать поведение или паттерны в игре, даже если у них нет явного визуального маркера, но они могут быть определены с помощью ML — например, движения игрока или шаблоны поведения врагов.
Подробнее об обучении модели для использования с AI Search Trigger см. в Yolo Model Training Guide.