AI OSD и выбор
AI-ориентированная карта сервисов выбора на базе OSD и данных о выбранном окне.
Карта поиска для OSD-выбора
Справочная карта для интерактивного выбора на экране: окно, область, точка или цвет.
Постоянные аннотации и отрисовка поверх экрана описаны в osd/screen-overlay.md.
Что пользователь хочет сделать
- Выбрать целевое окно.
- Выбрать область на экране.
- Выбрать точку на экране.
- Выбрать цвет под курсором.
- Использовать PID выбранного окна в сценариях CV, memory или input.
Модель
IOsdSelectionService— пользовательский сервис выбора.- Выбор выполняется интерактивно и действует временно.
PickWindow()возвращаетIWindowHandle.- Выбор области, точки и цвета можно ограничить конкретным окном.
- При выборе области можно получить преобразования координат между экраном и окном.
API
IOsdSelectionServicePickWindow()PickRegion(IWindowHandle targetWindow = default)PickPoint(IWindowHandle targetWindow = default)PickColor(IWindowHandle targetWindow = default)
OsdRegionSelectionResult— выбранная область, матрицы преобразования и окно под курсором.OsdRegionTransformationMatrices—ScreenToWindowиWindowToScreen.OsdPointSelectionResult— выбранная точка.OsdColorSelectionResult— считанный цвет.
Что предпочтительно
- Для выбора пользователем используйте
IOsdSelectionService. - Вместо сырых хэндлов предпочитайте
IWindowHandle, полученный изPickWindow(). - Для преобразования и сопоставления хэндлов используйте
windows-subsystems/window-handles.md. - Для постоянных overlay-элементов используйте
osd/screen-overlay.md.
Чего лучше избегать
- Не используйте собственный polling курсора или скриншоты для поведения picker-а.
- Не используйте OSD selection как рендерер постоянных overlay-элементов.
- Не рассчитывайте на то, что выбранные окна останутся активными или вообще продолжат существовать.
Опорные сущности для поиска
IOsdSelectionService,PickWindow,PickRegion,PickPoint,PickColor,OsdRegionSelectionResult,WindowUnderCursor,OsdRegionTransformationMatrices.
Синонимы для поиска
- select window
- pick window
- OSD picker
- region picker
- point picker
- color picker
- screen selection
- window under cursor
Связанные карты
osd/screen-overlay.mdwindows-subsystems/window-handles.mdcomputer-vision/images.mdmemory/processes.md