Как составлять запросы для ChatGPT

Краткое руководство по составлению запросов для ChatGPT.

Спросить модель о захваченном изображении

Встроенный путь EyeAuras AI проходит через EyeAuras.AI, AiEngine, настроенный профиль и сессию; для интерфейса редактора есть IScriptAiChatSessionFactory. Эти сервисы требуют регистраций своего хоста и не являются автоматически доступным GetService любого скрипта. Настройка и владение сессией описаны в AI runtime и карте AI-клиентов.

Ниже сохранён отдельный исторический вариант прямого обращения к провайдеру — OpenAI версии 2.1.0, модель gpt-4o. Это не вызов встроенного помощника EyeAuras и не обновление примера под новый SDK. По описанию OpenAI модель принимает текст и изображения и сейчас помечена Deprecated; это не гарантирует доступ у конкретного аккаунта. Сигнатуры CreateImagePart, GetChatClient и CompleteChat проверены по XML пакета OpenAI 2.1.0; ToJpegData(int) возвращает JPEG-байты по XML Emgu.CV 4.9.0.5494.

Подготовить один кадр и отправить запрос

Создайте C# Script в EyeAuras с рабочим захватом окна. Откройте собственное окно с известным заголовком, замените OCR Demo в коде и подготовьте ключ провайдера вместо <your-api-key-here>. Ключ — явный внешний вход этого исторического примера; не публикуйте его вместе с паком. Пакет должен загрузиться в совместимый runtime. Без этих входов код не является готовым автономным OCR.

Здесь отправляется один JPEG выбранного окна. Сначала ProcessPixels копирует изображение в принадлежащий скрипту byte[], и только после выхода из callback выполняется сетевой запрос. Не передавайте заимствованный Captured.InputImage в фоновую задачу. Вариант с постоянно обновляющимся триггером и сетевым вызовом внутри подписки для этого не нужен.

csharp
#r "nuget: OpenAI, 2.1.0"

using OpenAI;
using OpenAI.Chat;
using Emgu.CV;
using System;
using System.Collections.Generic;

{
    var targetWindow = GetService<IWindowSelector>().GetWindow("OCR Demo");
    using var cv = GetService<IComputerVisionExperimentalScriptingApi>()
        .ForWindow(targetWindow);

    cancellationToken.ThrowIfCancellationRequested();
    var jpegBytes = cv.ProcessPixels(image => image.ToJpegData(90));
    cancellationToken.ThrowIfCancellationRequested();

    var openAIClient = new OpenAIClient("<your-api-key-here>");
    var chatClient = openAIClient.GetChatClient("gpt-4o");
    var recognizedText = RecognizeImage(chatClient, jpegBytes);
    Log.Info($"Recognition Result: {recognizedText}");

    string RecognizeImage(
        OpenAI.Chat.ChatClient client,
        byte[] jpegBytes)
    {
        var imageBytes = BinaryData.FromBytes(jpegBytes);
        List<ChatMessage> messages =
        [
            new UserChatMessage(
                    ChatMessageContentPart.CreateTextPart("Perform OCR on the image and print found text and window in which it was found"),
                    ChatMessageContentPart.CreateImagePart(imageBytes, "image/jpeg")),
            ];

        ChatCompletion completion = client.CompleteChat(messages);
        return completion.Content[0].Text;
    }
}

Ожидаемый результат — текст ответа в журнале, если запрос завершился успешно. Это свободный ответ модели, а не набор OCR-сегментов с проверяемыми координатами. Он может содержать ошибки или не содержать ожидаемого текста. Здесь ROI не задан: берётся захват выбранного окна; порога сходства и envelope Detected.Bounds у ответа модели нет. Для локального OCR с координатами используйте Text Search и клик по сегменту.

using освобождает созданный CV accessor; изображение внутри callback заимствовано и не освобождается скриптом. Синхронные захват и CompleteChat в этом варианте не получают токен отмены: проверки перед вызовами не означают, что остановка прервёт уже идущий запрос. Не выполняйте этот код в UI/ImGui render callback. Авторизация, отправка изображения, OCR и совместимость внешнего SDK здесь не проверялись.

Дальше

Контекст скрипта · Захват и результаты CV · CV API

Контракты сверены со срезом EyeAuras 20fd3d4 и PoeEye 0e02c98. Полные сигнатуры смотрите в SDK/XML своей версии; наличие символа не подтверждает доступность внешнего пакета или нативного компонента. Пример здесь не проверялся компиляцией или запуском.