單一函式 Jev-like 包裝器，支援 LLM 與視覺模型

Allan Riordan Boll 在部落格分享了一款受 Jev 啟發的單一函式包裝器，支援語言模型與視覺模型，核心技術在於讀取 LLM 的 token 機率（logprobs）。該方法透過提示詞要求模型僅輸出單一選項字母，並搭配 API 參數如 `max_completion_tokens: 1`、`logprobs: true` 與 `top_logprobs`，以獲取替代 token 的機率分佈。

此工具擴展了 Jev 的請求格式，新增 `attachments` 欄位以支援影像輸入。開發者使用 OpenCV 擷取 webcam 幀，將影像轉為 base64 JPEG 後發送，並針對「是否有人」、「室內或室外」及「場景亮度」等問題進行評分。在效能測試中，使用 Gemma 4 12B 模型搭配 RTX 3090 可達到每秒約 1 幀（每幀處理三個問題），而使用 OpenAI gpt-6-luna 則約為每秒 0.2 幀。

程式碼實作上，包裝器自動處理不同後端的 API 差異：llama.cpp 使用 Chat Completions 端點，而 OpenAI 則使用 Responses 端點以獲取替代選項。對於 OpenAI 請求，需設定 `top_p=1` 以避免剪枝替代選項；對於 llama.cpp，則設定 `temperature=0` 與 `top_logprobs=1024`。開發者強調此方法雖非專用電腦視覺模型般高效，但具備透過純文字描述即可變更條件的靈活性。