RunInfra 教學：把 Hugging Face 模型調成生產級 API（定價、流程、實際數字）

想把一個 Hugging Face 上的開源模型跑成生產級 API，但不想自己處理 GPU 選型、量化方式與 kernel 調校？RunInfra 的定位就是這件事：貼一個模型進去，它幫你把可能的組合跑過一輪 benchmark，挑出贏的那組，然後你可以直接部署，或把整套 stack 帶走自架。

這篇 RunInfra 教學會照官網與官方文件的實際內容走一遍：它到底做什麼、方案怎麼算、一次優化會產出什麼、以及 token 怎麼計價。

RunInfra 是什麼？

官網 hero 的一句話是「Optimize any Hugging Face model for production」，底下接著說明流程：貼一個模型，RunInfra 對各種選項做 benchmark 並挑出勝出的組合，你可以部署它，或者擁有整套 stack。公司標示為 RunInfra by RightNow，網站上也標示 Backed by Combinator。

它實際比較與調整的東西寫得相當具體。推論引擎方面會把 vLLM、SGLang、TensorRT-LLM、vLLM-Omni 等你的模型跑得起來的引擎放在一起比；調校面向包含 speculative decoding、kernel generation、server tuning、quantization、KV cache reuse、FlashAttention v2 與 continuous batching——官網的說法是「在有幫助的地方調」，而且不需要你手寫任何 config。部署目標涵蓋 NVIDIA H100、H200、B200、A100、L40S、L4。

這裡有一個對評估很重要的設計理念：官網強調 serving engine 是「compared, not assumed」（比較出來的，不是預設的）。同一頁列出每次優化會量到的東西：GPU target 依模型大小配置、p95 latency 實測、throughput 以每張 GPU 量、VRAM 檢查是否放得下、成本按每次執行追蹤，以及在支援的情況下調 GPU kernel。

事前準備：方案與免費額度

官方文件把方案講得很乾淨：RunInfra 有兩個方案，共用一個統一的 credit 餘額——Core 是自助方案，你自己選一個每月金額；Enterprise 給需要自訂用量與專屬基礎設施的組織。agent、優化執行、benchmarking、部署與推論的用量全部從同一個餘額扣，1 credit = $1。

新帳號會有 $10 的免費額度，試用不需要信用卡。（官網 pricing 頁的原句是「New accounts start with $10 free.」，官方文件則是「New accounts start with $10 in free credits. No credit card required to try the platform.」）

Core：自助訂閱

pricing 頁把 Core 標成 Most popular，價格顯示 $100 / month，按鈕文字是「Start with Core, $100/month」；比較表另外標示 Core from $50 / month，官方文件則說 Core 是自助方案，金額在 $50 到 $1000 / month 之間由你自選。你付的錢會轉成 credits 進同一個餘額，沒有席次費、沒有每人計價。

Core 包含（依官網逐項）：

• 量化：AWQ、GPTQ、FP8
• 所有標準 GPU：T4、L4、L40S、A100、H100
• Managed deploy 與 scale-to-zero endpoints
• OpenAI 相容的 API endpoints
• 每次優化都附 deployment kit——官網用詞是「your exit is free」
• Agent chat、plans 與 benchmarking
• 一個餘額、無席次、無每人費用
• 無限 pipelines 與版本控管
• SLA 99.9%、優先 email 支援

Enterprise：Custom pricing

Enterprise 是 Custom pricing，官網按鈕是「Request a demo」，官方文件說對應的是每月用量超過 $1000。它在 Core 之上多了：自架與自訂 GPU 部署、audit logs 與 RBAC、B200 / H200 GPU 存取、自訂用量與合約條款、最高 99.99% 的自訂 SLA、SOC 2 Type II，以及專屬 CSM 與私有 Slack 頻道。

換句話說，只有 Enterprise 這一檔才需要跟業務談；Core 是刷卡就能開始的自助方案。

Step 1：描述你要的 endpoint

官網的操作起點是一個輸入框，問的是「What do you want to optimize?」，可以用 @ 挑模型。它給的示範工作負載也很能說明顆粒度：

• 「Find the best serving engine for Qwen 2.5 7B」（比較引擎）
• 「Optimize Qwen 2.5 7B for low latency」（調延遲）
• 「Deploy Whisper Large V3 Turbo with p95 and cost checks」（語音，帶 p95 與成本檢查）
• 「Build BGE-M3 embeddings with batch throughput metrics」（檢索，帶批次吞吐指標）

可以看出寫法的共同點：模型名稱 ＋ 你真正在乎的指標（延遲、吞吐、成本），而不是「幫我優化一下」。

Step 2：讀 benchmark receipt，再決定部署或匯出

官網對產出的描述是：每次優化結束都會給你一份可以檢查、可以執行的結果——一份 benchmark receipt 加上一套可執行的 deployment kit，「Nothing hidden」。

這裡有兩條路：

1. 直接部署：用 managed deploy 加 scale-to-zero endpoint，走 OpenAI 相容 API，按每百萬 token 計費。
2. 匯出自架：把整套 stack 帶走自己跑。這是 Core 就包含的能力，官網把它寫成「your exit is free」——評估任何基礎設施服務時，這一條值得放在前面看。

Step 3：算清楚 token 成本

部署 endpoint 後，推論按每百萬 token 計費，從統一餘額扣。官方文件列出的估計起價如下：

| 模型大小 | 輸入 | 輸出 |

|---|---|---|

| Small（1–8B） | $0.08 / MTok | $0.20 / MTok |

| Medium（8–30B） | $0.20 / MTok | $0.80 / MTok |

| Large（30–70B） | $0.45 / MTok | $1.50 / MTok |

| XL（70B+） | $0.80 / MTok | $2.50 / MTok |

官方明確註記：實際的每 token 成本取決於你的完整 pipeline——模型選擇、量化方式、GPU 等級、routing 與部署模式。所以上表只能拿來抓量級，不能直接當報價。

另一條路：直接買現成優化好的模型

官網另有一個 catalog，賣已經優化並 benchmark 過的開源模型，採一次性買斷。頁面上列出的例子包括 AREX-Turbo（$20 以下、H100 上 1.2× 更快）、Qwythos-9B-Claude-Mythos-5-1M（$20、H100 上 1.29×）、Qwen3.6 27B（$40、H100 上 1.28×），以及 Kimi K3（$2,300，需簽署企業授權，B300 上 2.12×）。每個項目都附上它是在哪張 GPU、哪個 concurrency 下量到的，以及準確度驗證的說明。

如果你要的模型剛好在架上，這條路會比自己跑一輪優化便宜且快。

常見問題 FAQ

RunInfra 有免費方案嗎？要先聯繫業務嗎？

沒有長期免費方案，但新帳號有 $10 免費額度，且試用不需要信用卡。Core 是自助訂閱（官網顯示 $100/月，比較表標示最低 $50/月起，官方文件說可在 $50–$1000/月之間自選），刷卡即可開始，不需要業務開通。只有 Enterprise 是 Custom pricing，需要 Request a demo。

Core 和 Enterprise 差在哪？

主要差在四件事：自架與自訂 GPU 部署、B200 / H200 存取、稽核與合規（audit logs、SOC 2 Type II）、以及支援層級（Core 是優先 email、SLA 99.9%；Enterprise 是專屬 CSM 加私有 Slack、SLA 最高 99.99%）。量化、標準 GPU、managed deploy、OpenAI 相容 API、deployment kit 與無限 pipelines 在 Core 就有。

如果之後想搬走，會被綁住嗎？

官網把這點寫在 Core 的包含項目裡：每次優化都附 deployment kit，「your exit is free」。你可以匯出整套 stack 自架，Enterprise 另外支援自架與自訂 GPU 部署。

我的資料會被拿去訓練嗎？

官網頁尾標示四項：End-to-end encryption、Isolated GPU infrastructure、No training on your data、SOC 2 Type II。細節請以官方安全性說明與合約條款為準。

下一步

評估 RunInfra 最實際的做法是拿 $10 免費額度跑一次你真正要上線的模型，把 benchmark receipt 打開來看：p95 延遲、每張 GPU 的吞吐、VRAM 是否放得下、每次執行的成本。這四個數字加起來，比任何一頁功能列表更能告訴你值不值得。

本文依 2026 年 8 月 2 日 runinfra.ai 官方網站與官方文件（/pricing、/docs/introduction/plans）的公開說明撰寫，文中引號內英文均為官網原句。定價、功能與服務條款可能隨時變動，一切以官方網站最新公告為準。

免責聲明：本文依官方公開資料整理撰寫，非合作推廣。工具品質與安全性請讀者自行評估，使用前建議查證官方最新資訊。