Token 用量怎麼控制？一定要買顯示卡嗎？
token要怎麼控制？如果用本機顯示卡做運算可以嗎
林思翰 Hans講師回覆
可以用本機顯示卡跑模型，但我會先建議你優先使用雲端AI，比較簡單入門也便宜。
Token 不只算你打的問題，也包含帶進去的對話紀錄、文件、工具回傳內容，以及模型產生的回答，可以先做幾個調整：
1. 換主題就開新對話，把必要的進度摘要帶過去，不要所有工作都塞在同一串。
2. 請 AI 先搜尋相關段落，不要每次把整份知識庫全部讀一遍。
3. 說清楚要交什麼，例如「只列需要修改的地方」，避免每次重寫整份文件。
4. 同一個錯誤反覆失敗時，要求它先回報原因、缺什麼資料，不要一直盲目重試。
CH3 的 C3-5 會教怎麼檢查對話、工具和規則造成的負擔。
本機運算則是另外下載可在本機執行的模型，例如透過 Ollama 接到 Hermes，這部分推論不用付雲端模型的 Token 費，但還有硬體、電費和等待時間，能跑多大的模型，要看顯示記憶體 VRAM、系統記憶體和模型設定，不能只看有沒有顯卡。
本機模型說明
https://hermes-agent.nousresearch.com/docs/guides/local-ollama-setup
本課實作以雲端模型為主，CH8 會說明本機與混合架構的觀念，你可以貼顯卡型號、VRAM 和記憶體容量，我幫你判斷現有電腦適不適合。
以下由整理者依課程內容與官方文件補充，不是講師在課堂的原始回覆。
- 到模型服務的用量頁，記下同一件任務的輸入、結果與用量。
- 只移除不相關的資料，重做同一任務，核對有沒有漏掉必要條件。
- 把用量和人工修錯時間一起比較；便宜但要花更多時間補錯，未必省錢。
假設要找某場會議的待辦，先找相關段落，再整理待辦，不必每次重讀所有筆記。
換主題可開新對話，但要帶上必要規則。反覆失敗先整理錯誤，不盲目重試。本機模型另外需要硬體、速度與維護評估，不必為跟課先買顯示卡。
回課程對照
- 3-5 · Hermes 為什麼越用越慢？減肥及加速
- 8-2 · 資安問題想要完全離線？雲端地端混合架構與 AI 分身的未來
這題有解決你的問題嗎？
貼到課程留言時請保留題號 qa-000017，老師才知道你在問哪一題。
作業系統填裝 Hermes 的那台電腦，用電腦開這頁時已自動帶入，請確認，版本不確定可以先留空。不要填入 Token、API Key 或個人資料。
回報到課程留言 ↗這裡不會送出回饋或任何資料，要貼到課程留言送出，老師才看得到。
來源與核對紀錄
提問來源：學員提問（已匿名） · 學員提問與講師回覆依課程討論原文保留，只拿掉姓名與稱呼
內容更新 · 編輯核對 2026-09-22 · AI 編輯核對，依 Hans 原回覆整理
對應章節：第 3 章・編排工程：讓工具真的接起來、第 8 章・把 AI 帶進公司：治理、風險與導入節奏 · Hermes 為什麼越用越慢？減肥及加速、資安問題想要完全離線？雲端地端混合架構與 AI 分身的未來
依講師原回覆與課程資料編輯整理。標示「假設」的情境為新增教學示範，不是原始學員案例。未宣稱學員環境已修復或示範已實測。
第 3 章 3-5 減肥與加速、第 8 章本機與混合架構觀念。課程不承諾完整成本監控系統實作。
這個會議例子是假設練習，沒有預估省費比例。
- Q010 · 2026-08-08 · 自動化是否消耗大量 Token
- Q042 · 2026-09-10 · 如何控制 Token 與本機顯卡運算
- 講師說明Hans 已發布回覆：Q008、Q009、Q010、Q011、Q042 ↗ · 核對於 2026-09-20
依 Hans 提供的公開問答紀錄整理，來源編號與提問日期列於下方。
- 課程資料課內方法：3-5 測量與減少不必要負擔 · 核對於 2026-09-20
依已提供的課程逐字稿核對方法。本文標示假設的例子為編輯延伸示範，不代表課內逐一帶做該情境。