發布日期：2026-10-09

Letta（前身為 MemGPT）是一個專為建立具備「長效記憶（Stateful Memory）」與自主上下文管理 AI Agent 而設計的開源框架。它模擬了作業系統（OS）的記憶體分層架構，將 AI 的記憶體分為 Core Memory（主記憶體/核心記憶體）、Recall Memory（快取/對話歷史記錄） 與 Archival Memory（硬碟/向量檢索庫）。

為了在本地流暢運行 Letta 以及背後支援的本地大語言模型（如 Llama 3.1 8B/70B、Qwen 2.5 或 DeepSeek 系列），對電腦的硬體（特別是 GPU 顯存與系統記憶體）有較高的要求。

以下為您整理詳細的 Letta AI 電腦砌機指南。

 

硬件與系統需求指南

運行 Letta 需要同時執行 Letta Server 服務與本地 LLM 推理引擎（如 Ollama / vLLM）。硬體規格主要取決於您計畫運行的模型參數大小。

1. 硬體規格選型配置表

規格層級 入門級（入門測試 / 輕量 Agent） 進階級（主力開發 / 多 Agent 協作） 旗艦級（高精度 / 大型企業級部署）
目標模型 7B - 8B 模型（如 Llama 3.1 8B, Qwen2.5 7B） 14B - 32B 模型（如 Qwen2.5 32B, Command R） 70B 模型（如 Llama 3.1 70B, DeepSeek 70B）
顯卡 (GPU) NVIDIA RTX 4060 Ti 16GB / RTX 5070 12GB NVIDIA RTX 5080 16GB / RTX 4090 24GB 雙卡 RTX 4090 24GB ×2 或 RTX 6000 Ada
顯示記憶體 (VRAM) 最少 12GB - 16GB VRAM 最少 16GB - 24GB VRAM 最少 48GB+ VRAM（多卡 Parallel 推理）
中央處理器 (CPU) Intel Core i5-14600K / AMD Ryzen 5 7600X Intel Core i7-14700K / AMD Ryzen 7 9800X3D AMD Ryzen Threadripper / Ryzen 9 7950X
系統記憶體 (RAM) 32GB DDR5 64GB DDR5 128GB DDR5
固態硬碟 (SSD) 1TB NVMe PCIe 4.0 M.2 2TB NVMe PCIe 4.0 M.2 4TB+ High-Speed NVMe M.2 / PCIe 5.0
電源供應器 (PSU) 650W - 750W 80 Plus Gold 850W - 1000W 80 Plus Gold 1300W - 1600W 80 Plus Platinum

2. 硬體選型關鍵解析

  1. 顯示卡（GPU VRAM）：重中之重

    • CUDA 核心與 VRAM 優先： 深度學習與 Letta Agent 運行高度依賴 NVIDIA 的 CUDA 生態系統。

    • VRAM 大小決定極限： Letta 框架需要維持龐大的上下文視窗（Context Window），若 VRAM 不足導致模型被迫卸載（Offload）到 RAM，推理速度將大幅下降。

  2. 系統記憶體（RAM）： Letta 狀態數據與向量檢索

    • Letta 本身需要運行 PostgreSQL / Vector DB 數據庫及服務端引擎。建議至少 32GB DDR5，若運行多個服務建議升級至 64GB 或以上。

  3. 儲存空間（SSD）：模型權重儲存

    • 一個 FP16 的 70B 模型檔案可達 140GB+（GGUF 量化版約 40GB-50GB）。建議配備高速 PCIe 4.0 / 5.0 NVMe SSD，以確保載入模型時無卡頓。

 

系統與軟體環境要求

  • 作業系統： Ubuntu Linux 22.04 / 24.04 LTS（最佳推薦） 或 Windows 11 Pro（需開啟 WSL2 模式）。

  • CUDA 工具包： NVIDIA CUDA Toolkit 12.x 及最新版專用驅動。

  • 執行環境： Node.js 18+ / Python 3.10+、Docker & Docker Compose。

  • LLM 推理後端：

    • Ollama： 適合快速部署量化模型。

    • vLLM / llama.cpp： 適合高併發、高吞吐量的開發環境。

 

可執行的 Letta 應用參考例子

得益於 Letta 的「自我編輯記憶（Self-editing Memory）」與長效對話能力，你可以利用本地 Letta AI 電腦實現以下應用場景：

  1. 個人化終身 AI 數位助理（Personal Knowledge Assistant）

    • 功能： 助理能記住你的所有工作習慣、個人喜好、項目進度以及會議紀錄。

    • Letta 特性： 模型會自動呼叫 core_memory_append 等工具將重要資訊存入 Core Memory，下次對話時無須重新輸入 Prompt 提示詞。

  2. 超長代碼庫與工程文檔維護 Agent（Codebase & Documentation Agent）

    • 功能： 輸入整個項目的架構與代碼文檔，Agent 能在長期的開發過程中持續協助重構、寫測試與 Debug。

    • Letta 特性： 將龐大的文檔存在 Archival Memory 中，Agent 會自主發起檢索，不再受限於普通 LLM 的 Token 上限。

  3. 具備持續記憶的 RPG 遊戲 NPC 或 NPC 伺服器

    • 功能： 在本地運行具備長期記憶的虛擬角色，NPC 會記住玩家過去所有的選擇、承諾與互動歷史。

  4. 自主數據分析與市場監測 Agent

    • 功能： 設定定時任務（Cron job）讓 Agent 抓取市場數據，Agent 會自主比對歷史數據庫（Recall/Archival Memory），發現異常時自動發出提醒並生成報告。

 

專業 AI 電腦組裝推介

搭建一台能夠流暢運行 Letta 等複雜 AI Agent 框架的電腦，需要精準計算 VRAM 比例、風道散熱、電源峰值瓦數與 PCI-e 通道配置。

如果您希望確保硬件 100% 兼容 AI 深度學習與 Agent 部署，特別推薦：

HKAIPC 香港AI電腦砌機專門店

HKAIPC 是香港領先的 AI 硬體配置與組裝專家，專為 AI 開發者、企業及研究人員提供一站式 AI 電腦方案：

  • 專業 AI 配置諮詢： 根據您運行的 LLM 模型規模（8B / 32B / 70B）與 Letta 框架需求，量身定制最佳硬體組合。

  • 多卡散熱與電源優化： 針對高負載 AI 運算進行長時間壓力測試與風道設計，確保穩健運行。

  • 一站式軟硬體支援： 提供深度學習環境預裝支援（CUDA、Ollama、Docker 等），開箱即用。

歡迎聯繫 HKAIPC 香港AI電腦砌機專門店，獲取您專屬的 Letta AI 砌機方案！

想把文章內容變成你的實際配置？

告訴我們模型、軟件、用途及預算，我們可以按工作流整理 AI PC 配置方向。

查詢 AI 配機 →