LangChain 與 LLM 學習筆記 番外篇 — 我的電腦能跑哪些本地模型?
不知道你的電腦能跑哪些 LLM?說清楚量化格式(FP32 / Q4_K_M / Q8_0)差在哪、記憶體怎麼估算,附 Apple Silicon / NVIDIA / 純 CPU 場景對照表與 willitrunai 工具介紹,選對再動手。
不知道你的電腦能跑哪些 LLM?說清楚量化格式(FP32 / Q4_K_M / Q8_0)差在哪、記憶體怎麼估算,附 Apple Silicon / NVIDIA / 純 CPU 場景對照表與 willitrunai 工具介紹,選對再動手。
LangChain RAG 要選哪個模型?用 MTEB 排行榜挑嵌入模型、Chatbot Arena 挑生成模型,解釋為什麼選 nomic-embed-text 和 llama3.1:8b,附本地 vs 付費 API 完整對比表與一鍵切換程式碼。
RAG 評估教學:用 RAGAS + Ollama 量化你的 RAG 系統準確率。四個核心指標 Faithfulness、Answer Relevancy、Context Precision、Context Recall,附完整 Python 程式碼,不需要 OpenAI API。
多模態 RAG 實作教學:用 LangChain + Ollama 視覺模型讀取含圖表的 PDF,圖片先用 llama3.2-vision 轉成文字描述再建向量索引,含完整 Python 程式碼,不需要任何付費 API。
進階 RAG 教學:語意分割、混合檢索(BM25 + 向量 + RRF)、Multi-Query、HyDE、Cross-Encoder Reranking,加上 Anthropic Contextual Retrieval 與多模態 RAG 三種架構(CLIP、圖片轉述、ColPali)完整對比。
RAG 教學:用 LangChain + Ollama 把「載入→分割→嵌入→索引→檢索→生成」8 個步驟串成可跑的 Python 程式,搭配 Chroma 向量資料庫,本地免費跑 llama3.1,附完整程式碼。
5 分鐘看懂 LLM、LangChain、AI Agent 與 MCP 的關係:什麼是 Context Window、token 限制,LangChain 怎麼幫你串接模型,以及 Anthropic MCP 協議解決什麼問題。