AI / 生成2026
沃森・本地 RAG 知識庫
全本地、不外流的第二大腦，還會用聲音回答你。
一套完全跑在自己電腦上的個人知識庫。把數十份筆記與專案文件建成向量索引，用本地 LLM 問答並標註來源，搭配語音喚醒像跟助理對話。難點在單張 8GB 顯卡要同時餵生圖引擎與 7B 模型——用「剩餘 VRAM 動態判斷」在 GPU 與 CPU 間切換，避免爆記憶體。手機端透過 Tailscale 隨處存取。
Highlights
- 100% 本地推論：bge-m3 檢索 + qwen 生成，資料不出機器
- 語音喚醒助理，喊名字即問即答並標註出處
- 動態 GPU / CPU 調度：8GB 顯卡與生圖引擎共存不 OOM
- 隨手記自動進庫 + 每晚離峰重建索引
Role & Stack
個人專案
Ollamabge-m3qwen2.5PythonTailscale
想了解這類系統的更多細節，或單純交流技術，來信找我 →