Ollama在Mac上佔用過多記憶體？如何查看載入了什麼，並將它移出記憶體

載入模型就是把好幾GB從磁碟讀進記憶體，需要幾秒到一分鐘。如果每個問題都這樣做，每次回答都會很慢，所以Ollama會在模型最後一次使用後保留它五分鐘，之後才移出記憶體。每個新問題都會讓計時重新開始。如果Mac上有App每隔幾分鐘就問模型一些東西，例如編輯器的自動完成，模型就永遠不會移出記憶體。

這個設定叫做keep-alive。OLLAMA_KEEP_ALIVE會更改所有模型的預設值；設為0會立刻把記憶體釋放出來，代價是每次的第一個回答都很慢。

一般來說，所需的記憶體就是模型檔案的大小，再加上對話所需的空間。80億參數的模型在常用的壓縮程度下約5 GB；300億參數的約20 GB。ollama list顯示的磁碟大小是不錯的初步估計。

上下文長度是大家常忽略的部分。它是模型一次能記住多少文字，這部分記憶體在模型載入時就預留好了，不管你有沒有用滿。小模型搭配很長的上下文，用量可能比模型本身還多。如果ollama ps顯示的大小遠高於檔案大小，原因就是上下文。

最可靠的檢驗，是在模型已載入、平常用的App也都開著時，看看記憶體壓力。綠色：放得下。黃色：macOS正在壓縮記憶體來騰出空間，速度會稍微變慢。紅色：系統正在交換檔到磁碟，模型和Mac都會變慢。因為圖形晶片放不下而有一部分在處理器上執行的模型，也會慢很多；ollama ps會說明它是如何分配的。

同一個模型的較小版本，通常品質差不了多少，卻能省下很多記憶體。在16 GB的Mac上，約8 GB以內的模型還能留下工作的空間。Mac如何共用記憶體，請參閱統一記憶體。

任何在本機執行模型的App都是如此。LM Studio會讓模型保持載入，直到你將它退出或閒置時間結束，並在視窗頂部顯示已載入的模型。替你執行模型的編輯器和聊天App，背後也是這樣做。不管是哪個App佔著，那些記憶體就是模型本身。