MacでOllamaのメモリ使用量が多すぎる? 読み込まれたモデルの確認とアンロードの方法

モデルの読み込みとは、何ギガバイトものデータをディスクからメモリに読み込むことで、数秒から1分かかります。質問のたびにこれを行うと、毎回応答が遅くなります。そのためOllamaは、最後に使ってから5分間モデルを保持し、そのあとでアンロードします。新しい質問をするたびに、この時間はリセットされます。エディタの自動補完など、Mac上のアプリが数分おきにモデルに何かを尋ねていると、モデルはいつまでもアンロードされません。

この設定はkeep-aliveと呼ばれます。OLLAMA_KEEP_ALIVEで、全体のデフォルトを変更できます。0にするとメモリはすぐに戻りますが、毎回最初の応答が遅くなります。

目安として、必要なメモリは、モデルのファイルサイズに会話のための余裕を足した量です。パラメータ数が80億のモデルは、一般的な圧縮で約5 GB、300億のモデルは約20 GBです。ollama listで表示されるディスク上のサイズが、最初の目安になります。

見落とされがちなのがコンテキスト長です。モデルが一度に覚えておけるテキストの量のことで、そのためのメモリは、使い切るかどうかにかかわらず、モデルの読み込み時に確保されます。小さいモデルでもコンテキストが長いと、モデル自体より多くのメモリを使うことがあります。ollama psで表示されるサイズがファイルのサイズよりかなり大きいなら、コンテキストが理由です。

確実な確認方法は、モデルを読み込み、いつものアプリを開いた状態でのメモリプレッシャーです。緑なら、収まっています。黄色なら、macOSが空きを作るためにメモリを圧縮していて、少し遅くなります。赤なら、ディスクにスワップしていて、モデルもMacも遅くなります。グラフィックスチップに収まらず、一部がプロセッサで動いているモデルも、かなり遅くなります。どう配分されたかはollama psでわかります。

同じモデルの小さいバージョンなら、たいてい品質はあまり落ちず、メモリは大幅に減ります。16 GBのMacでは、約8 GBまでのモデルなら作業する余裕が残ります。Macがメモリをどう共有するかは、ユニファイドメモリを参照してください。

モデルをローカルで動かすアプリは、どれも同じです。LM Studioは、取り出すかアイドル時間が切れるまでモデルを読み込んだままにし、読み込まれたモデルをウインドウの上部に表示します。モデルを動かしてくれるエディタやチャットアプリも、裏で同じことをしています。どのアプリが抱えていても、そのメモリはモデルです。