Mac에서 Ollama가 메모리를 너무 많이 쓰나요? 로드된 모델을 확인하고 언로드하는 방법

모델을 로드한다는 것은 디스크에서 몇 기가바이트를 메모리로 읽어 들인다는 뜻이며, 몇 초에서 1분이 걸립니다. 질문마다 그렇게 하면 모든 답이 느려지므로, Ollama는 마지막으로 쓴 뒤 5분 동안 모델을 유지하고 그 뒤에 언로드합니다. 새 질문이 올 때마다 시간이 다시 시작됩니다. 편집기의 자동 완성처럼 Mac의 어떤 앱이 몇 분마다 모델에 무언가를 묻는다면 모델은 언로드되지 않습니다.

이 설정의 이름은 keep-alive입니다. OLLAMA_KEEP_ALIVE는 모든 모델의 기본값을 바꿉니다. 값을 0으로 하면 메모리를 바로 돌려받는 대신 매번 첫 답이 느려집니다.

대체로 필요한 메모리는 모델 파일의 크기에 대화를 위한 공간을 더한 만큼입니다. 매개변수가 80억 개인 모델은 일반적인 압축 수준에서 약 5GB이고, 300억 개인 모델은 약 20GB입니다. ollama list에 나오는 디스크상의 크기가 좋은 첫 추정치입니다.

사람들이 놓치는 부분은 컨텍스트 길이입니다. 모델이 한 번에 염두에 둘 수 있는 텍스트의 양이며, 채우든 채우지 않든 모델이 로드될 때 그만큼의 메모리가 따로 잡힙니다. 작은 모델에 긴 컨텍스트를 쓰면 모델 자체보다 더 많이 쓸 수 있습니다. ollama ps에 나오는 크기가 파일 크기보다 훨씬 크다면 컨텍스트 때문입니다.

정직한 확인 방법은 모델을 로드하고 평소 쓰는 앱을 연 상태에서 메모리 압력을 보는 것입니다. 녹색이면 맞는 것입니다. 노란색이면 macOS가 공간을 만들려고 메모리를 압축하고 있으며, 조금 느려집니다. 빨간색이면 디스크로 스왑하고 있으며, 모델과 Mac 모두 느려집니다. 그래픽 칩에 다 들어가지 못해 일부가 프로세서에서 실행되는 모델도 훨씬 느립니다. ollama ps를 실행하면 어떻게 나뉘었는지 나옵니다.

같은 모델의 더 작은 버전은 대개 품질은 조금만 떨어지고 메모리는 훨씬 덜 씁니다. 16GB Mac에서는 약 8GB까지의 모델이 작업할 여유를 남겨 줍니다. Mac이 메모리를 어떻게 함께 쓰는지는 통합 메모리를 참고하세요.

모델을 로컬에서 실행하는 앱이라면 모두 마찬가지입니다. LM Studio는 꺼내거나(eject) 유휴 시간이 다할 때까지 모델을 로드된 채로 두며, 윈도우 상단에 로드된 모델을 보여 줍니다. 모델을 대신 실행해 주는 편집기와 채팅 앱도 보이지 않는 곳에서 똑같이 합니다. 어떤 앱이 붙잡고 있든 그 메모리는 모델입니다.