Посібники/Ollama використовує забагато памʼяті

Ollama використовує забагато памʼяті на Mac? Як побачити, що завантажено, і вивантажити це

Atta 🐬

Засновник Vitals

Опубліковано

Запитати ШІ ChatGPT Claude Perplexity AI Mode Grok Markdown

Коротка відповідь

Ollama тримає модель у памʼяті пʼять хвилин після останньої відповіді, щоб на наступне запитання відповісти швидко. Тому вона займає кілька гігабайтів і тоді, коли ви вже нею не користуєтеся. Виконайте ollama ps, щоб побачити, які моделі завантажено і коли кожну буде вивантажено, а ollama stop з назвою моделі — щоб вивантажити її відразу. Скільки памʼяті займає модель, залежить від її розміру й довжини контексту, з якою ви її запускаєте. Vitals, системний монітор для Mac, показує в смузі меню памʼять Ollama, навантаження графічного процесора й навантаженість памʼяті Mac.

Як побачити й звільнити памʼять Ollama

  1. 01 У Терміналі виконайте ollama ps. Кожен рядок — модель у памʼяті з її розміром, тим, чи працює вона на графічному процесорі, і часом до вивантаження.
  2. 02 Вивантажте модель відразу командою ollama stop з її назвою, наприклад ollama stop llama3.2. Памʼять звільниться за секунду-дві.
  3. 03 Відкрийте Монітор активності, натисніть «Памʼять» і подивіться на «Навантаженість памʼяті» внизу. Зелений колір означає, що модель вміщається. Жовтий або червоний, коли модель завантажено, означає, що вона завелика з огляду на все інше відкрите.
  4. 04 Щоб моделі вивантажувалися раніше, задайте, скільки часу їх тримати. У Терміналі виконайте launchctl setenv OLLAMA_KEEP_ALIVE 1m, потім завершіть Ollama через її значок у смузі меню й відкрийте знову.
  5. 05 Якщо Mac бракує памʼяті щоразу, коли завантажено модель, скористайтеся меншою моделлю або меншою версією тієї самої. ollama list показує наявні моделі та їхні розміри.

Значення keep-alive 0 вивантажує модель, щойно вона відповіла; -1 тримає її завантаженою, доки ви її не зупините. Програми, що працюють з Ollama, можуть задавати власне значення з кожним запитом, тому модель іноді залишається довше, ніж передбачає ваш параметр.

Запустити модель на власному Mac означає тримати її в памʼяті всю й одночасно. Mac із чипом Apple ділить один пул памʼяті між процесором і графічним процесором, тож модель, якій деінде потрібна окрема відеокарта, тут вміщається, але бере памʼять із того самого запасу, що й ваші програми. Модель на 8 ГБ на Mac із 16 ГБ залишає 8 ГБ на все інше. Ollama не має витоку, коли займає стільки; вона тримає модель. Таблиця показує, від чого залежить це число.

Від чого залежить памʼять Ollama

Що ви бачитеЧомуЩо робити
Кілька ГБ зайнято після завершення чату Модель залишається завантаженою пʼять хвилин ollama stop або коротший keep-alive
Більше памʼяті, ніж розмір файлу моделі Контекст, з яким ви її запускаєте, теж потребує памʼяті Скористайтеся меншою довжиною контексту
Дві моделі в памʼяті одночасно Другу модель запитали до того, як першу було вивантажено ollama ps, потім зупиніть ту, якою не користуєтеся
Навантаженість памʼяті жовта чи червона, Mac повільний Модель завелика для вільної памʼяті Менша модель або закрийте інші програми
Повільні відповіді й зайнятий процесор Частина моделі не вмістилася на графічному процесорі ollama ps показує розподіл; скористайтеся меншою моделлю

Чому Ollama тримає моделі завантаженими

Завантажити модель означає прочитати гігабайти з диска в памʼять, а це триває від кількох секунд до хвилини. Якби так було з кожним запитанням, кожна відповідь була б повільною, тому Ollama тримає модель пʼять хвилин після останнього використання, а потім вивантажує. Кожне нове запитання починає відлік заново. Якщо якась програма на вашому Mac щокілька хвилин щось питає в моделі, наприклад автодоповнення в редакторі, модель ніколи не вивантажується.

Цей параметр називається keep-alive. OLLAMA_KEEP_ALIVE змінює типове значення для всього; значення 0 відразу повертає памʼять ціною повільної першої відповіді щоразу.

Скільки памʼяті потрібно моделі

Зазвичай памʼять — це розмір файлу моделі плюс місце для розмови. Модель на 8 мільярдів параметрів зі звичайним стисненням займає близько 5 ГБ, на 30 мільярдів — близько 20 ГБ. Розмір на диску, який показує ollama list, — добра перша оцінка.

Довжину контексту часто не враховують. Це обсяг тексту, який модель може тримати в увазі одночасно, і памʼять для нього резервується під час завантаження моделі, хоч би ви його заповнили, хоч ні. Довгий контекст на малій моделі може займати більше, ніж сама модель. Якщо ollama ps показує розмір значно більший за розмір файлу, причина в контексті.

Чи вміщається модель на вашому Mac?

Чесна перевірка — навантаженість памʼяті із завантаженою моделлю й відкритими звичними програмами. Зелена: вміщається. Жовта: macOS стискає памʼять, щоб звільнити місце, і все трохи сповільнюється. Червона: відбувається вивантаження на диск, і повільними стають і модель, і Mac. Модель, що частково працює на процесорі, бо не вмістилася на графічному процесорі, теж значно повільніша; ollama ps показує, як її розподілено.

Менша версія тієї самої моделі зазвичай мало втрачає в якості й значно менше займає памʼяті. На Mac із 16 ГБ моделі приблизно до 8 ГБ залишають місце для роботи. Про те, як Mac розподіляє памʼять, див. уніфікована памʼять.

LM Studio та інші програми

Те саме стосується будь-якої програми, що запускає моделі локально. LM Studio тримає модель завантаженою, доки ви її не вивантажите або не закінчиться час простою, і показує завантажені моделі вгорі свого вікна. Редактори й програми чату, які запускають модель для вас, роблять те саме непомітно. Памʼять — це модель, хоч би яка програма її тримала.

Що додає Vitals

Vitals показує, скільки завантажена модель коштує Mac, там, де це видно під час роботи.

  • Памʼять Ollama одним рядком з урахуванням її допоміжних процесів
  • Навантаженість памʼяті й вільна памʼять у смузі меню, щоб одразу бачити, чи вміщається модель
  • Навантаження графічного процесора в смузі меню й на власній вкладці, з програмами, що його використовують
  • Сповіщення, коли памʼять програми постійно зростає
  • Яка програма використала найбільше енергії, погодинно: запуск моделі — одна з найважчих речей, які Mac робить від акумулятора

Варто знати

  • Vitals показує памʼять, яку займає Ollama, а не те, яку модель завантажено. Це показує ollama ps.
  • Vitals не вивантажує моделі. Це робить ollama stop.
Отримати Vitals за $15 $9 за рік оновлень або $15 назавжди під час запуску, $39 після. Одна оплата, повернення коштів протягом 14 днів.

Що питають люди

Чому Ollama використовує стільки памʼяті?

Вона тримає модель у памʼяті. Моделі залишаються завантаженими пʼять хвилин після останньої відповіді. Виконайте ollama ps, щоб побачити, що завантажено, і ollama stop з назвою моделі, щоб її вивантажити.

Як вивантажити модель в Ollama?

Виконайте ollama stop з назвою моделі. Щоб моделі самі вивантажувалися раніше, задайте для OLLAMA_KEEP_ALIVE коротший час.

Як змінити, скільки часу Ollama тримає модель завантаженою на Mac?

Виконайте launchctl setenv OLLAMA_KEEP_ALIVE 1m у Терміналі з потрібним часом, потім завершіть і знову відкрийте Ollama. Вкажіть 0, щоб вивантажувати відразу, або -1, щоб тримати моделі завантаженими.

Скільки памʼяті потрібно, щоб запустити модель в Ollama?

Приблизно розмір файлу моделі плюс місце для контексту. На Mac із 16 ГБ моделі приблизно до 8 ГБ залишають місце для інших програм.

Чому Ollama використовує більше памʼяті, ніж розмір моделі?

Памʼять для довжини контексту резервується під час завантаження моделі. Довгий контекст може додати кілька гігабайтів. Якщо він вам не потрібен, запускайте модель з меншим контекстом.

Чи використовує Ollama памʼять, коли я нею не користуюся?

Лише пʼять хвилин після останньої відповіді, якщо якась програма не продовжує щось у неї питати або час keep-alive не збільшено. Після цього модель вивантажується, і Ollama використовує дуже мало.

Чи є програма, яка показує, чи вміщається локальна модель у памʼять мого Mac?

Vitals показує в смузі меню навантаженість памʼяті, вільну памʼять і навантаження графічного процесора, тож ви бачите, скільки коштує завантажена модель, під час роботи.

У глосарії

Інші посібники