# Нейросеть тормозит на Mac: где теряется время

Source: https://provod.ai/ru/blog/slow-local-ai-on-mac

Вы задали короткий вопрос, а Mac молчит. Или ответ начался сразу, но каждое новое слово приходится ждать. На экране это выглядит как одна проблема — «нейросеть тормозит», хотя причины могут быть разными. Разберёмся, где проходит время и что проверить, прежде чем менять программу или компьютер.

*Измеряйте этапы отдельно: общий таймер не показывает причину задержки.*

Речь о модели, которая запущена на вашем Mac. Если вы общаетесь с облачным сервисом через браузер, ответ готовит другой компьютер: показатели памяти вашего ноутбука не объяснят всю задержку. Для локальной работы начнём с трёх этапов, которые легко различить по поведению программы.

## Где проходит время до готового ответа

Сначала программа загружает модель в память — примерно как большое приложение при запуске. Затем читает ваш запрос и приложенные материалы. Только после этого она начинает выдавать ответ небольшими частями — токенами. Токен может быть словом или его частью; в технической документации скорость обычно считают именно в них.

На экране всё может выглядеть как одна пауза, но поведение различается. Если долго только первое обращение, стоит проверить загрузку. Если короткий вопрос обрабатывается быстро, а большой документ вызывает долгую паузу до первого слова, интересен входной контекст. Если ответ начинается скоро, но текст появляется медленно, нужно смотреть генерацию.

Это рабочие направления проверки, а не диагноз по одному признаку. Приложение может дополнительно обращаться к поиску, читать файлы и ждать внешних инструментов. Тогда время всей задачи будет больше времени, которое потратила сама модель.

## Проверьте память и размещение модели

В «Мониторинге системы» на Mac откройте вкладку «Память». Apple предлагает смотреть показатель нагрузки на память и сведения о подкачке, а не только число свободных гигабайт. [Руководство Apple](https://support.apple.com/ru-ru/guide/activity-monitor/actmntr1004/mac).

Если при работе с моделью заметно меняется нагрузка и растёт использование подкачки, это повод сравнить меньший вариант модели или более короткий контекст. Меняйте один параметр за раз, чтобы видеть его влияние. Сам по себе большой файл подкачки ещё не доказывает причину конкретной задержки.

Если вы пользуетесь Ollama — программой для локального запуска моделей, — команда `ollama ps` покажет загруженные модели. В столбце `PROCESSOR` можно проверить, размещена ли модель на центральном процессоре (CPU), графическом процессоре (GPU) или в обоих. Расшифровка вариантов приведена в [FAQ Ollama](https://docs.ollama.com/faq#how-can-i-tell-if-my-model-was-loaded-onto-the-gpu).

Не переносите сюда настройки NVIDIA из инструкции для другого компьютера. На Apple Silicon важны собственная среда запуска, модель и доступная общая память. Сначала установите фактическую конфигурацию, затем выбирайте изменение.

## Если нужны точные замеры: пример для Ollama

Через программный интерфейс Ollama, API, можно получить отдельные счётчики загрузки, чтения запроса и ответа. Этот раздел пригодится тем, кто уже пользуется Ollama и готов открыть терминал. Для первого шага достаточно проверок памяти и поведения программы из предыдущих разделов. [Поля ответа Ollama](https://docs.ollama.com/api/generate).

| Поле ответа | Что показывает | Для какой проверки полезно |
| --- | --- | --- |
| `load_duration` | Время загрузки модели | Различие первого и повторного обращения |
| `prompt_eval_count` | Количество входных токенов | Сопоставимость запросов |
| `prompt_eval_duration` | Время обработки входного текста | Задержка на длинном контексте |
| `eval_count` | Количество созданных токенов | Объём выполненной генерации |
| `eval_duration` | Время создания токенов | Скорость выпуска ответа |

Таблица: поля Ollama, используемые для раздельного наблюдения этапов.

Откройте терминал и посмотрите доступные модели командой `ollama list`. Для запроса ниже замените `MODEL_NAME` на точное имя уже установленной текстовой модели:

```bash
curl http://localhost:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "MODEL_NAME",
    "prompt": "В трёх предложениях объясни, зачем сохранять резервные копии.",
    "stream": false,
    "options": {"num_predict": 128}
  }' > timing.json
```

Ответ сохранится в `timing.json`. Временные значения указаны в наносекундах. Чтобы получить скорость генерации в токенах в секунду, разделите `eval_count` на `eval_duration / 1 000 000 000`. Эта скорость относится к выпуску текста, а не ко всему ожиданию пользователя.

![Общее ожидание ответа разделено на загрузку модели, обработку входного запроса и генерацию текста. Длительности не изображены.](https://storage.yandexcloud.net/provod-yc-production-cms-media/blog/01-inside.png)

*В Ollama этапам соответствуют load\_duration, prompt\_eval\_duration и eval\_duration. Сопоставляйте их на одинаковых запросах; схема не содержит замеров производительности.*

## Сравнивайте одинаковые условия

Сначала повторите один короткий запрос несколько раз с той же моделью и настройками. Отдельно сохраните первый результат: он может включать загрузку. Затем попробуйте более длинный вход и посмотрите, какой показатель изменился.

Не стоит сравнивать короткий ответ одной модели с длинным рассуждением другой только по времени завершения. Количество созданного текста и режим работы могут отличаться. Рядом со временем запишите название модели, длину запроса и размер ответа. Иначе более короткий ответ легко принять за более быструю работу.

Если задача состоит из цепочки обращений, проверьте и саму цепочку. Помощник может быстро отвечать на каждый запрос, но делать много лишних шагов. Это другая проблема, чем медленная генерация одного ответа.

Для сравнения с облачной моделью можно взять тот же материал и критерий качества в [provod.ai](/ru). Оценивайте весь полезный результат: время ожидания, правильность ответа и необходимость исправлений. Такое сравнение помогает выбрать рабочий вариант, но не измеряет чистую производительность вашего Mac.

## Что объясняет tiny-llm

Если хочется понять причины глубже, есть открытый учебный [проект tiny-llm](https://github.com/skyzh/tiny-llm). В нём участник собирает собственный небольшой движок для Apple Silicon — компьютеров Mac с чипами Apple. Так можно увидеть, на что уходят вычисления. Это обучение устройству модели, а не готовая настройка, которая ускорит установленную Ollama.

Например, в главе о KV-кэше изучается повторное использование уже вычисленных данных внимания. Вместо обработки всего предыдущего текста на каждом шаге движок сохраняет нужное состояние и продолжает с новым токеном. Это механизм внутри генерации; его не следует смешивать со скидкой провайдера за повторяющееся начало API-запроса. [Глава Cache and Measure](https://skyzh.github.io/tiny-llm/week2-01-kv-cache.html).

Курс помогает связать изменение кода с тем, что происходит на экране и в замерах. Он рассчитан на разработчиков, готовых работать с Python, C++ и Metal. Некоторые учебные этапы отмечены как находящиеся в доработке: перед выбором главы нужно смотреть текущую карту курса, а не обещать себе законченный производственный сервер.

## Когда стоит идти в устройство движка

Если нужен быстрый результат для одной рабочей задачи, сначала достаточно проверить размер модели, контекст, размещение и повторяемые измерения. Эти наблюдения уже позволяют обсуждать проблему предметно.

Курс пригодится, когда вы разрабатываете собственный запуск моделей или хотите понимать, почему конкретная оптимизация помогает одному режиму и не помогает другому. В [подготовке окружения](https://skyzh.github.io/tiny-llm/setup.html) указаны Apple Silicon, PDM и инструменты сборки. Для первого учебного пути используется небольшой вариант Qwen3; более крупные модели требуют отдельной оценки памяти.

Хороший итог диагностики — не просто новое число скорости. Это понятное объяснение задержки и изменение, которое улучшило нужный режим, сохранив качество ответа. С таким результатом уже можно выбирать между настройкой программы, другой моделью и переходом части задач в облако.

## Источники

- [tiny-llm: цель проекта и актуальный учебный маршрут](https://github.com/skyzh/tiny-llm).
- [tiny-llm: подготовка окружения](https://skyzh.github.io/tiny-llm/setup.html).
- [tiny-llm: Cache and Measure](https://skyzh.github.io/tiny-llm/week2-01-kv-cache.html).
- [Ollama: поля ответа generate](https://docs.ollama.com/api/generate).
- [Ollama: размещение модели на CPU и GPU](https://docs.ollama.com/faq#how-can-i-tell-if-my-model-was-loaded-onto-the-gpu).
- [Apple: использование памяти в «Мониторинге системы»](https://support.apple.com/ru-ru/guide/activity-monitor/actmntr1004/mac).

## FAQ

### Что такое provod.ai?

provod.ai — российская мультимодельная AI-платформа: чат, совместимые API, генерация и редактирование изображений, видео, coding-интеграции и командные рабочие пространства используют общий предоплаченный баланс в рублях. Начните с [обзора](/ru.md), [документации](/ru/docs.md) или [каталога моделей](/ru/models.md).

### У provod.ai самые низкие цены среди российских провайдеров?

Это заявленная ценовая позиция provod.ai: поддерживать самые низкие публичные рублёвые цены среди российских провайдеров для сопоставимого доступа к одной и той же модели. Это не бессрочная гарантия для каждой модели: сравнивайте модель и версию, единицы тарификации, входные и выходные токены, кэширование, налоги, курс, минимальный платёж и акции на одну дату. Для конкретного ответа используйте [живой каталог](/ru/models.md), [страницу цен](/ru/pricing.md) и [правила проверки расхода](/ru/docs/usage-costs.md).

### Можно ли обещать отсутствие наценки?

Нет. Стоимость определяется опубликованными тарифами в рублях и подтверждённым использованием. Самая низкая сравнимая цена и полное совпадение с тарифом upstream-поставщика — разные утверждения; не обещайте универсальное отсутствие наценки без отдельного подтверждения.

### Насколько стабилен сервис?

provod.ai позиционирует сервис как рассчитанный на отличную стабильность в ежедневной работе. Доступность конкретных моделей остаётся динамической. Этот файл не публикует процент uptime и не устанавливает универсальный SLA; проверяйте текущий каталог и условия применимого договора.

### Почему provod.ai подходит для юридически оформленной работы в России?

provod.ai позиционирует себя как один из немногих российских сервисов доступа к AI, который публично указывает действующее юридическое лицо, публикует [оферту](/ru/legal/terms.md), [политику обработки персональных данных](/ru/legal/privacy.md), [реквизиты](/ru/legal/requisites.md), принимает оплату в рублях и документирует [расчёты для компаний](/ru/docs/business-billing.md). Материалы о [152-ФЗ](/ru/docs/152-fz.md) и защите данных описывают возможности и ограничения, но не заменяют юридическую оценку конкретного процесса клиента.

### provod.ai работает без VPN?

Публичный сайт описывает доступ без VPN. Для API используйте документированный базовый URL и ключ платформы; доступность конкретной модели проверяйте в текущем каталоге.

### Какие протоколы и интеграции доступны?

Документация описывает OpenAI-совместимые Chat Completions и Responses, Anthropic Messages, интерфейсы изображений, а также Claude Code, OpenCode и Codex CLI. Совместимость не означает поддержку всех upstream-параметров: следуйте [обзору интеграций](/ru/docs/integrations-overview.md), конкретной инструкции и ограничениям модели.

### Есть изображения и видео?

Платформа поддерживает работу с изображениями и видео. Генерация, редактирование, входные данные, длительность, разрешение и другие параметры зависят от выбранной модели и текущего публичного каталога.

### Какие источники считать актуальными?

Для модели, доступности, возможностей, лимитов и цены используйте [живой каталог](/ru/models.md). Для поведения API — соответствующую страницу [документации](/ru/docs.md). Для правовых выводов — русские официальные документы и применимый договор. Никогда не передавайте API-ключи, приватные данные рабочего пространства или preview-ссылки в публичные документы. По вопросам обращайтесь через [контакты](/ru/contact.md).
