Local AI Agents

Создание локальных AI-агентов с Foundry Local и Qwen

Сопроводительное умение для Урока 17 – Создание локальных AI-агентов. Используйте его, чтобы помочь ученику построить агента, который самостоятельно рассуждает, вызывает инструменты и ищет документацию полностью на своей машине — без облачных вычислений. Основывайте каждое предложение на содержании урока и запускаемой тетради.

Триггеры

Активируйте это умение, когда ученик хочет:

• Запустить агента полностью на устройстве ради конфиденциальности, экономии или офлайн-режима.
• Обслуживать модель локально с помощью Foundry Local и подключаться через OpenAI-совместимый эндпоинт.
• Использовать модель с функциональным вызовом Qwen для надежных локальных вызовов инструментов.
• Добавить локальный RAG (Chroma) или локальный MCP сервер.
• Разработать гибридную стратегию маршрутизации локально/в облаке.

Основная ментальная модель

SLM жертвует охватом ради конфиденциальности, экономии и офлайн-работы. Победная стратегия: дать SLM управлять и позволить инструментам выполнять тяжелую работу. Модели не нужно знать кодовую базу — ей нужно знать, когда вызывать read_file и search_docs. Это играет на сильных сторонах SLM (ограниченные решения, такие как выбор инструмента) и избегает слабостей (широкие знания, длинные многошаговые рассуждения).

Почему именно эти компоненты

• Foundry Local предоставляет OpenAI-совместимый HTTP эндпоинт, так что код облачного агента переносится изменением только base_url (и использованием локального фиктивного API ключа). Также автоматически выбирает лучшую сборку (CPU/GPU/NPU) для машины.
• Модели Qwen обучены для функциональных вызовов и стабильно генерируют корректные вызовы инструментов — это то, что превращает локальную чат-модель в локального агента.
• Chroma работает в том же процессе и хранит векторы на диске, поэтому весь конвейер RAG (встраивание → сохранение → извлечение → рассуждение) остаётся локальным.
• MCP — это транспорт, а не облачная служба: MCP сервер может работать локально через stdio.

Основные требования к настройке

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # локальный заполнитель

~8 ГБ ОЗУ — реалистичный минимум; GPU/NPU помогает, но не обязателен.

Основные паттерны для воспроизведения

Направьте ученика на тетрадь 17-local-agent-foundry-local.ipynb:

• Изолированные инструменты: каждый файловый инструмент разрешает пути и отклоняет всё за пределами одной корневой папки проекта — даже локально инструмент работает с разрешениями пользователя.
• Цикл вызова инструментов: зарегистрировать инструменты с схемой OpenAI, выполнять запрошенные инструменты локально, возвращать результаты, повторять до получения окончательного ответа.
• Локальный RAG: добавлять документы в коллекцию Chroma; search_docs возвращает топ-k фрагментов.
• Локальный MCP: подключаться к локальному серверу через stdio; ограничивать область действия проектной директорией и проверять его вывод.

Гибридная маршрутизация (локальный как одна из моделей)

Это отражает идею маршрутизации моделей из Урока 16, с рабочей станцией как одним из маршрутов. Предпочитайте конструкции, которые могут перейти к локальному варианту, чтобы агент деградировал в качестве, а не полностью выходил из строя.

Ограничения для помощника

• Каждый файловый/инструментальный вызов ограничивать изолированной проектной директорией.
• Не отправлять код или данные в облако, если целью ученика является конфиденциальность/офлайн — весь конвейер должен оставаться локальным.
• Устанавливать реалистичные ожидания по качеству SLM; опираться на инструменты и RAG, а не на запомненные моделью знания.
• Обратите внимание, что в Уроке 17 нет эндпоинта Foundry Responses, поэтому действие облачного smoke-теста не применяется — проверяйте, запуская тетрадь локально.

Отказ от ответственности: Этот документ был переведен с использованием сервиса машинного перевода Co-op Translator. Несмотря на наши усилия по обеспечению точности, имейте в виду, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обратиться к профессиональному человеческому переводу. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования этого перевода.