Local AI Agents

Створення локальних агентів ШІ з Foundry Local і Qwen

Супутня навичка до Уроку 17 – Створення локальних агентів ШІ. Використовуйте її, щоб допомогти навчаючомуся створити агента, який робить висновки, виконує виклики інструментів і шукає документацію цілком на їхньому власному комп’ютері — без хмарного виводу. Ґрунтуйте кожну рекомендацію на змісті уроку та запускаємому ноутбуці.

Тригери

Активуйте цю навичку, коли навчальний хоче:

• Запустити агента повністю на пристрої з міркувань конфіденційності, вартості або автономної роботи.
• Обслуговувати модель локально за допомогою Foundry Local та підключатися через сумісну з OpenAI точку доступу.
• Використовувати модель Qwen з функцією виклику, щоб забезпечити надійні локальні виклики інструментів.
• Додати локальний RAG (Chroma) або локальний MCP сервер.
• Розробити гібридну стратегію маршрутизації локальної/хмарної обробки.

Основна ментальна модель

SLM поступається широтою заради конфіденційності, вартості та автономної роботи. Виграшна стратегія: дозвольте SLM координувати, а інструментам виконувати основну роботу. Модель не має потребувати знати кодову базу — їй потрібно знати, коли викликати read_file та search_docs. Це грає на сильних сторонах SLM (обмежені рішення як вибір інструмента) та уникає слабких (широкі знання, складні багатокрокові міркування).

Чому саме ці складові

• Foundry Local надає HTTP точку доступу, сумісну з OpenAI, тому код агента хмари переноситься лише зміною base_url (та використанням локального умовного API-ключа). Вона також автоматично вибирає найкращу збірку (CPU/GPU/NPU) для машини.
• Моделі Qwen натреновані для виклику функцій і стабільно формують коректні виклики інструментів — це перетворює локальну чат модель у локального агента.
• Chroma працює у процесі і зберігає вектори на диску, тому весь конвеєр RAG (вбудування → збереження → отримання → міркування) залишається локальним.
• MCP – це транспорт, а не хмарний сервіс: MCP сервер може працювати локально через stdio.

Основи налаштування

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # локальний заповнювач

~8 ГБ оперативної пам’яті — реалістичний мінімум; GPU/NPU допомагає, але не обов’язковий.

Ключові шаблони для відтворення

Покажіть навчаючому ноутбук 17-local-agent-foundry-local.ipynb:

• Інструменти у пісочниці: кожен файловий інструмент розв’язує шляхи й відмовляється від усього поза єдиним кореневим каталого проекту — навіть локально інструмент працює від імені користувача.
• Цикл викликів інструментів: реєструвати інструменти за схемою OpenAI, виконувати запитані інструменти локально, повертати результати, повторювати до фінальної відповіді.
• Локальний RAG: додавати документи в колекцію Chroma; search_docs повертає топ-k фрагментів.
• Локальний MCP: підключатися до локального сервера через stdio; обмежити його каталогом проекту й перевіряти вихідні дані.

Гібридна маршрутизація (локальний як один із моделей)

Це віддзеркалює ідею маршрутизації моделей з Уроку 16, де робоча станція — один з маршрутів. Надавайте перевагу дизайнам, які повертаються до локальної обробки, щоб якість агента погіршувалась, а не повністю припинялась.

Обмеження для помічника

• Тримайте всі операції з файлами/інструментами обмеженими пісочницею проекту.
• Не відправляйте код або дані в хмару, якщо заявлена мета навчального — конфіденційність або автономність — тримайте весь конвеєр локальним.
• Встановіть реалістичні очікування щодо якості SLM; покладайтеся на інструменти і RAG, а не на запам’ятовані моделі знання.
• Зверніть увагу, що у Уроці 17 немає точки доступу Foundry Responses, тому дія хмарного тесту не застосовується — перевіряйте, запускаючи ноутбук локально.

Відмова від відповідальності: Цей документ було перекладено за допомогою сервісу штучного інтелекту для перекладу Co-op Translator. Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.