gabrielmoreira Vytváření lokálních AI agentů s Foundry Local a Qwen
Doprovodná dovednost pro Lekci 17 – Vytváření lokálních AI agentů. Použijte ji k tomu, aby si učenec vytvořil agenta, který uvažuje, volá nástroje a hledá dokumentaci kompletně na svém vlastním počítači — bez využití cloudu. Všechny doporučení zakotvěte v obsahu lekce a spustitelném notebooku.
Spouštěče
Aktivujte tuto dovednost, když učenec chce:
- Spustit agenta zcela na zařízení kvůli ochraně soukromí, nákladům nebo offline provozu.
- Poskytovat model lokálně pomocí Foundry Local a připojit se přes OpenAI-kompatibilní endpoint.
- Použít model Qwen s voláním funkcí k spolehlivému lokálnímu volání nástrojů.
- Přidat lokální RAG (Chroma) nebo lokální MCP server.
- Navrhnout hybridní strategii směrování mezi lokálním a cloudovým modelem.
Základní mentální model
SLM vyměňuje rozsah za soukromí, nízké náklady a offline provoz. Vítězná
strategie: nechte SLM orchestraci a nástroje nechte dělat těžkou práci. Model
nemusí znát kódovou základnu — musí vědět, kdy zavolat
read_file a search_docs. To hraje na silné stránky SLM (omezena rozhodnutí
jako výběr nástroje) a vyhýbá se jeho slabině (široké znalosti, dlouhé multi-hop
uvažování).
Proč právě tyto komponenty
- Foundry Local zpřístupňuje OpenAI-kompatibilní HTTP endpoint, takže kód cloudového agenta se přenáší pouhou změnou
base_url(a využitím místního placeholder API klíče). Navíc automaticky vybírá nejlepší build (CPU/GPU/NPU) pro počítač. - Modely Qwen jsou trénovány pro volání funkcí a konzistentně generují dobře formátované volání nástrojů — to mění lokální chat model na lokální agenta.
- Chroma běží v rámci procesu a ukládá vektory na disk, takže celý RAG pipeline (embed → store → retrieve → reason) zůstává lokální.
- MCP je transport, nikoliv cloudová služba: MCP server může běžet lokálně přes
stdio.
Základy nastavení
foundry model run qwen2.5-7b-instruct
foundry service status
from foundry_local import FoundryLocalManager
from openai import OpenAI
manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key) # místní zástupný symbol
~8 GB RAM je realistické minimum; GPU/NPU pomůže, ale není nutná.
Klíčové vzory k reprodukci
Odkazujte učenče na notebook
17-local-agent-foundry-local.ipynb:
- Sandboxované nástroje: každý nástroj pro práci se soubory řeší cesty a odmítá vše mimo kořenový adresář jednoho projektu — i lokálně nástroj běží s oprávněními uživatele.
- Smyčka volání nástrojů: zaregistrujte nástroje pomocí OpenAI schématu nástrojů, spouštějte požadované nástroje lokálně, předávejte výsledky zpět, opakujte až do konečné odpovědi.
- Lokální RAG: vložte dokumenty do Chroma kolekce;
search_docsvrací top-k bloků. - Lokální MCP: připojte se k lokálnímu serveru přes
stdio; omezte ho na adresář projektu a validujte jeho výstupy.
Hybridní směrování (lokální jako jeden z modelů)
| Situace | Kde běží |
|---|---|
| Citlivá data / offline | Lokální SLM |
| Jednoduchý, omezený úkol | Lokální SLM (levný, rychlý) |
| Náročné multi-hop uvažování nad necitlivými daty | Cloudový model |
| Výpadek cloudu | Lokální SLM (plynulá degradace) |
Toto odráží myšlenku směrování modelu z Lekce 16, kdy pracovní stanice je jedna z cest. Upřednostňujte návrhy, které v případě potřeby přecházejí na lokální, aby agent degradoval v kvalitě, místo aby selhal úplně.
Ochranná opatření pro asistenta
- Každou operaci se soubory/nástroji omezte na sandboxovaný adresář projektu.
- Nezasílejte kód ani data do cloudu, pokud je cílem uživatele soukromí/offline provoz — udržujte celý pipeline lokální.
- Nastavte realistická očekávání ohledně kvality SLM; spoléhajte na nástroje a RAG spíše než na zapamatované znalosti modelu.
- Všimněte si, že Lekce 17 nemá endpoint Foundry Responses, takže testovací akce na cloud neplatí — ověřte spuštěním notebooku lokálně.
Prohlášení o omezení odpovědnosti: Tento dokument byl přeložen pomocí AI překladatelské služby Co-op Translator. Přestože usilujeme o co největší přesnost, mějte prosím na paměti, že automatizované překlady mohou obsahovat chyby nebo nepřesnosti. Originální dokument v jeho mateřském jazyce by měl být považován za autoritativní zdroj. Pro kritické informace se doporučuje profesionální lidský překlad. Nejsme odpovědní za jakékoli nedorozumění nebo nesprávné interpretace vzniklé použitím tohoto překladu.