gabrielmoreira Vytváranie lokálnych AI agentov s Foundry Local a Qwen
Doplňujúca zručnosť pre Lekciu 17 – Vytváranie lokálnych AI agentov. Použite ju na pomoc študentovi vybudovať agenta, ktorý uvažuje, volá nástroje a vyhľadáva dokumentáciu úplne na jeho vlastnom zariadení — bez cloudového vyhodnocovania. Každé odporúčanie podložte obsahom lekcie a spustiteľným notebookom.
Spúšťače
Aktivujte túto zručnosť, keď chce študent:
- Spustiť agenta úplne na zariadení z dôvodu ochrany súkromia, nákladov alebo offline prevádzky.
- Poskytnúť model lokálne pomocou Foundry Local a pripojiť sa prostredníctvom endpointu kompatibilného s OpenAI.
- Použiť model Qwen s volaním funkcií na riadenie spoľahlivých lokálnych volaní nástrojov.
- Pridať lokálny RAG (Chroma) alebo lokálny MCP server.
- Navrhnúť hybridnú stratégiu smerovania lokálne/vo cloude.
Základný mentálny model
SLM vymieňa šírku poznania za súkromie, náklady a offline prevádzku. Víťazná stratégia:
nechať SLM orchestráciu a nechať nástroje odviesť ťažkú prácu. Model nemusí poznať
kódovú základňu — potrebuje vedieť, kedy volať read_file a search_docs. To využíva
silu SLM (obmedzené rozhodnutia ako výber nástroja) a vyhýba sa jeho slabine (široké znalosti,
dlhé viacstupňové uvažovanie).
Prečo práve tieto časti
- Foundry Local sprístupňuje OpenAI-kompatibilný HTTP endpoint, takže kód cloudového agenta sa prenáša len zmenou
base_url(a použitím lokálneho dočasného API kľúča). Tiež automaticky vyberá najlepší build (CPU/GPU/NPU) pre zariadenie. - Modely Qwen sú trénované na volanie funkcií a konzistentne generujú správne volania nástrojov — tým sa lokálny chat model mení na lokálneho agenta.
- Chroma beží v procese a ukladá vektory na disk, takže celý RAG pipeline (embedding → ukladanie → vyhľadávanie → uvažovanie) zostáva lokálny.
- MCP je transport, nie cloudová služba: MCP server môže bežať lokálne cez
stdio.
Základné nastavenie
foundry model run qwen2.5-7b-instruct
foundry service status
from foundry_local import FoundryLocalManager
from openai import OpenAI
manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key) # lokálna zástupná značka
~8 GB RAM je realistické minimum; GPU/NPU pomáha, ale nie je povinné.
Kľúčové vzory na reprodukciu
Nasmerujte študenta na notebook
17-local-agent-foundry-local.ipynb:
- Izolované nástroje: každý súborový nástroj rieši cesty a odmieta čokoľvek mimo jednej koreňovej zložky projektu — aj lokálne nástroj beží s oprávneniami používateľa.
- Cyklické volanie nástrojov: zaregistrujte nástroje podľa OpenAI nástrojovej schémy, vykonávajte požadované nástroje lokálne, vráťte výsledky a opakujte, kým nedostanete konečnú odpoveď.
- Lokálny RAG: vložte dokumenty do Chroma kolekcie;
search_docsvráti najlepších k prvých fragmentov. - Lokálny MCP: pripojte sa k lokálnemu serveru cez
stdio; ohraničte ho na adresár projektu a validujte jeho výstupy.
Hybridné smerovanie (lokálne ako jeden z modelov)
| Situácia | Kde beží |
|---|---|
| Citlivé dáta / offline | Lokálny SLM |
| Jednoduchá, obmedzená úloha | Lokálny SLM (lacný, rýchly) |
| Náročné viacstupňové uvažovanie na necitlivých dátach | Cloudový model |
| Výpadok cloudu | Lokálny SLM (plynulý pokles kvality) |
Toto odráža myšlienku smerovania modelov z Lekcie 16, pričom pracovná stanica je jedna z ciest. Preferujte dizajny, ktoré sa vracajú k lokálnemu, aby agent degradoval vo kvalite namiesto úplného zlyhania.
Ochranné opatrenia pre asistenta
- Každá operácia so súbormi/nástrojmi musí byť ohraničená v izolovanom adresári projektu.
- Neodosielajte kód ani dáta do cloudu, ak je cieľom študenta súkromie/offline režim — udržiavajte celú linku lokálnu.
- Nastavte realistické očakávania pre kvalitu SLM; spoliehajte sa na nástroje a RAG skôr než na zapamätané vedomosti modelu.
- Všimnite si, že Lekcia 17 nemá žiadny Foundry Responses endpoint, takže cloudový smoke-test nie je použiteľný — overujte spustením notebooku lokálne.
Vyhlásenie o zodpovednosti: Tento dokument bol preložený pomocou AI prekladateľskej služby Co-op Translator. Hoci sa snažíme o presnosť, vezmite prosím na vedomie, že automatické preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho natívnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za žiadne nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.