Local AI Agents

Креирање Локалних AI Агената са Foundry Local и Qwen

Вештина пратилац за Лекцију 17 – Креирање Локалних AI Агената. Користите је да помогнете ученику да направи агента који резонује, позива алате и претражује документацију у потпуности на свом рачунару — без облачног извршавања. Свака препорука треба да се заснива на садржају лекције и покретачкој свесци.

Триггери

Активирајте ову вештину када ученик жели да:

• Покрене агента у потпуности локално због приватности, трошкова или рада без мреже.
• Сервира модел локално помоћу Foundry Local и повезује се преко OpenAI-совместивог крајњег тачку.
• Користи модел за Qwen позив функција да поуздано покреће локалне позиве алата.
• Дода локални RAG (Chroma) или локални MCP сервер.
• Дизајнира хибридну локалну/облачну стратегију рутирања.

Основни ментални модел

SLM жртвује ширину знања за приватност, трошкове и рад без мреже. Победничка стратегија: нека SLM оркестрира, а алати нека обављају тежак посао. Модел не мора да зна код — треба да зна када да позове read_file и search_docs. Ово је снажна страна SLM-а (ограничене одлуке као што је избор алата) и слабост му је (опште знање, дуго мулти-хоп расуђивање).

Зашто баш ови делови

• Foundry Local пружа OpenAI-совместиви HTTP крајњи тачку, тако да се код облачног агента преноси само промјеном base_url (и коришћењем локалног API кључа). Аутоматски бира најбољу верзију (CPU/GPU/NPU) за рачунар.
• Qwen модели су обучени за позивање функција и конзистентно емитују добро формиране позиве алата — то претвара локални chat модел у локални agent.
• Chroma ради у истом процесу и чува векторе на диску, тако да читав RAG процес (ендебд → чување → преузимање → резоновање) остаје локалан.
• MCP је транспорт, а не облачна услуга: MCP сервер може да ради локално преко stdio.

Неопходна подешавања

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # локални заменика

~8 GB RAM-а је реалан минимум; GPU/NPU помаже али није обавезан.

Кључни обрасци за репродукцију

Укажите ученику на свеску 17-local-agent-foundry-local.ipynb:

• Песак кутија алати: сваки алат који ради са датотекама разреше путање и одбије било шта ван једног корена пројекта — чак и локално, алат ради са корисничким дозволама.
• Лупа позива алата: региструјте алате према OpenAI шеми алата, извршавајте тражене алате локално, убацујте резултате назад, понављајте док не добијете коначни одговор.
• Локални RAG: додајте документа у Chroma колекцију; search_docs враћа топ-k сегменте.
• Локални MCP: повежите се са локалним сервером преко stdio; ограничите га на директоријум пројекта и верификујте његове излазе.

Хибридно рутирање (локално као један од модела)

Ово огледа идеју рутирања модела из Лекције 16, са радном станицом као једном од рута. Преферирајте дизајне који се враћају на локално тако да агент деградира квалитет уместо да потпуно не успе.

Заштитне мере за помоћника

• Ограничите сваки рад са датотекама/алатима на песак кутију пројекта.
• Не шаљите код или податке у облак када је циљ ученика приватност/рад без мреже — држите цео процес локално.
• Поставите реалне очекивања за квалитет SLM-а; ослоните се на алате и RAG, а не на меморисано знање модела.
• Имајте у виду да Лекција 17 нема Foundry Responses крајњу тачку, па акција облачног тестирања не важи — верификујте покретањем свеске локално.

Изјава о одрицању одговорности: Овај документ је преведен коришћењем услуге за аутоматски превод Co-op Translator. Иако тежимо тачности, имајте у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода.