gabrielmoreira Распоређивање скалабилних агената помоћу Microsoft Foundry
Помоћна вештина за Лекцију 16 – Распоређивање скалабилних агената. Користите је да помогнете ученику да премести агента из прототипа у скалабилно, посматрано продукционо распоређивање. Свака препорука треба да буде заснована на садржају лекције и радном бележнику који се може покретати; не измишљајте Foundry APIје.
Окидачи
Активирајте ову вештину када ученик жели да:
- Распореди агента у Microsoft Foundry као домаћинског агента и учини га верзионисаним/посматраним.
- Изабере између образаца распоређивања client-hosted, hosted-agent и agent-workflow.
- Дода моделско рутирање, кеширање одговора или ограничену конкурентност за контролу латенције и трошкова.
- Дода капију за процену тако да лоша верзија агента не може бити испоручена.
- Дода корак одобрења са човеком у петљи за радње високог ризика.
- Означи агента са OpenTelemetry праћењем ради продукционог посматрања.
- Направи smoke-test распоређеног агента као брзу проверу након распоређивања.
Основни ментални модел
Продукциони агент је углавном оперативни костур око модела (~80%), а не сам модел. Сваку препоруку повежите са неким од ових аспеката:
| Аспект | Прототип → Продукција |
|---|---|
| Хостирање | бележник → верзионисани хостовани сервис |
| Идентификатор | ваш az login → управљани идентитет + ограничен RBAC |
| Стање | у меморији → екстернализована нит/складиште меморије |
| Неуспех | трацебацк → покушаји, враћања, упозорења |
| Трошак | "неколико центи" → праћено, раутирано, кеширано, буџетирано |
| Квалитет | визуелна провера → аутоматизована капија за процену |
| Поверење | ви одобрите → политика + човек у петљи |
Образци распоређивања (изаберите један, или комбинујте)
- Client-hosted — логика петље ради у вашем процесу. Максимална контрола; ви управљате скалирањем/стањем.
- Hosted agent (Foundry Agent Service) — Foundry хостира петљу, чува нитове, спроводи RBAC/безбедност садржаја, приказује агента на порталу. Мања контрола, знатно мања оперативна површина.
- Agent workflow — више агената/алата састављено у граф са разгранатим тачкама, чворовима за одобрење и трајним контролним тачкама.
Животни циклус (петља која испоручује агента)
create → version → evaluate (gate) → deploy hosted → observe online → collect failures → repeat.
Офлајн процена је капија, не нешто споља — верзија се не
испоручује ако не прође праг. Онлајн посматрање враћа стварне неуспехе
у офлајн сет тестова.
Руковаоци за скалирање и трошкове (по приоритету)
- Правилна величина модела — користите најмањи модел који пролази капију за процену.
- Рутирање по сложености — мали/брзи модел за једноставне захтеве, велики модел за стварно размишљање (DIY класификатор или Foundry Model Router).
- Кеширање — служите скоро-дупликатне захтеве без позива модела.
- Дизајн без стања + ограничена конкурентност — екстернализујте стање; поновите са одлагањем.
Кључни образци за репродукцију
Укажите ученику на ове из бележника
16-python-agent-framework.ipynb:
- Обрада захтева: кеш → рутирај по сложености → праћење успона → изврши → кеширај.
- Капија за процену: оцењујте офлајн сет тестова; враћа
pass_rate >= thresholdи распоређује само ако је истинито. - Људско одобрење:
@tool(approval_mode="always_require")за радње као што су велики повраћаји средстава. - Праћење: умотајте сваки захтев у
tracer.start_as_current_span(...)и подесите атрибуте као што суrouted.model,customer.id.
Тестирање новораспоређеног агента
Након распореда, проверите да ли крајња тачка заиста одговара (зелено распоређивање може и даље бити
тихо). Користите AI Smoke Test
акцију преко .github/workflows/smoke-test.yml
са каталогом у tests/. Извршилац шаље сваки
упит као POST на POST {project_endpoint}/agents/{agent_name}/endpoint/protocols/openai/responses
и проверява текст одговора. Идентитет треба да има Azure AI User улогу на
Foundry пројектном опсегу; публика токена мора бити https://ai.azure.com/.
Наслањајте капије: smoke test (доступност/одговор, сваки распоред) → офлајн процена (довољно добра за отпрему, пре промоције) → онлајн процена (како се понаша у реалном окружењу, континуирано).
Контроле у предузећу
- RBAC: дајте сваком домаћинском агенту управљани идентитет са најмањим привилегијама.
- MCP у продукцији: третирајте сваки MCP сервер као непоуздану зону — закључајте верзију, ограничите идентитет, проверавајте излазе, ограничите стопу, никада не откривајте тајне.
Заштитне ограде за асистента
- Преферирајте канонски образац
FoundryChatClient(...)+provider.as_agent(...)који се користи кроз цео курс. - Не обећавајте резултате уживо из Azure које нисте проверили; препоручите smoke-test радни ток да потврдите распоређивање.
- Држите савете за процену и трошкове повезаним: процена поставља под за квалитет, рутирање/кеширање држе трошкове близу тог пода.
Изјава о одрицању одговорности: Овај документ је преведен коришћењем услуге за аутоматски превод Co-op Translator. Иако тежимо тачности, имајте у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода.