Local AI Agents

Foundry Local आणि Qwen सह स्थानिक AI एजंट तयार करणे

Lesson 17 – Creating Local AI Agents साठी सहाय्यक कौशल्य. वापरकर्त्याला एक असा एजंट तयार करण्यात मदत करण्यासाठी वापरा जो विचार करतो, टूल्स कॉल करतो, आणि माहिती संपूर्णपणे त्यांच्या स्वतःच्या मशीनवर शोधतो — कोणताही क्लाउड इन्फरन्स नाही. सगळ्या शिफारसी धड्यांच्या सामग्री आणि चालवता येणाऱ्या नोटबुकमध्ये आधारित करा.

ट्रिगर्स

जेव्हा एखाद्या शिकणाऱ्याला खालीलप्रमाणे करायचं असेल तेव्हा हे कौशल्य सक्रिय करा:

• गोपनीयता, खर्च किंवा ऑफलाइन कारणांसाठी एजंट पूर्णपणे डिव्हाइसवर चालवा.
• Foundry Local सह मॉडेल स्थानिक स्वरूपात चालवा आणि OpenAI-सुसंगत एंडपॉइंटद्वारे कनेक्ट करा.
• विश्वासार्ह स्थानिक टूल कॉलसाठी Qwen फंक्शन-कॉलिंग मॉडेल वापरा.
• स्थानिक RAG (Chroma) किंवा स्थानिक MCP सर्व्हर जोडा.
• हायब्रिड स्थानिक/क्लाउड रूटिंग धोरण डिझाइन करा.

मुख्य मानसिक मॉडेल

SLM गोपनीयता, खर्च आणि ऑफलाइन ऑपरेशनसाठी व्यापù वाढवण्यापेक्षा स्वल्पवृत्त करणारे आहे. यशस्वी धोरण: SLM ला आयोजित करण्यासाठी द्या आणि टूल्सना महत्त्वाच्या कामांसाठी द्या. मॉडेलला कोडबेस माहित असण्याची गरज नाही — त्याला केव्हा read_file आणि search_docs कॉल करायचे हे माहित असणे आवश्यक आहे. हे SLM च्या सामर्थ्याकडे खेळते (मर्यादित निर्णय जसे की टूल निवड) आणि त्याच्या कमकुवतपणापासून दूर (विस्तृत ज्ञान, दीर्घ बहूहॉप विचार).

हे विशिष्ट घटक का?

• Foundry Local एक OpenAI-सुसंगत HTTP एंडपॉइंट उघडतो, त्यामुळे क्लाउड एजंट कोड फक्त base_url बदलून (आणि स्थानिक प्लेसहोल्डर API की वापरून) स्थानांतरित होतो. तो मशीन साठी सर्वोत्तम बिल्ड (CPU/GPU/NPU) आपोआप निवडतो.
• Qwen मॉडेल्स फंक्शन कॉलिंगसाठी प्रशिक्षित आहेत आणि सुसंगतपणे सुव्यवस्थित टूल कॉल्स तयार करतात — त्यामुळे स्थानिक चॅट मॉडेल स्थानिक एजंट मध्ये परिवर्तित होते.
• Chroma इन-प्रोसेस चालतो आणि डिस्कवर व्हेक्टर संग्रहित करतो, त्यामुळे संपूर्ण RAG पाइपलाइन (एम्बेड → स्टोअर → रिट्रीव्ह → रिझन) स्थानिक राहतो.
• MCP एक ट्रान्सपोर्ट आहे, क्लाउड सेवा नाही: MCP सर्व्हर stdio वर स्थानिकपणे चालू शकतो.

सेटअप अत्यावश्यक

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # स्थानिक प्लेसहोल्डर

~8 GB RAM हे वास्तववादी किमान आहे; GPU/NPU मदत करतो पण आवश्यक नाही.

पुनरुच्चारासाठी मुख्य नमुने

शिकणाऱ्याला खालील नोटबुककडे निर्देश करा 17-local-agent-foundry-local.ipynb:

• सँडबॉक्स टूल्स: प्रत्येक फायली टूल पथ निराकरण करतो आणि एका प्रकल्प रूटच्या बाहेर काहीही नाकारतो — अगदी स्थानिक देखील, टूल वापरकर्त्याच्या परवानग्यांसह चालतो.
• टूल कॉलिंग लूप: OpenAI टूल्स स्कीमा वापरून टूल्स नोंदवा, स्थानिकपणे मागवलेले टूल्स चालवा, निकाल परत द्या, अंतिम उत्तर मिळेपर्यंत पुन्हा करा.
• स्थानिक RAG: Chroma संग्रहात डॉक्युमेंट अपसर्ट करा; search_docs टॉप-k खंड परत करतो.
• स्थानिक MCP: stdio वर स्थानिक सर्व्हरशी कनेक्ट करा; त्याला प्रकल्प निर्देशिकेपर्यंत मर्यादित करा आणि त्याचे आउटपुट सत्यापित करा.

हायब्रिड राऊटिंग (स्थानिक एक मॉडेल म्हणून)

हे धडा 16 मधील मॉडेल-राऊटिंग कल्पनेचे प्रतिबिंब आहे, जिथे वर्कस्टेशन ही एक मार्ग आहे. असे डिझाइन प्राधान्य द्या जे स्थानिक पर्यायावर परत येतात जेणेकरून एजंटच्या गुणवत्तेत घट होते पण पूर्णपणे अयशस्वी होत नाही.

सहाय्यकासाठी गार्डरेल्स

• प्रत्येक फाइल/टूल ऑपरेशन सँडबॉक्स प्रोजेक्ट डायरेक्टरीपर्यंत मर्यादित ठेवा.
• जेव्हा शिकणाऱ्याचा उद्दिष्ट गोपनीयता/ऑफलाइन असेल तेव्हा कोड किंवा डेटा क्लाउडकडे पाठवू नका — पाइपलाइन पूर्णपणे स्थानिक ठेवा.
• SLM च्या गुणवत्तेसाठी वास्तववादी अपेक्षा ठेवा; मॉडेलच्या लक्षात ठेवलेल्या ज्ञानापेक्षा टूल्स आणि RAG वर अवलंबून रहा.
• लक्षात ठेवा की धडा 17 मध्ये कोणता Foundry Responses एंडपॉइंट नाही, त्यामुळे क्लाउड स्मोक-टेस्ट क्रिया लागू होत नाही — नोटबुक स्थानिकपणे चालवून सत्यापित करा.

अस्वीकरण: हा दस्तऐवज AI भाषांतर सेवा Co-op Translator चा वापर करून अनुवादित केला आहे. जरी आम्ही अचूकतेसाठी प्रयत्न करतो, तरी कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या मूळ भाषेत अधिकृत स्रोत मानला पाहिजे. महत्त्वाची माहिती असल्यास, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराच्या वापरामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थलावणीसाठी आम्ही जबाबदार नाही.