Gpu Dispatch

在把本地模型派往 GPU 时使用——调度推理任务、挑卡、或管理模型驻留。一卡一模型、不许溢出到内存、整个循环保温、循环结束才卸载、按实测真相放行。Trigger words: gpu, vram, gpu dispatch, model loading, keep alive, resident model, local inference, spill, warm. 中文触发词:显卡、显存、GPU 调度、模型加载、保活、驻留模型、本地推理、溢出、保温。

Tcuzzo b47b40a 4.0 KB Updated

File contents

Tcuzzo/backs-aios-skills/tree/main/i18n/zh-CN/skills/gpu-dispatch commit b47b40ae98

Frequently asked questions

npx skillmds@latest add tcuzzo/gpu-dispatch-7