VLM + Segmentation + Diffusion Engineering
Скилл охватывает три тесно связанных домена. Выбери нужный раздел и загрузи соответствующий reference-файл.
Навигация по доменам
| Задача |
Reference файл |
| Выбор модели сегментации, pipeline "текст → маски", VLM-стек, part-labeling |
references/vlm-segmentation.md |
| Диффузионные архитектуры, schedulers, обучение, LoRA, text encoder fusion |
references/diffusion-engineering.md |
| Два инстанса SAM3 на H100, MIG/MPS, memory, профилирование |
references/gpu-deployment.md |
Правило выбора: если вопрос смешивает темы (например, "как деплоить диффузионную модель на H100") — прочитай оба релевантных файла.
Быстрые ответы без чтения reference-файлов
Candidate pipeline "фраза → маски"
1. SAM3 PCS (текстовый концепт) → instance masks + boxes + scores
ИЛИ
Grounding DINO / OWLv2 / YOLO-World → boxes → SAM2.1 → masks
2. Part-labeling: отдельный классификатор по ROI + фиксированный словарь
Candidate diffusion pipeline
1. Backbone: UNet (просто) или DiT/Flow (масштабирование)
2. Latent diffusion (VAE → латенты → денойзер → VAE decode)
3. Text encoder: CLIP (SD), два CLIP (SDXL), Qwen3 (Flux.2 klein 9B)
4. Fine-tune: начинать с LoRA, full fine-tune только если нужно
5. Memory: AMP (BF16) → checkpointing → ZeRO/FSDP при масштабе
Two SAM3 instances on H100 (only after host inspection)
MIG can provide hardware partitioning where the inspected GPU, driver, current
MIG layout and workload support it. It changes host GPU configuration: preserve
the current layout and obtain explicit operational approval before any change.
MPS (fallback) → кооперативный шеринг, без строгой изоляции
Ключевые характеристики моделей (быстрая справка)
| Модель |
Параметры |
Лицензия |
Главная сильная сторона |
| SAM3 |
848M |
SAM License (gated) |
Open-vocab сегментация по тексту, все инстансы |
| SAM2.1-large |
model-card specific |
Apache-2.0 |
Видео-трекинг, интерактивная сегментация; reproduce any FPS on the target stack |
| SAM2.1-tiny |
model-card specific |
Apache-2.0 |
Lightweight variant; reproduce any FPS on the target stack |
| Florence-2-large |
770M |
MIT |
Унифицированные задачи через task prompt |
| EdgeTAM |
~SAM2-tiny |
Apache-2.0 |
16 FPS на iPhone 15 Pro Max, CoreML |
| Grounding DINO |
— |
Apache-2.0 |
Text-conditioned detection, boxes |
| YOLO-World |
— |
GPL-3.0 |
Real-time open-vocab OD, 52 FPS V100 |
Критические предупреждения
- SAM3: gated access на HF, кастомная SAM License — проверь перед продакшном
- YOLO-World: upstream states GPL-3.0 and supports commercial usage. GPL
obligations apply by default; obtain a separate commercial licence only when
the intended distribution or policy requires terms outside GPL, with legal
review for the specific product.
- Замена text encoder: не plug-and-play, нужен projection + переобучение cross-attention
- MIG vs MPS: только MIG даёт аппаратную изоляцию VRAM/SM; MPS — кооперативный шеринг
- For non-English prompts, compare the target model’s supported languages on a
representative evaluation set; do not silently translate or claim a universal
English advantage.
1---2name: vlm-segmentation3description: Choose and evaluate VLM or segmentation pipelines, including text-conditioned detection, masks, part labels, model-license constraints, and measured GPU deployment choices. Use when a task has a VLM or segmentation component; route pure diffusion prompting, training, or serving to its specialized skill.4---56# VLM + Segmentation + Diffusion Engineering78Скилл охватывает три тесно связанных домена. Выбери нужный раздел и загрузи соответствующий reference-файл.910## Навигация по доменам1112| Задача | Reference файл |13|--------|---------------|14| Выбор модели сегментации, pipeline "текст → маски", VLM-стек, part-labeling | `references/vlm-segmentation.md` |15| Диффузионные архитектуры, schedulers, обучение, LoRA, text encoder fusion | `references/diffusion-engineering.md` |16| Два инстанса SAM3 на H100, MIG/MPS, memory, профилирование | `references/gpu-deployment.md` |1718**Правило выбора:** если вопрос смешивает темы (например, "как деплоить диффузионную модель на H100") — прочитай оба релевантных файла.1920---2122## Быстрые ответы без чтения reference-файлов2324### Candidate pipeline "фраза → маски"25```261. SAM3 PCS (текстовый концепт) → instance masks + boxes + scores27 ИЛИ28 Grounding DINO / OWLv2 / YOLO-World → boxes → SAM2.1 → masks29302. Part-labeling: отдельный классификатор по ROI + фиксированный словарь31```3233### Candidate diffusion pipeline34```351. Backbone: UNet (просто) или DiT/Flow (масштабирование)362. Latent diffusion (VAE → латенты → денойзер → VAE decode)373. Text encoder: CLIP (SD), два CLIP (SDXL), Qwen3 (Flux.2 klein 9B)384. Fine-tune: начинать с LoRA, full fine-tune только если нужно395. Memory: AMP (BF16) → checkpointing → ZeRO/FSDP при масштабе40```4142### Two SAM3 instances on H100 (only after host inspection)43```44MIG can provide hardware partitioning where the inspected GPU, driver, current45MIG layout and workload support it. It changes host GPU configuration: preserve46the current layout and obtain explicit operational approval before any change.4748MPS (fallback) → кооперативный шеринг, без строгой изоляции49```5051---5253## Ключевые характеристики моделей (быстрая справка)5455| Модель | Параметры | Лицензия | Главная сильная сторона |56|--------|-----------|----------|------------------------|57| SAM3 | 848M | SAM License (gated) | Open-vocab сегментация по тексту, все инстансы |58| SAM2.1-large | model-card specific | Apache-2.0 | Видео-трекинг, интерактивная сегментация; reproduce any FPS on the target stack |59| SAM2.1-tiny | model-card specific | Apache-2.0 | Lightweight variant; reproduce any FPS on the target stack |60| Florence-2-large | 770M | MIT | Унифицированные задачи через task prompt |61| EdgeTAM | ~SAM2-tiny | Apache-2.0 | 16 FPS на iPhone 15 Pro Max, CoreML |62| Grounding DINO | — | Apache-2.0 | Text-conditioned detection, boxes |63| YOLO-World | — | GPL-3.0 | Real-time open-vocab OD, 52 FPS V100 |6465---6667## Критические предупреждения6869- **SAM3**: gated access на HF, кастомная SAM License — проверь перед продакшном70- **YOLO-World**: upstream states GPL-3.0 and supports commercial usage. GPL71 obligations apply by default; obtain a separate commercial licence only when72 the intended distribution or policy requires terms outside GPL, with legal73 review for the specific product.74- **Замена text encoder**: не plug-and-play, нужен projection + переобучение cross-attention75- **MIG vs MPS**: только MIG даёт аппаратную изоляцию VRAM/SM; MPS — кооперативный шеринг76- For non-English prompts, compare the target model’s supported languages on a77 representative evaluation set; do not silently translate or claim a universal78 English advantage.
AnastasiyaW