miuav vision-perception — 视觉感知 SKILL
引用技能
agents/skills/perception/edge-inference/— 边缘推理加速agents/skills/ros2-debug/— 调试
视觉感知流程
相机图像 → 预处理 → 推理 → 后处理 → 输出
YOLO 部署
// ROS2 + YOLO
auto detector = std::make_shared<YoloDetector>("/model.onnx");
auto sub = this->create_subscription<Image>(
"/camera/image_raw", QoS(10).best_effort(),
[&](Image::SharedPtr msg) {
auto results = detector->infer(msg);
publish_detections(results);
});
ROS2 图像处理
#include <cv_bridge/cv_bridge.h>
#include <image_transport/image_transport.hpp>
// ROS2 Image → OpenCV
auto cv_img = cv_bridge::toCvShare(msg, "bgr8");
3D 检测
// 深度图像 → 点云 → 3D BBox
auto pc = depth_to_pointcloud(depth_img, camera_intrinsics);
auto bboxes = detect_3d(pc); // 输出 [x,y,z,w,h,d,yaw]
QoS 规则
相机图像用 BEST_EFFORT（高频率，丢帧可接受）。
禁止
- ❌ 图像推理用 RELIABLE（延迟累积，实时性差）
- ❌ 不做 NMS 后处理（重复检测）
- ❌ Batch > 1 用于实时（延迟超标）