机械臂 2D图像 预测物体抓取位姿 方案

已于 2025-05-13 16:35:35 修改
阅读量286 收藏 1
点赞数 2
CC 4.0 BY-SA版权
文章标签： 分类
于 2025-05-09 09:35:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40725313/article/details/147811631

目录

前提说明：我最终的目的是获取物体的抓取位置，这个要么通过2D的关键点检测来实现要么通过类似GraspNet来实现。

yolov11 旋转目标检测

在这里插入图片描述
在这里插入图片描述

Python:Select Interpreter
conda create -p E:\Anaconda3\envs\sjk python=3.9

数据标注

yolov11 关键点检测

在这里插入图片描述

在这里插入图片描述

数据增强小tips：
  SAM抠图->随机旋转缩放等数据增强方法->放置于噪声图片上
在这里插入图片描述
  2D的物体位姿检测仅适用于物体没有堆叠的情况，也就是平面上只有一个物体（如果物体很大的话，机械臂夹爪只能抓取一个物体的话，那2D的还是ok的， 如果要求更高一些，比如夹取堆叠的手机，一次只能夹取一个的话，那还是得高一个维度y）

yolo旋转目标检测+关键点检测

Yolov8obb_kpt，旋转框+关键点检测，有向目标检测，判断目标正方向
相关的工作目前不是很完善，只有这一个人的工作，目前还是倾向于先用yolo目标检测出结果，再在这个的基础上进行旋转和关键点检测

2D平面抓取

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

GraspNet AnyGrasp

GraspNet
算法: 使用深度学习模型从图像中直接估计抓取位姿。
优点: 适用于复杂的场景，具有良好的泛化能力。
缺点: 需要大量的训练数据和计算资源。
AnyGrasp
算法: 深度学习网络用于预测物体的抓取姿态。
优点: 实时性较好，适合工业自动化应用。
缺点: 对训练数据和模型选择要求较高。

参考链接：使用YOLOv5进行物体检测，并通过GraspNet进行6D位姿估计
D435相机结合Yolo V8识别出目标物体，并转点云出抓取位姿

YOLO-6D-Pose 4年前
github源码
在这里插入图片描述
yolo-6d 7年前

yolo+GGCNN 2D平面物体位姿预测
GRCNN抓取网络学习1【Jacquard数据集等效制作】

参考文章

FANet：基于关键点的快速准确的机器人抓握检测
GR-ConvNet v2：用于机器人抓取的 实时多抓取检测网络
SE-ResUNet：一种新颖的机器人抓握检测方法
使用轻量级 CNN 模型进行机器人抓握检测

蜀中廖化
关注
人体姿态估计总结
NoMorningstar的博客
08-21 8114
Single Person Pose Estimation 《Flowing ConvNets for Human Pose Estimation in Videos》ICCV 2015 2015 年 flow convnet 将姿态估计看作是检测问题,输出是 heatmap。其创新点在于从卷积神经网络的 3 和 7 层提取出来,再经过卷积操作,称之为空间融合模型,用来提取关节点之间的内在联系...
高翔Slambook第七讲代码解读（2d-2d位姿估计）
小白学视觉
12-02 3644
前言：小白创建了一个微信公众号，主要面向学习视觉的小伙伴，分享一些学习过程中的感受和一些技术文章。公众号里文章也会更新在CSDN中，不过由于工作量较大，会出现一段时间的延时，感兴趣的小伙伴可以关注公众号第一时间接受消息。 作者：小白 公众号：小白学视觉 SLAM前端，或者说视觉里程计VO，做的最主要的一件事就是计算或者估计两帧图像之间的位姿变换，也即旋转矩阵R和平移向量t。根据所应用于计...
（四）YOLO_World-SAM-GraspNet的mujoco抓取仿真（操作记录）
ou1531037815的博客
05-10 1100
这里直接克隆之前项目的环境。
D435相机结合Yolo V8识别出目标物体，并转点云出抓取位姿。
weixin_50557558的博客
06-05 4947
D435相机结合Yolo V8识别出目标物体，并转点云出抓取位姿。看我就够了！！！
6D 视觉识别系统解读 | yolov5 | Depth-Anything | AnyGrasp
iecyIE的博客
12-29 1427
** 本文纪念自己的三步走战略已经迈开第二步，故此发布原设计文档 ** 本视觉系统是支持垃圾空间信息的 6D 高自由度识别系统，对标工业级视觉系统。受设备性能和技术产权保护等因素，本视觉系统在研究工业视觉系统原理后，选取三种基于深度学习的开源技术相互配合，来达到工业级视觉系统的效果。系统技术原理主要分为三部分：YOLOv5 物体检测；Anything Depth 单目图像深度识别；AnyGrasp 抓取点推理；具体原理将在下文详细介绍。
2D姿态估计整理：从DeepPose到HRNet
qwj的博客
03-11 4178
转载自 https://www.it610.com/article/1296586736012435456.htm 2D姿态估计整理：从DeepPose到HRNet 2D姿态估计 2D姿态估计（2 Demensional Human Pose Estimation）的目标是定位人体解剖学上的关键点（如肘部、腕部等）或部位。 现阶段人体姿态识别主流的通常有2个思路： 1）Top-Down（自上而下）方法：将人体检测和关键点检测分离，在图像上首先进行人体检测，找到所有的人体框，对每个人体框图再使用
如何使用YOLOv5进行物体检测，并通过GraspNet进行6D位姿估计，从而实现机械臂的抓取规划
weixin_40514381的博客
09-12 6217
上述代码展示了如何使用YOLOv5进行物体检测，并通过GraspNet进行6D位姿估计，从而实现机械臂的抓取规划。每种方法和库都有其特定的优缺点，6D位姿估计确保机械臂能够精确地定位物体，不同的应用场景和物体特性需要调整算法和代码。
graspnet-baseline 复现问题总结
SiriusasBlack的博客
02-05 1920
除此以外，由于我的显卡算力是8.6，pytorch版本有点低，编译时会出现nvcc fatal，需要在knn里的setup.py里进行修改，而且实测gpu-architecture不能修改成compute_86,最高只能到compute_80。首先说明，graspnet-baseline是一个非常不错的robotic grasping pipeline, 只要深度图是对的，那么它就可以根据生成的点云检测正确的抓取点。需要把保存的文件里的numpy.float都修改成numpy.float64，一共两处。
SLAM实践---2d-2d位姿估计（python）
weixin_43151193的博客
06-16 3400
1、两帧间的特征点寻找与匹配 2、通过特征点求解本质矩阵 3、通过本质矩阵恢复R,t
POSIT算法的原理--opencv 3D姿态估计
热门推荐
NewThinker_wei 的专栏
05-15 3万+
3D姿态估计-POSIT算法   POSIT算法，Pose from Orthography and Scaling with Iterations， 比例正交投影迭代变换算法： 用于估计物体的3D姿态（相对于镜头的平移和旋转量）。算法正常工作的前提是物体在Z轴方向的“厚度”远小于其在Z轴方向的平均深度，比如距离镜头10米远的一张椅子。   算法流程： 假设待求的姿态，包括旋转矩阵R和
人体骨骼关键点检测综述
SIGAI_CSDN的博客
06-11 3万+
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 导言 人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。近年来，随着深度学习技术的发展，人体骨骼关键点检测效果不断...
2D/3D姿态估计整理
qq_38109843的博客
10-08 2720
主要参考： https://www.jianshu.com/p/39fe654ed410 https://blog.csdn.net/sinat_26917383/article/details/79704097 2个思路： 1）Top-Down（自上而下）方法：将人体检测和关键点检测分离，在图像上首先进行人体检测，找到所有的人体框，对每个人体框图再使用关键点检测，这类方法往往比较慢，但姿态估计准...
物体姿态估计——DeepIM
小花生的博客
10-06 1万+
《DeepIM: Deep Iterative Matching for 6D Pose Estimation》 2018，Yi Li et al. DeepIM 1.引言： 本文，作者提出了一种新的深度神经网络对物体的6D姿态（3D位置和3D方向）进行估计，命名为DeepIM。采用对图像进行直接回归物体姿态的方式，准确率是有限的，通过匹配物体的渲染图像可以进一步提高准确率。即给定初始姿态估计...
物体空间姿态估计// Robust Planar Pose (RPP)algorithm
kintzhao
05-07 2万+
http://blog.sina.com.cn/s/blog_60f11afd0100ttc9.html 姿态估计问题就是：确定某一三维目标物体的方位指向问题。姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都有应用。 在不同领域用于姿态估计的传感器是不一样的，在这里主要讲基于视觉的姿态估计。 基于视觉的姿态估计根据使用的摄像机数目又可分为单目视觉姿态估计和
c++/opencv利用相机位姿估计实现2D图像像素坐标到3D世界坐标的转换
qq_27546529的博客
05-06 2万+
最近在做自动泊车项目中的车位线检测，用到了将图像像素坐标转换为真实世界坐标的过程，该过程可以通过世界坐标到图像像素坐标之间的关系进行求解，在我的一篇博文中已经详细讲解了它们之间的数学关系，不清楚的童鞋们可参考(https://blog.csdn.net/qq_27546529/article/details/89842373) 推导过程如下： ...
信息抽取数据集全景分析：分类体系、技术演进与挑战_DEEPSEEK
yanqianglifei的专栏
06-27 472
命名实体识别（Named Entity Recognition, NER）是自然语言处理的核心基础任务，旨在从非结构化文本中识别并分类预定义的实体类别（如人名、地名、组织机构、时间表达式等）。技术支撑性：作为信息抽取流水线的第一步，NER的准确性直接决定了关系提取、事件抽取等下游任务的效果。例如在知识图谱构建中，实体识别的漏检会导致图谱关系缺失。领域普适性：从通用领域（新闻、百科）到垂直领域（医疗、金融），NER均扮演关键角色。
EEG 分类攻略1- theta， alpha， beta和gamma频谱
crasher123的博客
06-23 1156
Welch方法是一种改进的周期图估计方法，它通过将信号分割成重叠的子段，每个子段都进行快速傅里叶变换（FFT），然后对每个子段的频谱进行加权平均，从而得到更为平滑和稳定的功率谱估计。
信息抽取领域关键Benchmark方法：分类体系
最新发布
yanqianglifei的专栏
06-27 554
基于规则的信息抽取（Rule-based Information Extraction）是通过预定义的语法规则、模式匹配或逻辑表达式从非结构化文本中提取结构化信息的技术。可解释性强：所有抽取逻辑显式编码在规则中小样本高效：在特定领域数据稀缺时仍可快速部署精确度高：针对特定场景设计的规则可达接近100%的准确率在医疗、法律等需要高可靠性的垂直领域，规则方法仍是工业界的主流选择。ACL 2022调研显示，83%的医疗实体识别生产系统仍采用混合规则架构。特征工程自动化：取代人工规则设计。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值