怎样做网站推广啊,提供网站建设设计公司排名,网络服务端口,企业网站开发需要多钱前言
手眼标定是机器人视觉领域的关键技术#xff0c;它解决了机械臂与相机之间的坐标转换问题#xff0c;为精准抓取、视觉伺服等应用奠定基础。上一篇博客中我们讲解了手眼标定的概念以及原理#xff0c;本文将详细解析睿尔曼官方提供的完整的手眼标定代码库#xff0c;…前言手眼标定是机器人视觉领域的关键技术它解决了机械臂与相机之间的坐标转换问题为精准抓取、视觉伺服等应用奠定基础。上一篇博客中我们讲解了手眼标定的概念以及原理本文将详细解析睿尔曼官方提供的完整的手眼标定代码库包括其结构设计、核心功能及使用方法帮助读者快速掌握手眼标定的实现流程。文章目录前言项目概述项目结构核心原理1. 眼在手上模式Eye-in-Hand2. 眼在手外模式Eye-to-Hand核心代码解析一、核心计算模块深度解析1. 眼在手上标定compute_in_hand.py1.1 初始化与配置加载1.2 标定板角点检测与相机外参计算1.3 相机标定与位姿转换1.4 手眼标定核心计算2. 眼在手外标定compute_to_hand.py2.1 核心差异点2.2 标定目标差异二、辅助模块解析1. 数据采集模块collect_data.py2. 配置文件config.yaml3. 日志模块libs/log_setting.py4. 位姿处理工具save_poses.py / save_poses2.py三、代码串联与整体流程1. 数据流向图总结项目概述该代码库专注于实现两种常见的手眼标定模式眼在手上Eye-in-Hand相机固定在机械臂末端随机械臂一起运动眼在手外Eye-to-Hand相机固定在机械臂外部位置保持不变通过采集机械臂位姿和标定板图像计算出相机与机械臂之间的坐标变换矩阵最终实现目标从相机坐标系到机械臂基坐标系的转换。项目结构hand_eye_calibration/ ├── README.md # 项目说明文档 ├── collect_data.py # 数据采集程序 ├── compute_in_hand.py # 眼在手上标定计算 ├── compute_to_hand.py # 眼在手外标定计算 ├── config.yaml # 配置文件 ├── requirements.txt # 依赖包列表 ├── save_poses.py # 位姿数据处理工具 ├── save_poses2.py # 位姿数据处理工具 ├── picture/ # 图片资源 └── libs/ # 辅助工具库 ├── auxiliary.py # 辅助函数 └── log_setting.py # 日志配置核心原理手眼标定的本质是求解坐标变换矩阵两种模式分别对应不同的数学模型上一章已经详细讲过其中的数学原理这边我们简单复习一下1. 眼在手上模式Eye-in-Hand需要求解相机相对于机械臂末端的变换矩阵H C A M E E H^{EE}_{CAM}HCAMEE核心方程为A 2 − 1 ⋅ A 1 ⋅ X X ⋅ B 2 ⋅ B 1 − 1 A_2^{-1} \cdot A_1 \cdot X X \cdot B_2 \cdot B_1^{-1}A2−1⋅A1⋅XX⋅B2⋅B1−1其中A AA表示机械臂末端在基坐标系下的位姿变换B BB表示标定板在相机坐标系下的位姿变换X XX即为待求的相机与末端的变换矩阵2. 眼在手外模式Eye-to-Hand需要求解相机相对于机械臂基坐标系的变换矩阵H C A M R O B H^{ROB}_{CAM}HCAMROB核心方程同样遵循A X X B AXXBAXXB形式只是矩阵定义不同。核心代码解析一、核心计算模块深度解析1. 眼在手上标定compute_in_hand.py该模块是眼在手上模式的核心计算单元负责将采集到的图像和位姿数据转换为相机与机械臂末端的坐标变换关系。1.1 初始化与配置加载current_pathos.path.join(os.path.dirname(os.path.abspath(__file__)),eye_hand_data)images_pathos.path.join(eye_hand_data,find_latest_data_folder(current_path))file_pathos.path.join(images_path,poses.txt)withopen(config.yaml,r,encodingutf-8)asfile:datayaml.safe_load(file)XXdata.get(checkerboard_args).get(XX)# 标定板长度方向角点数YYdata.get(checkerboard_args).get(YY)# 标定板宽度方向角点数Ldata.get(checkerboard_args).get(L)# 角点间距米路径处理通过find_latest_data_folder自动定位最新采集的数据文件夹确保使用最新标定数据配置加载从config.yaml读取标定板参数支持不同规格标定板的灵活适配1.2 标定板角点检测与相机外参计算# 标定板3D坐标定义世界坐标系objpnp.zeros((XX*YY,3),np.float32)objp[:,:2]np.mgrid[0:XX,0:YY].T.reshape(-1,2)objpL*objp# 转换为实际物理尺寸# 角点检测foriinrange(1,len(images_num)1):imgcv2.imread(image_file)graycv2.cvtColor(img,cv2.COLOR_BGR2GRAY)ret,cornerscv2.findChessboardCorners(gray,(XX,YY),None)ifret:obj_points.append(objp)# 亚像素优化提高角点检测精度到亚像素级别corners2cv2.cornerSubPix(gray,corners,(5,5),(-1,-1),criteria)img_points.append(corners2)世界坐标系定义将标定板视为世界坐标系Z轴为0X/Y轴由角点网格定义亚像素优化通过cv2.cornerSubPix将角点坐标从像素级优化到亚像素级精度达0.1像素以下为后续标定提供更高精度的输入1.3 相机标定与位姿转换# 相机标定获取标定板在相机坐标系下的位姿ret,mtx,dist,rvecs,tvecscv2.calibrateCamera(obj_points,img_points,size,None,None)# 机械臂位姿处理将poses.txt转换为齐次变换矩阵poses_main(file_path)tool_posenp.loadtxt(RobotToolPose.csv,delimiter,)# 提取旋转矩阵和平移向量R_tool[]t_tool[]foriinrange(int(N)):R_tool.append(tool_pose[0:3,4*i:4*i3])# 旋转矩阵部分t_tool.append(tool_pose[0:3,4*i3])# 平移向量部分相机外参计算cv2.calibrateCamera返回的rvecs和tvecs分别是标定板在相机坐标系下的旋转向量和平移向量机械臂位姿转换poses_main函数将机械臂末端的位姿通常是X,Y,Z,_rx,ry,rz转换为齐次变换矩阵存储于RobotToolPose.csv1.4 手眼标定核心计算# 使用Tsai算法求解手眼变换R,tcv2.calibrateHandEye(R_tool,t_tool,rvecs,tvecs,cv2.CALIB_HAND_EYE_TSAI)参数解析R_tool/t_tool机械臂末端在基坐标系下的旋转矩阵/平移向量序列rvecs/tvecs标定板在相机坐标系下的旋转向量/平移向量序列cv2.CALIB_HAND_EYE_TSAI采用Tsai-Lenz算法计算速度快精度高输出R为相机相对于机械臂末端的旋转矩阵t为对应的平移向量2. 眼在手外标定compute_to_hand.py该模块与compute_in_hand.py结构高度相似但存在关键差异2.1 核心差异点# 机械臂位姿处理函数不同fromsave_poses2importposes2_main...poses2_main(file_path)# 替代compute_in_hand.py中的poses_main位姿转换逻辑poses2_main与poses_main的区别在于机械臂位姿的变换方向不同眼在手上需要机械臂末端相对于基坐标系的变换A AA矩阵眼在手外需要基坐标系相对于机械臂末端的变换A − 1 A^{-1}A−1矩阵2.2 标定目标差异# 眼在手外模式下calibrateHandEye输出的是相机相对于基坐标系的变换R,tcv2.calibrateHandEye(R_tool,t_tool,rvecs,tvecs,cv2.CALIB_HAND_EYE_TSAI)眼在手上X H C A M E E X H^{EE}_{CAM}XHCAMEE相机→末端眼在手外X H C A M R O B X H^{ROB}_{CAM}XHCAMROB相机→基坐标系二、辅助模块解析1. 数据采集模块collect_data.py该模块实现图像与位姿的同步采集确保每一组数据的时间一致性# 机械臂位姿获取socket_command{command: get_current_arm_state}state,posesend_cmd(client,socket_command)# 数据保存withopen(filename,a)asf:pose_[str(i)foriinpose]new_linef{,.join(pose_)}\nf.write(new_line)cv2.imwrite(image_path,cv_img)同步机制通过按键触发s’键确保同一时刻采集的图像和位姿被关联存储数据格式位姿poses.txt中每行存储一组机械臂位姿X,Y,Z,rx,ry,rz图像按序号命名1.jpg, 2.jpg…与位姿文件行号一一对应2. 配置文件config.yamlcheckerboard_args:XX:9# 长度方向角点数YY:6# 宽度方向角点数L:0.02# 角点间距米标定板参数需根据实际使用的标定板修改直接影响世界坐标系到图像坐标系的转换精度扩展性可通过添加其他参数如相机内参路径、日志级别等增强配置灵活性3. 日志模块libs/log_setting.pyclassCommonLog(object):def__console(self,level,message):# 文件日志按天轮转fhTimedRotatingFileHandler(self.logname,whenMIDNIGHT,interval1,encodingutf-8)# 控制台日志chlogging.StreamHandler()self.logger.addHandler(fh)self.logger.addHandler(ch)# 记录日志后移除处理器避免重复输出self.logger.removeHandler(ch)self.logger.removeHandler(fh)双重输出同时向控制台和文件输出日志方便调试和记录日志轮转按天分割日志文件避免单文件过大便于追溯历史标定过程4. 位姿处理工具save_poses.py / save_poses2.py虽然未提供完整代码但根据上下文可推断其功能功能将机械臂位姿欧拉角转换为齐次变换矩阵核心公式# 欧拉角转旋转矩阵以ZYX顺序为例RRz(rz)*Ry(ry)*Rx(rx)# 构造齐次矩阵H[[R[0][0],R[0][1],R[0][2],x],[R[1][0],R[1][1],R[1][2],y],[R[2][0],R[2][1],R[2][2],z],[0,0,0,1]]差异点save_poses2.py会计算变换矩阵的逆以适应眼在手外的数学模型三、代码串联与整体流程1. 数据流向图采集阶段 机械臂 → [get_current_arm_state] → 位姿数据 → 写入poses.txt ↑ 同步触发s键 ↓ 相机 → [RealSense SDK] → 图像帧 → 保存为.jpg文件 计算阶段 poses.txt → [save_poses.py/2] → 机械臂变换矩阵(R_tool, t_tool) ↓ .jpg文件 → [角点检测] → 图像点集 → [calibrateCamera] → 标定板位姿(rvecs, tvecs) ↓ [calibrateHandEye] → 手眼变换矩阵(R, t) → 输出旋转矩阵/平移向量/四元数总结本代码库提供了一套完整的手眼标定解决方案通过模块化设计实现了数据采集、标定计算等核心功能。无论是眼在手上还是眼在手外模式都能通过简单的操作流程完成标定。实际应用中需注意机械臂运动姿态的多样性和标定板的稳定性以获得更高的标定精度。通过本文的解析相信读者已经对该代码库有了全面的了解可以根据实际需求进行二次开发或直接应用于机器人视觉项目中。