具身智能学习Task1

具身智能概述

具身智能 = 智能的大脑 + 行动的身体

核心挑战

1. Sim-to-Real的不适配性
2. 泛化能力 实现通用性
3. 数据稀缺问题
4. 安全性与伦理问题

机器人基础和控制、手眼协调

由于学习过控制理论基础课程 不做详细展开

PID控制算法

P比例参数

I 微分参数

D 积分参数

用于实现姿态等稳定系统的控制 能够有效消除稳态误差 使得系统更为稳定 有效控制

很喜欢知乎里网友对PID的这个理解

手眼协调教程

由于有过手眼标定相关实践 这里只对内容进行梳理复习

手眼标定主要用于统一视觉系统与机器人的坐标系

当我们希望使用视觉引导机器人去抓取物体时，需要知道三个相对位置关系，即

1. 末端执行器与机器人底座之间相对位置关系
2. 摄像头与末端执行器之间相对位置关系
3. 物体与摄像头之间的相对位置和方向

摄像头安装方式分为眼在手上和眼在手外 二者适用场景有些不同 三个相对位置关系也不同

手眼标定的数学模型

为了标定手眼位置 需要对坐标系进行定义 求出坐标系之间的变换矩阵 进行统一后方便操作

这里与相机模型转化类似 不做多余赘述 主要是将不同坐标系之间的刚体变换矩阵求解

具身导航基础

Habitat-sim环境搭建

conda create -n habitat python=3.9 cmake=3.14.0
conda activate habitat

因为使用服务器 大部分时间headless使用 故下载无头模式

conda install habitat-sim=0.2.5 withbullet headless -c conda-forge -c aihabitat
conda install habitat-sim withbullet headless -c conda-forge -c aihabitat

执行后 输出结果如图