本系统基于视觉SLAM和目标检测、视觉关系检测等深度学习算法,完成语义地图的构建和建图结果的可视化功能,主要由V-SLAM系统和语义信息提取系统两个子系统构成。
系统的输入为RGB-D图像序列,输出为带标注的稠密点云地图。
基本功能包括:V-SLAM稠密建图、原始输入数据的显示(深度图显示、RGB图显示)、稠密点云重建显示、语义信息提取(物体实例信息和物体之间关系信息)、实例信息展示、关系信息展示等。
| 功能模块名称 | 功能描述 | 备注 |
|---|---|---|
| 输入数据 | 输入原始数据(RGB-D图像序列) | |
| V-SLAM建图 | 根据输入的RGB-D数据,实现基础的V-SLAM算法,并完成稠密建图 | |
| 深度图显示 | 在界面实时的显示输入的深度图像序列 | 默认开启 |
| RGB图显示 | 在界面实时的显示输入的RGB图像序列 | 默认开启 |
| 稠密点云重建显示 | 在界面显示稠密点云的建图效果 | 默认开启 |
| 实例信息获取 | 获取环境中的物体实例信息 | |
| 关系信息获取 | 获取环境中物体之间的关系语义 | |
| 实例信息展示 | 在界面展示所有获取到的实例信息,以列表展示 | |
| 关系信息展示 | 在界面展示所有获取到的关系信息,以列表展示 | |
| 查看详细信息 | 点击信息列表中的某一项,可以查看该实例或关系的详细信息 | |
| 地图更新 | 地图更新 | 实时 |
| 输出地图 | 在用户指定的文件路径下,输出点云文件和语义信息等建图结果 |

点此访问:Ecnu Lab