Punktipilve filtreerimine kaamerapõhise inimtuvastuse abil

Date

2024

Journal Title

Journal ISSN

Volume Title

Publisher

Tartu Ülikool

Abstract

Roboti ümbruses olevad dünaamilised objektid, milleks on metsaroboti konteksis enamasti inimesed, võivad häirida lidaripõhiseid kaardistamis- ja teekonnaplaneerimisalgoritme. Inimestele vastavate punktipilve punktide eraldamiseks pakutakse selles bakalaureusetöös välja meetod, mis leiab kaamerapildilt eeltreenitud YOLOv8 inimtuvastusalgoritmi abil inimeste piirkastid ning eraldab kastide sihile jäävad punktid ülejäänud punktipilvest. Töö käigus arendati välja ROS-i kimp, milles ühes sõlmes viiakse paralleelselt läbi inimtuvastust ja teises filtreerimist. Arendatud kimp viib keskklassi sülearvutil filtreerimist läbi 18,8 iteratsiooni sekundis, mis on piisavalt kiire jooksutamaks SLAM-i ja teisi kaardistamisalgoritme.

Description

Dynamic objects, primarily humans in the context of the robotic forester project, can interfere with the robot’s LiDAR-based mapping and navigation algorithms. This thesis proposes a method, which utilizes the pretrained YOLOv8 human detection algorithm to find humans from the camera image. Human bounding boxes are later used to filter the pointcloud points of humans from the rest of the surrounding pointcloud. A ROS package was developed, in which two nodes operate simultaneously – one for human detection and the other for filtering. The package executes filtering on a mid-spec laptop at 18,8 iterations per second, enough for mapping algorithms such as SLAM.

Keywords

robootika, inimtuvastus, lidar, kaamera, ROS

Citation