Enhancing bus safety: A modular driver monitoring system

Summary.

In the area of road safety, the development of a Modular, Machine Vision-Based,

Custom-Built Driver Monitoring System (DMS) for bus drivers has become

imperative. This research presents a comprehensive system capable of detecting

drowsiness, blinking patterns, and various forms of distraction, including the

use of mobile phones, and one-handed driving. Leveraging the power of Mediapipe

and YOLOv7 for real-time image analysis, as well as ROS2 for seamless data

transfer, our system not only ensures the immediate safety of bus passengers but

also offers expandable functionality, such as eye tracking and skeleton

detection.

Összefoglalás.

A biztonságos tömegközlekedés iránti igény fokozza a járművezetőkre nehezedő

nyomást a növekvő forgalmi torlódások miatt. Ezt súlyosbítja a közlekedési

rendszer összetettsége és a fokozódó külső ingerek hatása, különösen városi

környezetben. A közösségi közlekedésben alkalmazható, a közlekedésbiztonságot

fokozó moduláris, gépi látáson alapuló, egyedi fejlesztésű

járművezető-felügyeleti rendszer kifejlesztése az autóbuszvezetők monitorozására

elengedhetetlen. Ez a kutatás egy olyan átfogó rendszert mutat be, amely képes

érzékelni az álmosságot, a pislogási mintákat és a figyelemelterelés

(disztrakció) különböző formáit, beleértve a mobiltelefon-használatot, és az

egykezes vezetést. A Mediapipe és a YOLOv7 valós idejű képelemzésre, valamint a

ROS2 adatátvitelre való felhasználásával rendszerünk nemcsak a busz utasainak

biztonságát garantálja, hanem olyan bővíthető funkcionalitást is kínál, mint

például szemkövetés és csontvázfelismerés (szkeleton).

A rendszer alapvető célja az, hogy a szemmozgás, fejtartás és testtartás

elemzésével pontosan azonosítja a járművezető fáradtságát, figyeli a pislogási

mintákat az álmosság jeleit, és felismeri a közúti biztonságot veszélyeztető

disztrakciókat. Továbbá a rendszer moduláris felépítése lehetővé teszi további

érzékelők, például szemmozgás-követő rendszer, telemetriai eszközök vagy

5G-adapterek egyszerű integrálását, ami átfogó megfigyelést és adatfúziót tesz

lehetővé a valós környezetbe történő adaptálás elősegítésére.

A fejlesztett Járművezető Monitoring Rendszer a ROS2 keretrendszer segítségével

integrált megoldást kínál a buszvezetők megfigyelésére. A rendszer alapvető

képessége a fedélzeti kamerák által rögzített felvételeken a járművezető

vizuális felismerése. Ezen túlmenően képes követni a vezető testén lévő

kulcspontok, mint a fej, a törzs és a karok pozícióját, ami létfontosságú az ő

testtartásának és mozgásának megértésében. Az egyediséget a vezetőfülke mérete

és a buszvezető személygépjárműhöz mérten dinamikus mozgásképe adja. A rendszer

az emberi arcot is részletesen elemzi, kiemelve a fontos arcpontokat, mint a

szemek, orr és száj. Ez lehetővé teszi a tekintet irányának, arckifejezéseknek,

valamint a fáradtság vagy stressz jeleinek azonosítását. Az adatok könnyebb

értelmezése érdekében a rendszer egy vizuális ábrázolást is nyújt az észlelési

folyamatról. Az adatok kezelése és kommunikációja a ROS2 keretrendszeren

keresztül történik, amely strukturált módon rendezi az adatokat és támogatja a

valós idejű feldolgozást és elemzést. Az összegyűjtött adatok tárolására a

.rosbag fájlformátumot használjuk, amely lehetővé teszi az adatok hatékony

rögzítését és későbbi felhasználását elemzésekhez és felülvizsgálatokhoz.

A tanulmány a moduláris járművezető-felügyeleti rendszer felépítését,

megvalósítását és tesztelését mutatja be, részletesen közli az alkalmazott

algoritmusokat és technológiákat. A valós körülmények között végzett kísérletek

eredményei bizonyítják a rendszer hatékonyságát, valamint a rendszer szélesebb

közlekedési ökoszisztémákba való integrálhatóságát.

A buszvezető monitorozása kapcsán kapott adatok hozzájárulhatnak a jármű és

utasai biztonságának fokozásához. A járművezető figyelmének nyomon követése és a

kognitív terhelés elemzése lehetőséget kínál a munkakörülmények optimalizálására

és a balesetmegelőzési megoldások javítására.