20.500.12556/DKUM-80350 Passive testing of highly automated driving systems master's thesis Pasivno testiranje sistema za visoko avtomatizirano vožnjo Driver assistance systems and automated driving have become one of the most important components of new vehicles. Enormous progress has been made with developing algorithms for autonomous control and perception, but the problems of safety validation remain. In this master thesis, we first briefly summarise safety and testing approaches in autonomous driving. Then we propose our own approach for testing automated/autonomous driving, which we call "Passive parallel Testing". The approach focuses on detecting discrepancies between the human driver and the control of the automated driving function, thus identifying potentially critical situations. The test method is demonstrated at the end in a simulation with the CARLA simulator. Asistenčni sistemi in avtonomna vožnja postajajo eni izmed glavnih komponent novih avtomobilov. V zadnjem času je prišlo do ogromnega napredka pri razvoju algoritmov zaznavanja in vodenja avtomatiziranih in avtonomnih avtomobilov, vendar pa ostaja prisoten problem varnostne validacije omenjenih sistemov. S prihodom avtonomne vožnje SAE stopnje 3 in več, pri katerih vozniku ni treba biti ves čas pripravljen prevzeti nadzor nad vozilom, se je izkazalo, da nimamo učinkovitih metod testiranja teh sistemov. Avtomatizacija mora na tej stopnji upravljati vozilo tudi v primeru nepredvidenih situacij. Vožnja v realnem prometu je še vedno najbolj pogosto uporabljena metoda testiranja. Problem pri tej metodi je majhna verjetnost potencialno kritične situacije, zato je za potrebe varnostne validacije potrebno prevoziti ogromno število kilometrov, kar pa je časovno in ekonomsko neučinkovito. Na cestah se vozi čedalje več vozil z vsemi potrebnimi senzorji za avtonomno vožnjo SAE stopnje 3 ali več. Poraja se vprašanje, zakaj se teh vozil ne uporabi pri testiranju asistenčnih sistemov. Mnogo omenjenih vozil namreč na ravni vsakodnevne uporabe prevozi ogromno število kilometrov. Tesla je leta 2019 predstavila svoj pristop k testiranju z floto teh vozil, t.i. "shadow mode testing". Algoritmi avtonomne vožnje se pri tem pristopu izvajajo v ozadju, v virtualnem paralelnem svetu brez dostopa do aktuatorjev vozila. Na ta način poteka neposredna primerjava voznikovega upravljanja v realnem svetu in delovanjem algoritmov avtonomne vožnje v virtualnem svetu. Podoben pristop uporablja tako imenovan "VAAFO tool" oz. orodje za ocenitev avtonomne vožnje v realnem svetu. Na idejni osnovi omenjenih pristopov paralelnega testiranja smo v simulatorju razvili in implementirali svojo različico pristopa zaznavanja napak različnih funkcij avtomatizirane oz. avtonomne vožnje, t.i. "pasivno testiranje sistemov za visoko avtomatizirano vožnjo". V prvem delu magistrske naloge smo opravili kratek pregled s področja avtonomne vožnje, varnostnih zahtev ter standardov, ki to področje urejajo. Prav tako smo se dotaknili trenutno uveljavljenih metod za dokazovanje varnosti in učinkovitosti sistemov avtomatizirane oz. avtonomne vožnje. Opisali smo tudi orodja, ki jih pri tem uporabljamo, ter pomanjkljivosti uveljavljenih metod testiranja in varnostne validacije. V nadaljevanju naloge smo predstavili naš pristop pasivnega testiranje sistemov za visoko avtomatizirano vožnjo in rezultate poizkusov v simulaciji. Pristop testiranja sistemov za visoko avtomatizirano vožnjo, ki je opisan v tej nalogi, se od obstoječih paralelnih metod testiranja razlikuje v odsotnosti digitalnega dvojčka realnega sveta, s pomočjo katerega bi lahko neposredno primerjali delovanje funkcije avtomatizirane oz. avtonomne vožnje. Metoda testiranja je tako uporabna za zaznavanje potencialno kritičnih situacij in deluje na osnovi primerjave voznikovega upravljanja (kot pritisk na stopalki plina in zavor ter kot zasuka volana) in izhoda krmilnika funkcije avtonomne vožnje, ki pa dejansko nima vpliva na aktuatorje in se izvaja samo pasivno. Poleg voznikovega upravljanja spremlja tudi podatke o pospešku, hitrosti, … Na ta način lahko opazujemo ali se testirana funkcija avtomatizirane oz. avtonomne vožnje obnaša podobno kot referenčni voznik. Pri našem pristopu predvidevamo, da voznik vozi brez napake oz. mera za napake je zaznan trk. Pristop smo nato preizkusili v simulaciji z odprtokodnim simulatorjem za avtonomno vožnjo CARLA. CARLO smo izbrali zaradi odprtokodnosti, možnosti prilagajanja, podpore OpenDRIVE in OpenSCENARIO standardov, podpore ROS-a ter napovedane foto realistične grafike. Ob delu s simulatorjem smo naleti na precej težav, ki so opisane v poglavju 4.1. Poleg samega simulatorja smo za generiranje testnih primerov uporabili tudi druga programska orodja. Za načrtovanje cestnih zemljevidov in generiranje 3D virtualnega okolja smo uporabili program RoadRunner, za generiranje testnih ... autonomous driving testing safety CARLA AEB avtonomna vožnja testiranje varnost CARLA AEB true true false [L. Šelih] Angleški jezik Slovenski jezik Magistrsko delo/naloga 2021-09-08 14:31:57 2021-10-18 12:21:58 2022-08-09 22:49:10 0000-00-00 00:00:00 2021 0 Maribor 0 Maribor XIV, 60 str. 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 681.5:629.072(043.2) 83071491 MAG_Selih_Luka_2021.pdf MAG_Selih_Luka_2021.pdf 1 F9C15CF42C24EA2F76E8371463122BC4 5b5110422cc3f5c88f819c02182e6799b85dd2cc00c8a74ff12ad0133a55d7fd 3b6cab9d-1144-11ec-97e6-00155d581298 20.500.12556/dkum/c6606568-d72c-4e0f-8fa2-a0a698653dce https://dk.um.si/Dokument.php?lang=slv&id=153427 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0