Künstliche Intelligenz (KI) kann nur so leistungsfähig operieren, wie es die Qualität der Daten zulässt, mit denen sie trainiert wurde. Im Besonderen gilt dies bei der Methodik des Deep-Learning, das neuronale Netze nutzt, die vom menschlichen Gehirn inspiriert sind. Hierbei handelt es sich um eine effiziente Methode des überwachten maschinellen Lernens. Das detaillierte und präzise Markieren von Daten, die mit Hilfe von Kameras und Sensoren aufgenommen wurden, ist hierfür eine Grundvoraussetzung.
Anhand der markierten, »gelabelten«, Datensätze lernt ein Fahrzeug seine Umgebung der Wirklichkeit entsprechend wahrzunehmen. Je Größer der Datenpool, desto besser kann das Computersystem dazulernen. Es optimiert sich quasi selbst und fortlaufend, dadurch wird die Erkennungsgenauigkeit gesteigert und der Nutzen vergrößert.
Akkumuliert als Sets gelten die annotierten Bilder in der Automobilbranche als das Kapital, das es braucht, um Fahrzeuge autonom fahrend auf die Strecke zu bringen. Üblicherweise sind diese Sets für Kamerabilder angelegt, die die an den Fahrzeugen montierten Kameras liefern. Es werden zwar bereits Kameras in Assistenzsystemen genutzt, jedoch sind sie bei der Objekterfassung und -erkennung störanfällig gegenüber wechselnden Wetterverhältnissen.
Zur detaillierten Erfassung der (Lern-)Umgebung benötigen Fahrzeuge zusätzlich Sensor-Komponenten. Die aufgenommenen Daten einer Kamera werden dafür mit denen von Lasersystemen verknüpft, da diese Objekte genauer erfassen als es die Berechnung auf der Grundlage von Kamerabildern erlaubt.