Die Überwachung mithilfe von Videokameras nimmt immer mehr zu. Egal ob in der S-Bahn oder der Bankfiliale, die Daten von Videokameras werden zuerst auf dem Gerät gesammelt und danach an einen entfernten Speicherort übertragen. Dies erfordert eine leistungsstarke zentrale Instanz, um eine große Menge an Rohdaten zu verarbeiten, sowie eine leistungsstarke Verbindung, um die Daten von den Sensorgeräten an das zentrale System zu senden.
Edge Computing ist eine moderne Architektur, die die Verarbeitung von Daten aus den Rechenzentren dorthin verlagert, wo die Daten von Sensoren erfasst werden. Da von den Edge-Knoten nur Interpretationen der Sensorwerte und nicht die Rohdaten gesendet werden, kann eine enorme Verringerung der erforderlichen Bandbreite erreicht werden, oder die Knoten können sogar autonom arbeiten. Darüber hinaus kann die Skalierbarkeit des Gesamtnetzes erreicht und der Datenschutz verbessert werden, da die Daten bei den Knoten verbleiben.
Das Projekt Smart Workers Safety, das im Leistungszentrum Digitale Vernetzung (LZDV) bearbeitet wird, besteht aus zwei Phasen. In beiden Phasen wird ein Edge-Computing-Projekt vom Bereich Data Analytics bei Fraunhofer FOKUS durchgeführt. Dabei werden zwei Lösungen für intelligente Edge Nodes entwickelt. Die Knoten bestehen aus verschiedenen Sensoren und TPUs (Tensor Processing Units), die die von den Sensoren kommenden Daten lokal verarbeiten. Unter Verwendung modernster Computer-Vision-Algorithmen arbeiten diese autonomen Systeme unabhängig von einer zentralen Instanz, ohne dass eine Netzwerkanbindung erforderlich ist.
01. Juli 2016 – 30. September 2018
Die Digitalisierung der Verkehrsinfrastruktur nimmt immer weiter zu. Immer mehr Straßen und Parkhäuser werden »intelligent« und vernetzt. Ziel ist es, die Sicherheit und den Komfort aller Verkehrsteilnehmer zu erhöhen. Im Leistungszentrum Digitale Vernetzung entwickelt das Data Analytics Center (DANA) von Fraunhofer FOKUS eine »Edge Intelligence« für eine intelligente Verkehrsinfrastruktur.
Das Überwachungssystem erfasst Video-, Thermo- sowie Audiodaten und verarbeitet diese Daten in Echtzeit direkt auf dem Gerät vor Ort. Erfasste Video- oder Audiodaten verlassen nicht das Gerät und werden dort auch nicht gespeichert, so dass das System unabhängig von einer zentralen Instanz oder einer Netzwerkverbindung ist.
Mithilfe von TPUs wird der Einsatz modernster Deep-Learning-Techniken mit minimalem Energieaufwand in der Nähe der Datenquelle möglich. Es findet eine Objekterkennung für den Videostrom und eine Tonklassifizierung für den Audiostrom statt. Wenn ein Ereignis erkannt wird, können vordefinierte Aktionen ausgelöst werden, beispielsweise ertönt ein Alarm.
Wenn für die Edge Nodes eine Netzwerkverbindung besteht, können weitere Benachrichtigungen erfolgen, beispielsweise die Benachrichtigung des Sicherheitsdienstes oder das Rufen der Polizei oder des Krankenwagens. Das Überwachungssystem ist so konzipiert, dass es tragbar ist und möglichst wenig Energie verbraucht. Es kann sogar mit Batterien betrieben werden, so dass es auch dann funktioniert, wenn keine konstanten Stromquellen zur Verfügung stehen.
Vorteile gegenüber herkömmlichen Überwachungssystemen:
01. Oktober 2018 – 30. Juni 2021
Der Arbeitsschutz spielt in verschiedenen Industriezweigen, wie z. B. bei der Arbeit mit schweren Maschinen, bei Bauarbeiten und in medizinischen Laboren, eine wichtige Rolle. Gesetzlich ist geregelt, dass Personen, die in gefährlichen Umgebungen arbeiten und gesperrte Bereiche betreten wollen, die entsprechende persönliche Schutzausrüstung tragen müssen. Die Warnung und Kontrolle der Arbeiterinnen und Arbeiter ist heute eine Aufgabe, die menschliche Kontrolle erfordert.
Basierend auf den Erkenntnissen aus Phase 1 des Projekts und mithilfe modernerer Hardware wird ein System entwickelt, das Menschen und ihre persönliche Arbeitsschutzausrüstung identifiziert und die Arbeiterinnen und Arbeiter warnt, wenn nicht die entsprechende Ausrüstung genutzt wird.
Durch den Einsatz modernster Algorithmen zur Pose-Estimation können Personen besser erkannt werden als allein durch normale Computer Vision Verfahren. Die Pose-Estimation ermöglicht die Erkennung bestimmter Körperteile wie Hände oder Köpfe und deren Position bzw. Ausrichtung im Raum. In Kombination mit einem Computer-Vision-Klassifikator werden persönliche Schutzausrüstungen wie Schutzhelme oder Handschuhe erkannt und es wird bestätigt, dass sie von den Personen getragen werden. Ein visuelles Benachrichtigungssystem zeigt dem Arbeiter dann an, ob er den überwachten Bereich betreten darf. Durch den Einsatz von Pose-Estimation kann in Zukunft auch eine Pose-Klassifikation realisiert werden, die bewusstlose Personen oder winkende Arbeiter erkennt, die versuchen, andere Personen durch Signale zu warnen.
Mit der neuen Generation von TPUs, die über eine höhere Rechenleistung bei gleichem Energiebedarf verfügen, werden diese rechenintensiven neuronalen Netze auf der Edge Node unter Verwendung eines Live-Videostreams der integrierten Kamera verarbeitet. Dabei werden die Eigenschaften des Systems aus Projektphase 1 – wie Unabhängigkeit von einer zentralen Instanz, flüchtige Erfassung von personenbezogenen Daten und geringer Energieverbrauch – beibehalten.
Fraunhofer-Institut für Offene Kommunikationssysteme