Europa war in den letzten Jahren Schauplatz von Nachrichten, die zahlreiche Opfer, Nöte und Unsicherheit im sozialen Gefüge verursachten. Terroranschläge und andere Straftaten, die bei öffentlichen Veranstaltungen und an überfüllten Orten verübt wurden, sind plötzlich zu einer Priorität für die Europäische Union und die Strafverfolgungsbehörden der Mitgliedstaaten geworden. Es handelt sich um ein Szenario mit heterogenen Merkmalen, das mit der richtigen Balance zwischen zunehmenden Sicherheitsmaßnahmen und der Wahrung individueller Freiheiten konfrontiert werden muss.
Heutzutage gibt es verschiedene Technologien, sogenanntekünstliche Sicht"(Computer Vision), die in naher Zukunft die Polizei konkret beim Einsatz von Videoüberwachungssystemen unterstützen kann. Die entwickelten Technologien wurden von den Aktivitäten der Forschungsgruppe inspiriert Labor für Mustererkennung und Anwendungen (PRA-Labor - http://pralab.diee.unica.it) der Universität Cagliari führt im Rahmen des LETSCROWD-Projekts (Methoden und Toolkit für menschliche Faktoren der Strafverfolgungsbehörden zur Sicherheit und zum Schutz von Menschenmengen in Massenversammlungen) durch, das im Mai 2017 gestartet und von der Europäischen Kommission im Rahmen des Programms HORIZON 2020 finanziert wird.
Das allgemeine Ziel von LETSCROWD betrifft die Entwicklung strategischer und operativer Methoden und Lösungen für die Überwachung und Schutz von Menschenmengen bei Versammlungen und Zusammenkünften an öffentlichen Orten, als konkrete gesetzgeberische/exekutive Unterstützung bei der Festlegung von a Europäisches Sicherheitsmodell (Europäisches Sicherheitsmodell) im Kontext von Massenkundgebungen.
Gerade zum Nutzen der Ordnungskräfte werden zur Unterstützung ihrer Aktivitäten bei Massenkundgebungen verschiedene technologische Hilfsmittel entwickelt, deren Werkzeuge sie auch durch praktische Demonstrationen testen werden; Für sie werden auch Schulungs- und Schulungsaktivitäten angeboten.
Dies ist in der Tat eine der Hauptaufgaben des Forschungslabors von Cagliari, das auch in anderen Bereichen an dem Projekt beteiligt ist (Analyse von Sicherheitsrichtlinien, Analyse von Informationsquellen wie sozialen Netzwerken, Verbreitung und Verbreitung von Projektergebnissen).
Videoüberwachungssysteme sind heute weit verbreitete Realität für die Überwachung öffentlicher und privater Orte (Banken, Stadien, Parkplätze, Eisenbahnen, Flughäfen usw.), Industriegebiete sowie städtischer und außerstädtischer Straßeninfrastrukturen. Für die an der Überwachung beteiligten Betreiber ist dies eine natürliche Konsequenz Es wird immer schwieriger, wenn nicht sogar unmöglich, die von diesen Systemen produzierten Videos in Echtzeit zu überwachen; dies hat unmittelbare Auswirkungen auf die zeitnahe Reaktion auf potenziell „bedeutende oder verdächtige“ Ereignisse oder Handlungen; Ebenso kann bei einer nachträglichen Untersuchung die Analyse aller verfügbaren Videoaufzeichnungen zur Wiederherstellung relevanter Einzelbilder übermäßig viel Zeit in Anspruch nehmen. Die Einführung fortschrittlicher künstlicher Sehtechnologien zur zumindest teilweisen Automatisierung von Videoüberwachungs- und Analyseaktivitäten wird de facto zu einer Notwendigkeit. Tatsächlich bewegen sich die großen Hersteller von Videoüberwachungslösungen derzeit in diese Richtung und führen Funktionen wie die automatische Erkennung und Verfolgung von Fahrzeugen und Personen sowie die Erkennung von Fahrzeugkennzeichen ein.
Betrachten wir nun das für LETSCROWD interessante Szenario, nämlich die Überwachung von Massenveranstaltungen wie Demonstrationen, Konzerten und Sportveranstaltungen durch die Polizei. Bei solchen Ereignissen steigt die Anzahl der Kameras exponentiell an (in einigen Fällen Dutzende von Geräten, und dieser Wert erhöht sich bei „kritischen“ Ereignissen). Der Kameras können von Strafverfolgungsbehörden gezielt installiert werden, auch in Flugzeugen (Hubschrauber und unbemannte Systeme, besser bekannt als „Drohnen“), oder sie können zu bereits bestehenden Videoüberwachungssystemen gehören, die an öffentlichen Orten, auch von privaten Einrichtungen, installiert wurden (z. B. in Banken und Stadien). Die von jeder Kamera produzierten Videos werden normalerweise von einem oder mehreren Bedienern und Strafverfolgungsbeamten in einem Kontrollraum beobachtet. Angesichts der hohen Anzahl solcher Videos muss jeder Bediener die Bilder mehrerer Videokameras in Echtzeit überwachen, mit Außendienstmitarbeitern kommunizieren und schließlich entscheiden, wie er die Einstellungen der PTZ-Videokameras (Schwenken-Neigen-Zoom) entsprechend den betrieblichen Anforderungen ändern möchte (z. B. den Bildausschnitt oder den Zoom ändern). Alle Videos werden außerdem (für einen gesetzlich festgelegten Zeitraum) aufgezeichnet und können anschließend bei etwaigen Ermittlungen zu Ereignissen, die während der Veranstaltung stattgefunden haben, eingesehen werden.
Schauen wir uns einige Beispiele für Videoanalyseaktivitäten genauer an, die Strafverfolgungsbehörden möglicherweise während oder nach einer Massenveranstaltung durchführen müssen. Ein Operator, der eines der Videos beobachtet, a verdächtiges Verhalten von einer Einzelperson, möglicherweise in Echtzeit wiederhergestellt werden möchte, alle Videos, in denen dieselbe Person vorkommt um ihre Bewegungen und Handlungen analysieren zu können und dann den Agenten vor Ort Hinweise geben zu können, beispielsweise um diese Person aufzuspüren. In ähnlicher Weise möchte ein forensischer Ermittler während einer Untersuchung möglicherweise alle Videos abrufen, die zeigen, wie eine Person von einem oder mehreren Augenzeugen (bei denen es sich auch um Außendienstmitarbeiter handeln kann) einen Unfall oder ein Verbrechen beschreibt, das sich während des Ereignisses ereignet hat. Es ist offensichtlich, dass die „manuelle“ Analyse aller verfügbaren Videos zu viel Zeit in Anspruch nehmen kann.
Wenn der Bediener über ein Bild der zu durchsuchenden Personen verfügt (wie im oben beschriebenen Szenario), ist es möglicherweise möglich, biometrische Gesichtserkennungstechnologien zu verwenden (Gesichtserkennung), um eine automatische Suche nach den verfügbaren Videos durchzuführen. Allerdings sind diese Technologien nur wirksam, wenn das Gesicht deutlich sichtbar ist und sich in einer nahezu frontalen Haltung befindet. Dies kommt in Anwendungskontexten, wie sie für LETSCROWD von Interesse sind, selten vor: In den Bildern, die von Videoüberwachungssystemen in relativ großen Bereichen (z. B. Straßen, Plätzen, Konzerthallen) aufgenommen werden, können die Gesichter aufgrund verschiedener Faktoren wie zu großer Entfernung von der Videokamera, Verdeckungen durch andere Personen oder Objekte in der Szene (zusätzlich zur oben genannten nicht-frontalen Pose) nicht sichtbar oder nicht erkennbar sein. In diesen Fällen stützen sich die Betreiber zur endgültigen Identifizierung und Erkennung auf Hilfsmerkmale wie Geschlecht, Aussehen der Kleidung, Vorhandensein von Accessoires wie Hüten oder Rucksäcken; Diese Eigenschaften sind hauptsächlich für kurze Zeiträume (einige Stunden oder auf jeden Fall innerhalb desselben Tages) nützlich, in denen es für eine Person sinnvoll ist, ihre Kleidung nicht zu wechseln. aus diesem Grund werden sie auch „schwache Biometrie", im Gegensatz zu einem "starke Biometrie" wie das Gesicht. Seit einigen Jahren werden im Bereich des künstlichen Sehens Re-Identifikationstechniken erforscht, die auf dem Aussehen einer Person statt auf dem Gesicht basieren (auf dem Aussehen basierende Personen-Re-Identifizierung), deren genaues Ziel darin besteht, die von Videoüberwachungssystemen erfassten Videos automatisch wiederherzustellen, in denen eine Person erscheint, von der ein Bild verfügbar ist, das typischerweise von einem Bediener bereitgestellt wird. Ebenso werden für den Fall, dass nur die Beschreibung des Aussehens einer Person verfügbar ist, Techniken zur Suche nach Bildern von Personen untersucht, deren Aussehen einer von bereitgestellten Beschreibung entspricht ein Operator in Form eines vordefinierten Satzes von „Attributen“, die sich auf Kleidungsmerkmale (z. B. Farbe), Geschlecht und Accessoires wie die oben genannten beziehen; diese Techniken werden als attributbasierte Personensuche bezeichnet.
Wie die Werkzeuge von Aussehensbasierte Personenreidentifikation und attributbasierte Personensuche Können sie Strafverfolgungsbehörden und Ermittler konkret unterstützen? Kehren wir zum Beispiel eines Betreibers zurück, der eine verdächtige Person in einem Video beobachtet und andere Videos wiederherstellen möchte, in denen diese Person vorkommt. Der Bediener könnte das Video stoppen, das Bild dieser Person aus einem Einzelbild „zuschneiden“ und die Software starten Neuidentifizierung einer Person. Diese Software vergleicht das in der Eingabe empfangene Bild mit allen Bildern von Personen, die dieselbe Software automatisch extrahiert hat, und arbeitet „hinter den Kulissen“ (im Hintergrund) in Echtzeit an allen verfügbaren Videos; Am Ende des Vergleichs wird dem Bediener die Reihenfolge dieser Bilder zurückgegeben, geordnet nach der Ähnlichkeit mit dem Bild der zu durchsuchenden Person. Der Bediener hat dann die Möglichkeit, durch diese Sequenz zu scrollen, auf „Kontext“-Informationen zu jedem Bild zuzugreifen (z. B. die Position der entsprechenden Videokamera und den Zeitpunkt, zu dem dieses Bild aufgenommen wurde) und die entsprechende Videospur anzuzeigen.
Eine Software von attributbasierte Personensuche hat eine ähnliche Funktionalität. Am Beispiel der Beschreibung einer Person durch einen Zeugen kann ein Ermittler über eine geeignete Schnittstelle die Elemente dieser Beschreibung einfügen, die den von der Software bereitgestellten vordefinierten Attributen entsprechen (z. B. ein Mann mit rotem Hemd und schwarzer Hose); Die Software stellt dann alle Bilder von Personen wieder her, die zuvor (automatisch) aus allen verfügbaren Videos extrahiert wurden, und zeigt dem Benutzer die Reihenfolge dieser Bilder, sortiert nach dem Grad der Übereinstimmung mit der bereitgestellten Beschreibung. Auch in diesem Fall kann der Benutzer auf die Kontextinformationen und die Videospur jedes wiederhergestellten Bildes zugreifen.
Die beiden oben beschriebenen Tools ermöglichen es daher, die manuelle Suche nach den verfügbaren Videos zu reduzieren und können auch Bilder der interessierenden Personen abrufen, die einem Bediener entgangen wären. Eine der Aktivitäten des PRA Lab in LETSCROWD besteht gerade in der Entwicklung von Prototypen dieser Tools und in deren Validierung in realistischen Anwendungsfällen durch die am Projekt beteiligten Strafverfolgungsbehörden.
Eine weitere Reihe von Aktivitäten der Strafverfolgungsbehörden bei Massenveranstaltungen umfasst die Überwachung einer Menschenmenge; Typische Beispiele sind die Schätzung der Anzahl der in einem bestimmten Bereich anwesenden Personen und die Erkennung potenziell gefährlicher oder verdächtiger Verhaltensweisen, beispielsweise der Anwesenheit einer oder mehrerer Personen, die mitten in einer sich langsam bewegenden Menschenmenge rennen. Die Entwicklung von Techniken zur automatischen Überwachung einer Menschenmenge ist seit mehr als zwanzig Jahren ein Ziel der Computer-Vision-Forschung; Dies erfordert jedoch die Fähigkeit, den Inhalt von Bildern und Videos zu analysieren und zu interpretieren, was mit aktuellen Technologien noch nicht möglich ist, außer durch Ad-hoc-Lösungen in sehr begrenzten und genau definierten Anwendungskontexten. In diesem Zusammenhang besteht das Ziel des PRA Lab in LETSCROWD in der Analyse des Stands der Technik künstlicher Bildverarbeitungstechnologien zur Überwachung von Menschenmengen und in der Entwicklung von Systemprototypen, die Betreiber bei folgenden Aufgaben unterstützen können:
- Schätzung der Dichte bzw. Anzahl der von einer Videokamera gefilmten Personen in einem bestimmten Gebiet;
- Erkennung der Hauptbewegungsrichtungen und -geschwindigkeiten innerhalb einer Menschenmenge;
- Erkennung von „anomalem“ Verhalten in einer Menschenmenge aufgrund von:
- plötzliche Dichteänderungen (z. B. durch panikbedingte Fugue);
- Überschreiten eines vorab festgelegten Höchstwertes der Personendichte oder Personenzahl in einem bestimmten Gebiet;
- Personen oder Gruppen, die sich in einer anderen Richtung oder Geschwindigkeit als in einem bestimmten Kontext „normal“ bewegen.
Unter Berücksichtigung der Schwierigkeit, diese Aufgaben zu automatisieren, werden die vom PRA Lab entwickelten Prototypen insbesondere halbautomatisch sein: Das heißt, sie müssen mit den Bedienern interagieren, was ihre Arbeitsbelastung verringert, ihnen aber die endgültige Entscheidung über die Interpretation einer bestimmten Szene überlässt. Um ein konkretes Beispiel zu nennen: Das Tool zur Erkennung von anomalem Verhalten kann die Aufmerksamkeit des Bedieners auf eine bestimmte Szene lenken, in der es einen plötzlichen Rückgang der Personendichte festgestellt hat. Es bleibt jedoch dem Bediener überlassen, zu beurteilen, ob das Verhalten der Menschenmenge Maßnahmen wie ein Eingreifen von Feldbedienern erfordert, oder ob es sich um eine Situation handelt, die keine wirkliche Gefahr birgt. Dadurch werden mögliche Fehlalarme vermieden.
Das LETSCROWD-Projekt wird von ETRA Investigación y Desarrollo SA (Spanien) koordiniert und umfasst XNUMX Partner aus acht EU-Ländern (private und öffentliche Forschungsinstitute, Universitäten, Strafverfolgungsbehörden und Behörden), die in den kritischen Bereichen Regierung, Sicherheit, Energie, Finanzen, Verkehr und Dienstleistungen tätig sind. Zu den italienischen Partnern gehören neben dem PRA Lab auch das Beratungsunternehmen Deep Blue, das im Bereich IT-Sicherheit tätige akademische Spin-off des PRA Lab, Pluribus One, und das Innenministerium – Staatspolizei, Abteilung für öffentliche Sicherheit. Zu den anderen am Konsortium beteiligten europäischen Strafverfolgungsbehörden gehören Einrichtungen der ersten Ebene: Policía Municipal de Madrid – Ayuntamiento de Madrid (Spanien), Fachhochschule – Polizeiangelegenheiten (Deutschland), Lokalpolizei Voorkempen (LEA-Belgien), Ministerio da Administracao Interna – Polícia de Segurança Pública (Portugal) und Innenministerium (Rumänien).
Das Projekt setzt sich daher ehrgeizige Ziele mit erheblichen Auswirkungen auf das Leben der europäischen Bürger und auf die Arbeit der Behörden für öffentliche Sicherheit. Weitere Details zum Projekt finden Sie auf der Website https://letscrowd.eu (Die den Projektaktivitäten gewidmeten sozialen Kanäle Twitter und Linkedin sind dann von der Website aus zugänglich.) Die Reise von LETSCROWD begann vor einem Jahr mit zufriedenstellenden Teilergebnissen und wird im Oktober 2019 enden und sicherlich ein interessantes Erbe für Forschungsinstitute und Betriebsstrukturen hinterlassen.
Autoren/Co-Autoren
Prof. Giorgio Fumera, außerordentlicher Professor für Informationsverarbeitungssysteme, an der Fakultät für Elektrotechnik und Elektronik der Universität Cagliari.
Dr. Rita Delussu, Doktorandin, Fakultät für Elektrotechnik und Elektronik der Universität Cagliari.
Dr. Matteo Mauri, verantwortlich für die wissenschaftliche Verbreitung, Mustererkennungs- und Anwendungslabor, Fakultät für Elektrotechnik und Elektronik der Universität Cagliari.
(Foto: web)
Nützliche Links:
