Erzeugung von synthetischen Seitensichtsonar-Bildern mittels Generative Adversarial Networks

Für die Anwendung von Deep-Learning-Methoden zur automatischen Auswertung von Daten bildgebender Sonare stellt die nicht vorhandene Verfügbarkeit größerer Trainingsdatenmengen nach wie vor ein Problem dar. In den letzten Jahren wurden jedoch sogenannte Generative Adversarial Networks (GAN) als ein Werkzeug aus dem Bereich Deep Learning für die Erzeugung synthetischer Daten entwickelt. In dieser Arbeit wird untersucht, inwieweit sich GANs zur Erzeugung künstlicher Sonarbilder eignen. Um das GAN auch mit wenigen Beispielen trainieren zu können, wird eine Art des Transfer-Lernens mit Hilfe von einfachen simulierten Bildern entwickelt. Es zeigt sich, dass die Performance eines Klassifikators durch Hinzunahme der künstlichen Bilder gesteigert werden kann.

Seitensichtsonar | Autonomes Unter-Wasser-Fahrzeug | Deep Learning | generative Netzwerke | Transfer-Lernen

A remaining problem is the lack of large-scale sonar image data sets when applying deep learning algorithms for the automatic analysis of these data. However, over the past few years, generative adversarial networks (GAN) where developed as a tool for generating synthetic data. This work investigates how GANs can be used to generate synthetic sonar images. In order to train the GAN with only a few available samples, a transfer-learning approach is applied which uses simple simulated images. Using the additional synthetic sonar images, the performance of a classifier can be increased.

side-scan sonar | autonomous underwater vehicle | deep learning | generative adversarial network | transfer-learning

• Ausgabe: HN 119, Seite 30–34
• DOI: 10.23784/HN119-04
• Autor/en: Yannik Steiniger, Jannis Stoppe, Dieter Kraus, Tobias Meisen

Automatic boulder identification in side-scan sonar

Boulder surveys seek to identify prominent boulders which position may collide with planned cable routes, offshore wind farms or other subsea construction activities. Data is collected using suitable sensor technologies such as bathymetry from multibeam echo sounders and side-scan sonar imaging. Currently, the boulder identification process is a labour-intensive job that requires domain expertise to interpret the data and provide each identified target with accurate annotations. With this work, we propose to automate the majority of this process by training neural networks to identify boulders in side-scan data. Our preliminary work estimates the area covered by each boulder instance and further generates metadata for each identified target for filtering, sorting and report generation. In addition to being an automated process, our method can process several kilometres of side-scan data and identify thousands of boulders in less than a minute. Not only does this provide results of high accuracy but it also performs orders of magnitude faster than human processors.

boulder identification | AUV | SeaCat | artificial intelligence | deep learning | side-scan sonar imag-ing

Bei der Vermessung von Felsblöcken geht es darum, markante Felsblöcke zu identifizieren, deren Position mit geplanten Kabeltrassen, Offshore-Windparks oder anderen Bauten unter Wasser kolli-dieren könnte. Die Daten werden mit Hilfe geeigneter Sensortechnologien gesammelt, wie z. B. Bathymetrie von Fächerecholoten und Side-Scan-Sonar-Bildern. Derzeit ist es eine arbeitsintensive Aufgabe, Felsbrocken zu erkennen, die Fachwissen erfordert, um die Daten zu interpretieren und jedes identifizierte Ziel mit genauen Anmerkungen zu versehen. Mit dieser Arbeit schlagen wir vor, den Großteil dieses Prozesses zu automatisieren, indem wir neuronale Netze trainieren, um Fels-brocken in Side-Scan-Daten zu identifizieren. Unsere vorläufige Arbeit schätzt die Fläche, die von jedem Felsbrocken abgedeckt wird, und generiert darüber hinaus Metadaten für jedes identifizierte Ziel zum Filtern, Sortieren und Erstellen von Berichten. Da es sich um einen automatisierten Prozess handelt, kann unsere Methode in weniger als einer Minute mehrere Kilometer an Side-Scan-Daten verarbeiten und Tausende von Felsbrocken identifizieren. Dies liefert nicht nur Ergebnisse von hoher Genauigkeit, sondern arbeitet auch um Größenordnungen schneller als Menschen.

Erkennung von Felsbrocken | AUV | SeaCat | künstliche Intelligenz | Deep Learning | Side-Scan-Sonar-Bilder

• Ausgabe: HN 119, Seite 24–29
• DOI: 10.23784/HN119-03
• Autor/en: Jesper Haahr Christensen

Deep learning-based detection of marine images and the effect of data-driven influences

Throughout recent years convolutional neural networks have been applied for various image detection tasks. Training data thereby plays an important role for the performance of those models. Not only the amount of images is crucial but also the number of annotations, classes as well as image dimensions. In view of changing underwater environments, the study of benthic communities is increasingly important especially in the Southern Ocean as they provide a key link for ecosystem shifts. This study concentrates on the automatic detection and classification of benthic species using deep learning. It could be shown that glass sponges, brittle stars and soft corals could successfully be detected even on few input data and highly biased class distributions in varying underwater scenes. Further analyses considering datadriven influences show significant performance declines regarding the training on single objects and classes per image and the evaluation on large image dimensions.

deep learning | automatic detection | underwater imagery | benthos Deep | Learning

In den letzten Jahren wurden gefaltete neuronale Netze für verschiedene Aufgaben der Bilderkennung eingesetzt. Die Trainingsdaten spielen dabei eine wichtige Rolle für die Leistungsfähigkeit dieser Modelle. Dabei ist nicht nur die Menge der Bilder entscheidend, sondern auch die Anzahl der Annotationen, Klassen sowie die Bilddimensionen. Angesichts sich verändernder Unterwasserumgebungen wird die Untersuchung benthischer Lebensgemeinschaften vor allem im Südlichen Ozean immer wichtiger, da sie hier vor allem sensibel auf Veränderungen reagieren. Diese Arbeit konzentriert sich auf die automatische Erkennung und Klassifizierung von benthischen Arten mittels Deep Learning. Es konnte gezeigt werden, dass Glasschwämme, Schlangensterne und Weichkorallen selbst bei wenigen Eingabedaten und stark unterrepräsentierten Klassen in unterschiedlichsten Unterwasserlandschaften erfolgreich erkannt werden. Weitere Analysen zu datengetriebenen Einflüssen zeigen deutliche Leistungseinbußen bei einzelnen Objekten und Klassen pro Bild während des Trainings und großen Bilddimensionen während der Evaluation.

automatische Detektion | Unterwasserbilder | Benthos

• Ausgabe: HN 119, Seite 18–23
• DOI: 10.23784/HN119-02
• Autor/en: Mona Lütjens, Harald Sternberg

Automatic detection of boulders by neural networks
A comparison of multibeam echo sounder and side-scan sonar performance

Neural networks show great promise in the automatic detection of boulders on the seafloor. Maps derived from bathymetric data show better performance compared to backscatter mosaics in this study. However, we find the lack of training data groundtruthed to a high standard the largest challenge for automated object detection based on acoustic data.

boulder detection | neural networks | hydrographic surveying | bathymetry | backscatter

Neuronale Netze sind sehr vielversprechend bei der automatischen Erkennung von Felsbrocken auf dem Meeresboden. Aus bathymetrischen Daten abgeleitete Karten zeigen in dieser Studie eine bessere Leistung im Vergleich zu Rückstreumosaiken. Die größte Herausforderung für die automatische Objekterkennung auf Basis akustischer Daten ist jedoch der Mangel an Trainingsdaten, die auf einem hohen Standard erprobt sind.

Erkennung von Felsbrocken | neuronale Netze | Seevermessung | Bathymetrie | Backscatter

• Ausgabe: HN 119, Seite 6–17
• DOI: 10.23784/HN119-01
• Autor/en: Peter Feldens, Patrick Westfeld, Jennifer Valerius, Agata Feldens, Svenja Papenmeier

Beschlüsse der 2. Generalversammlung der IHO

Die Generalversammlung (»Assembly«) ist das Hauptorgan der International Hydrographic Organization (IHO), das von den Vertretern der einzelnen Mitgliedsstaaten gebildet wird. Sie tritt alle drei Jahre zusammen, um allgemeine Richtlinien für die Arbeit zu geben sowie Entscheidungen technischer und administrativer Art zu treffen. Was im November 2020 bei der 2. Generalversammlung der IHO in Monaco beschlossen wur-de, fasst dieser Artikel zusammen.

IHO | Generalversammlung | S-101 | S-100 | S- 67 | S-57 | S-44 | S-23 | Papierseekarte | Elektronische Seekarte

• Ausgabe: HN 118, Seite 48–50
• DOI: 10.23784/HN118-07
• Autor/en: Horst Hecht