Markus Kovalik, wissenschaftlicher Mitarbeiter am Institut für Produktion und Informatik Sonthofen, hat vor Kurzem seine Masterarbeit bei Professor Bernd Lüdemann-Ravit an der Fakultät Informatik der Hochschule Kempten fertiggestellt. Im Rahmen eines größeren Forschungsprojektes erstellte Markus in seiner Masterarbeit synthetische Bilddaten von Gegenständen, deren Merkmale dann durch Objekt- und Merkmalserkennung identifiziert werden sollten.
Lass uns erst mal über dich sprechen. Wie bist du zum IPI gekommen?
Ich habe schon meine Seminararbeit bei Bernd Lüdemann-Ravit geschrieben. Da war das IPI noch im Aufbau. Anschließend an meine Seminararbeit, die ich im Bereich Computer Vision geschrieben habe, bot mir Professor Lüdemann-Ravit an, dass ich meine Bachelorarbeit und dann auch Masterarbeit ebenfalls in diesem Bereich am IPI machen könnte. Das, was wir hier tun, hat mich dann auch davon überzeugt, weiter diese Richtung zu verfolgen und hier eine Stelle als wissenschaftlicher Mitarbeiter anzutreten.
Worum geht es in deiner Abschlussarbeit?
Meine Arbeit befasst sich mit der Generierung synthetischer Bilddaten, die als Grundlage für Verfahren der Objekt- und Merkmalserkennung dienen sollen. Im Mittelpunkt steht dabei die Erzeugung realistischer und effizient nutzbarer synthetischer Datensätze, die speziell für den Einsatz in komplexen Produktionsumgebungen und anspruchsvollen Objektszenarien ausgelegt sind.
Deine Masterarbeit bestand also aus drei Teilbereichen. Der synthetischen Bilderzeugung, der Objekterkennung und der Merkmalserkennung. Das ist ein großer Umfang, wie bist du vorgegangen?
Ja, das war nicht einfach, muss ich ehrlich sagen. Der Fokus lag vor allem bei den synthetischen Bilddaten, da es für die Objekt- und Merkmalserkennung schon solide Ansätze gibt. Aber die Erstellung synthetischer Bilddaten ist momentan ein kritischer Punkt. Die KI lässt sich schnell erstellen. Der Knackpunkt liegt darin, Daten zu finden, die einen Mehrwert bringen und mit denen das Modell erfolgreich ist. Es gibt verschiedene Ansätze zur Erstellung synthetischer Bilddaten, wie beispielsweise über Omniverse oder Blender. Für mich war es jedoch wichtig, mal eine andere Richtung zu gehen. Bei meiner Recherche bin ich auf den GAN-Ansatz gestoßen (Generative Adversarial Networks). Der hat für mich funktioniert, auch wenn am Anfang noch nicht absehbar war, ob dieser Ansatz erfolgreich sein würde und wir überlegt hatten, einen anderen zu wählen. Das größte Problem lag darin, dass der Ansatz 27 Tage für das Training braucht, was ziemlich viel Zeit ist, um schlussendlich annehmbare Ergebnisse zu produzieren. Das ist aber auch genau der Vorteil der Forschung. Unternehmen entwickeln mit dem Fokus auf Geschwindigkeit. Wir können jedoch auch mal andere Richtungen erkunden und haben dabei die Chance, Lösungen zu entwickeln, die vielleicht sogar bestehende Ansätze ablösen.
Es gibt verschiedene Versionen der GAN-Methode. Nach welchen Kriterien hast du entschieden, welche du final verwendest?
Den GAN-Ansatz habe ich tatsächlich in einer Vorlesung entdeckt. Das war nur ein kurzes Nebenthema, ist aber dann bei mir hängen geblieben, weshalb ich meine Recherche darauf fokussiert habe. Dabei habe ich den sogenannten DCGAN entdeckt und habe beschlossen, bei dieser Version anzufangen. Das Problem war nur, dass DCGAN nur sehr kleine Bilder erzeugen kann, was bei der Merkmalserkennung problematisch ist. Nach weiterer Recherche bin ich dann beim StyleGAN gelandet. Bei diesem Ansatz bin ich dann auch geblieben, da die erzeugten Bilder vielversprechend aussahen.
Wenn du im Nachhinein auf deine Masterarbeit blickst, würdest du etwas anders machen?
Ich denke, ich würde auf jeden Fall wieder den GAN-Ansatz wählen, einfach um diesen Weg auch mal erkundet zu haben. Und ich würde vermutlich die Merkmalserkennung anders lösen. Aktuell muss man die Bilder händisch annotieren, was extrem zeitaufwendig ist. Daher würde ich nach einer Alternative suchen, die darauf verzichtet.
Was waren für dich die wichtigsten Erkenntnisse deiner Arbeit?
Dass man die synthetischen Daten so gut generieren kann, dass sie meine These unterstützen. Sprich, dass wenn ich jemanden ein synthetisch erstelltes Bild von bestimmten Gegenständen vorlege, kein Unterschied zu einem nicht synthetischen Bild zu erkennen ist.
Was hat dir an der Arbeit am meisten Freude bereitet?
Die gesamte Arbeit hat mir Freude bereitet. Ich hatte auf jeden Fall meine herausfordernden Momente, in denen ich mich gefragt habe, ob es in die richtige Richtung geht. Am meisten Freude hat mir schon die Generierung der synthetischen Bilddaten gemacht. Da kommt am Schluss einfach etwas raus, das man sieht. Ansonsten hat die Objekterkennung auch Spaß gemacht, vor allem das Programmieren.
Was hat dich besonders überrascht an deiner Arbeit?
Die Objekterkennung. Ich war überrascht, wie genau das funktioniert hat. Das Ziel war es, ein Modell mit den synthetisch erstellten Bilddaten zu trainieren und es dann mit Echtdaten zu testen. Für mich war klar, dass wenn wir 70% Genauigkeit erreichen, schon eine gute Richtung eingeschlagen ist. Tatsächlich lag die Genauigkeit dann aber bei 100%. Aber es war natürlich auch ein einfacherer Use Case, da sich nichts bewegt und die Konturen einfach erkannt werden können. Es sind auf jeden Fall weitere Tests notwendig. Außerdem kann das Ganze im industriellen Umfeld auch nochmal anders aussehen.
Welchen Tipp hättest du für zukünftige Masterstudenten?
Der Anfang der Masterarbeit ist entscheidend. Das ist der Punkt, an dem man sich ein Konzept überlegen muss. Ohne das riskiert man sonst, sich schnell zu verrennen, gerade wenn sich die Richtung, die man einschlägt, als Sackgasse erweist. Und ansonsten sollte man sich ein Thema aussuchen, für das man brennt und an dem man Spaß hat.
Das Interview führte: Amira Eser, studentische Mitarbeiterin am Institut für Produktion und Informatik Sonthofen
Ansprechpartnerin bei Fragen: Steffi Nickol, Operative Leitung IPI, steffi.nickol(at)hs-kempten.de, 0831/ 2523-9225