Masterarbeit im Studiengang Game Engineering und Visual Computing
Die Einbindung non-verbaler Kommunikation in virtuelle Umgebungen stellt einen wichtigen Fortschritt für die Mensch-Computer-Interaktionen dar. Diese Arbeit untersucht die Entwicklung und Implementierung eines sozial präsenten virtuellen Charakters, mit Hilfe von künstlicher Intelligenz (KI). Basierend auf Social Signal Processing kann er non-verbale Signale, besonders Mimik, erkennen und darauf reagieren. Entwickelt wurde dafür ein virtueller Charakter in Form eines Gorillas. Durch seine primitive, aber menschenähnliche Erscheinung kann er Emotionen wie Freude, Wut, Trauer, Angst, Neugier und Neutralität überzeugend darstellen. Für die Erkennung der Emotionen wurde eine KI trainiert, die mithilfe einer Webcam die Gesichtsausdrücke des Nutzers analysiert und Emotionen wie Freude, Ärger, Trauer, Überraschung und Nachdenklichkeit in Echtzeit identifiziert. Die erkannten Emotionen werden mit den entsprechenden Reaktionen des virtuellen Charakters verknüpft und ermöglichen so eine immersive und non-verbale Interaktion. Die Ergebnisse zeigen, dass der Charakter in der Lage ist, glaubwürdige Reaktionen auf Nutzereingaben zu bringen. Dies stellt einen interessanten Ansatz für die non-verbale Kommunikation mit virtuellen Agenten dar. Die gewonnenen Erkenntnisse bieten eine fundierte Grundlage für zukünftige Erweiterungen, wie die Integration von Gestik oder die Anwendung in VR- und AR-Umgebungen. Außerdem tragen sie zur Weiterentwicklung interaktiver und sozial präsenter Technologien bei.

- Verfasser: Antonio Krog
- Aufgabensteller/Prüfer: Prof. Dr. Christoph Bichlmeier
- Masterarbeit im Studiengang Game Engineering und Visual Computing, Hochschule Kempten