Realistische Mimik statt stures Starren – KI-Software Casablanca sorgt für wirklich authentische Videocalls

93% unserer Kommunikation sind nonverbal, sagt Psychologe Prof. Albert Mehrabian. Dabei sind Blickkontakt und Mimik der wichtigste Bestandteil. Bei Videocalls ging dieser Blickkontakt bisher verloren. Die KI-Software des Startups Casablanca erzeugt in Echtzeit Blickkontakt und realistische Mimik in Videocalls. Sie lässt sich mit allen Videocall-Systemen anwenden.

Digitaler Blickkontakt wie im analogen Gespräch

Für die Entwicklung von Casablanca hat das deutsche Startup zwei Jahre geforscht und drei Patente entwickelt. Herausgekommen ist eine Technologie, die mittels künstlicher Intelligenz den natürlichen Blickkontakt wieder herstellt – allerdings nur, wenn man sich auch wirklich anschaut. Die Software arbeitet, als hätte man eine Kamera mitten auf dem Bildschirm angebracht – nur ohne die störende Kamera.

Bisherige Lösungen wie die des US-Tech-Giganten NVIDIA („NVIDIA Broadcast“ ging zuletzt stark durch die Medien) drehen lediglich die Augen zur Kamera – und zwar ständig, auch wenn der Gesprächspartner eigentlich den Blick abwendet. Das schafft zwar Blickkontakt, dieser ist allerdings sehr unnatürlich. Casablanca ist hingegen in der Lage, das ganze Gesicht zu verarbeiten. Dadurch wird der Kopf im idealen Winkel ausgerichtet und die KI erlaubt es auch, bewusst in eine andere Richtung zu schauen. Augenkontakt entsteht dadurch genau so, wie er auch im analogen Gespräch entstehen würde.

Natürliche Mimik dank Künstlicher Intelligenz

In Casablanca stecken verschiedene Technologien: Einerseits erzeugt die KI ein 3D-Abbild des Kopfes mit einem eigens entwickelten Deep-Learning-Verfahren. Ergänzend wird ein um zusätzliche Diskriminatoren erweitertes GAN (Generative Adversarial Network) eingesetzt, um fehlende Bildteile zu ergänzen. So kann beispielsweise der Hals rekonstruiert werden, wenn die Kamera diesen nicht erfassen kann. Erst diese Kombination ermöglicht die realistische Ausrichtung des Kopfes, natürlichen Blickkontakt und authentische Mimik. Andererseits sorgen neue Interpolationsverfahren dafür, dass Casablanca weniger Daten behandeln muss, um die Bilddrehung zu vollziehen – das sichert eine flüssige Anwendung in Echtzeit.

Casablanca lässt sich mit allen Videocall-Systemen anwenden, denn es wird tatsächlich als (virtuelle) Kamera installiert, obwohl es reine Software ist. Man wählt dann in Zoom, Teams usw. statt der „Front Camera“ einfach die „Casablanca Camera“ aus. Ebenso wie das NVIDIA System benötigt Casablanca auf Windows-Notebooks eine Grafikkarte für die KI-Berechnungen. Auf einem Mac mit M1 oder M2 Prozessor läuft Casablanca problemlos, da diese Prozessoren bereits die erforderliche KI-Rechenleistung mitbringen. Casablanca ist derzeit im Beta-Stadium, man kann sich kostenlos registrieren und die Beta-Version in allen Videocalls nutzen.