Automatisierte Synchronisation

[Esra]

Hey HöTa-Forum,
ich bin vor kurzem über dieses Youtube Video (Gesangsanalyse vom Sänger von Jamiroquai) gestolpert bei dem mir eine deutsche Synchronisation (Audio-Track); "angeblich" automatisiert erstellt, angeboten wird. Ich muß sagen, daß mich die Qualität wie das Original von der Emotionaliät her und überhaupt imitiert wird sehr verblüfft. Selbst die originalen Gesangseinlagen werden versucht - okay mehr "gerapt" als gesungen - synchronisiert zu imitieren. Klar, ja, es gibt zwar immer wieder Aussetzer, die "Lippenschmatzer" fehlen und "natürlich" läuft es (noch?) nicht "Lip dubbed", aber "tendenziell"... also jetzt im Gegensatz zu anderen automatisierten Synchronisationen, wo die automatisierte Synchronisationsstimme schon fast verzweifelt dem Original in der Geschwindigkeit unerträglich "asynchron hinterher- oder drumherum hechelt/wankt". Wow, jedenfalls für mich. In welche Richtung das alles geht. Vielleicht dann irgendwann automatisiert das Original gesungen als backvocal und die Übersetzung gesungen mit Deepfake lipdubbing. (Voll-)automatisiert erstellt, wohlgemerkt.
Grüße,

 

[DarkHeart]

Hey HöTa-Forum,
ich bin vor kurzem über dieses Youtube Video (Gesangsanalyse vom Sänger von Jamiroquai) gestolpert bei dem mir eine deutsche Synchronisation (Audio-Track); "angeblich" automatisiert erstellt, angeboten wird. Ich muß sagen, daß mich die Qualität wie das Original von der Emotionaliät her und überhaupt imitiert wird sehr verblüfft. Selbst die originalen Gesangseinlagen werden versucht - okay mehr "gerapt" als gesungen - synchronisiert zu imitieren. Klar, ja, es gibt zwar immer wieder Aussetzer, die "Lippenschmatzer" fehlen und "natürlich" läuft es (noch?) nicht "Lip dubbed", aber "tendenziell"... also jetzt im Gegensatz zu anderen automatisierten Synchronisationen, wo die automatisierte Synchronisationsstimme schon fast verzweifelt dem Original in der Geschwindigkeit unerträglich "asynchron hinterher- oder drumherum hechelt/wankt". Wow, jedenfalls für mich. In welche Richtung das alles geht. Vielleicht dann irgendwann automatisiert das Original gesungen als backvocal und die Übersetzung gesungen mit Deepfake lipdubbing. (Voll-)automatisiert erstellt, wohlgemerkt.
Grüße,

Ich finde es eher traurig, wie die Entwicklung da von Statten geht. Mich nervt es persönlich, weil ich möchte ja die Stimme des Creators hören, nicht irgend eine KI-Stimme.
Ja, du kannst mit deepfake jetzt theoretisch auch schon Hörspiele erstellen, aber ich glaube keiner hier möchte das wirklich. Ich jedenfalls liebe Menschen gemachtes, AI Slop gibt es schon viel genug.

 

[Esra]

Ich finde es eher traurig, wie die Entwicklung da von Statten geht. Mich nervt es persönlich, weil ich möchte ja die Stimme des Creators hören, nicht irgend eine KI-Stimme.

Zumindestens bei Youtube läßt sich da auch jederzeit der originale Audio-Track aktiveren. Aber wenn ich z.B. die Originalsprache nicht verstehe, dann finde ich das schon eine große Verständnishilfe mit der ich mir auch durch Interviews Sichtweisen aus anderen Kulturkreisen erschließen kann.

 

[Esra]

Ich jedenfalls liebe Menschen gemachtes, AI Slop gibt es schon viel genug.

Auf jeden Fall, ich auch.

 

[pio]

Ich sehe in der Automatischen Synchronisation auch ziemlich großes Potential. Reflexartiges Ki-Bashing ist meiner Meinung nach hier auch nicht zielführend. KI bietet unglaublich hohes Potenzial das Leben der Menschen zu verbessern. Unser Sohn z.B. ist mehrfachbehindert incl. 95%tiger Taubheit. Ich benutze das Wort Taubheit, weil "hörgeschädigt" zwar politisch korrekt, aber bei weitem nicht ausreichend klar macht, wie Menschen mit einer derart starken Hörschädigung eingeschränkt sind. Es gibt mittlerweile auf KI basierende Assitenzsysteme für fast jeden Einsatzzweck. Sehen, hören, fühlen (!), schmecken (!), Farben erkennen (!). Wir müssen damit aufhören, KI reflexartig zu verbannen und anfangen auch einmal über unseren Tellerrand zu schauen. Eine Nachrichtensendung sofort und in allen notwendigen Sprachen zu sehen/hören ist z.B. eine unglaubliche Verbesserung für Demokratie und Teilhabe von Menschen die der angebotenen bzw. vorherrschenden Sprache nicht mächtig sind. Wir müssen ein Gleichgewicht in der Anwendung von KI finden. KI Synchro von Filmen/Serien finde ich abartig und lehne dies ab, Nachrichten und Infosendungen sofort und für jeden zugänglich zu machen ist eine fantastische Möglichkeit. Alles nur meine Meinung.

 

[DarkHeart]

Ich sehe in der Automatischen Synchronisation auch ziemlich großes Potential. Reflexartiges Ki-Bashing ist meiner Meinung nach hier auch nicht zielführend. KI bietet unglaublich hohes Potenzial das Leben der Menschen zu verbessern. Unser Sohn z.B. ist mehrfachbehindert incl. 95%tiger Taubheit. Ich benutze das Wort Taubheit, weil "hörgeschädigt" zwar politisch korrekt, aber bei weiten nicht ausreichend klar macht, wie Menschen mit einer derart starken Hörschädigung eingeschränkt sind. Es gibt mittlerweile auf KI basierende Assitenzsysteme für fast jeden Einsatzzweck. Sehen, hören, fühlen (!), schmecken (!), Farben erkennen (!). Wir müssen damit aufhören, KI reflexartig zu verbannen und anfangen auch einmal über unseren Tellerrand zu schauen. Eine Nachrichtensendung sofort und in allen notwendigen Sprachen zu sehen/hören ist z.B. eine unglaubliche Verbesserung für Demokratie und Teilhabe von Menschen die der angebotenen bzw. vorherrschenden Sprache nicht mächtig sind. Wir müssen ein Gleichgewicht in der Anwendung von KI finden. KI Synchro von Filmen/Serien finde ich abartig und lehne dies ab, Nachrichten und Infosendungen sofort und für jeden zugänglich zu machen ist eine fantastische Möglichkeit. Alles nur meine Meinung.

Ein "Bashing" fand meiner Meinung hier nicht statt. KI-basierte Assistenz-Systeme ist etwas vollkommen anderes als jetzt automatische Synchronisationen. Sicher, diese Synchros können eine Bereicherung sein, aber ich bezweifle, das man als Sänger*In einer Band möchte, dass das Gesungene auf diese Weise "Übersetzt" wird. Ich finde es persönlich eher schwach, gegen meine Argumentation mit etwas zu argumentieren, was überhaupt nicht im Zusammenhang mit dem steht, worum es hier ging. Hier ging es nur um Auto-Synchros auf YT. Es ist also keineswegs, eine reflexartige Verbannung, eher eine klare Ablehnung, da dieses Tool teilweise random eingesetzt wird und es schon jetzt Content gibt, wo Content mit geclonten Stimmen von Synchronsprecher*Innen gemacht wird. Nicht das Thema, ich weiß.
KI ist eben nicht gleich KI.

 

[Peter Nerlich]

Wir müssen damit aufhören, KI reflexartig zu verbannen und anfangen auch einmal über unseren Tellerrand zu schauen.

Ich teile deine Meinung zum Potential von KI gerade in diesem Bereich. Aber die momentane Realität scheint zu sein dass Firmen eben nicht darauf aus sind, solche Dinge möglich zu machen und bis zu einem fertigen Produkt zu entwickeln, sondern irgendeinen Schrott mit LLMs oder generativen Modellen zusammenzubasteln und dann möglichst jedem anzudrehen, der sich bequatschen lässt. Die Werbeversprechen sind regelmäßig jehnseits von Gut und Böse, die Fehlerquote auch, und es werden Grundprinzipien von Sicherheitsanforderungen an Software und Datenverarbeiten mit Eimern aus dem Fenster gekippt. Hinter den Kulissen ist die Technologie noch lange nicht rentabel und alles scheint sich strategisch einzig darauf zu belaufen, dass sich möglichst schnell möglichst viele davon abhängig machen, weil sie das KI Produkt halt einmal in ihre kritischen Prozesse eingebaut haben und die umzustellen wieder ein riesen Aufwand wäre, damit man auf möglichst lange Zeit Geld herauspressen kann.

Mir gibt es das Gefühl, agressiv über den Tisch gezogen zu werden und dass meine Vorstellungen von einem sinnvollen Produkt denen am Allerwertesten vorbeigehen. Und das klingt für mich nicht nach etwas, was ich unterstützen will.
Ich glaube, viele sehen diese Aspekte als viel gravierender als das nicht-Ausfüllen des von dir genannten Potenzials. Und angesichts dessen wird dann lieber alles getan, damit die Blase endlich platzt. Assistive Technologien können auch danach noch gebaut werden – im Prinzip ist alles, was den Menschen selbst und seine Bedürfnisse wahrnimmt ein großer Schritt in die richtige Richtung, wenn nicht schon fast das Ziel. Aber der jetzige Hype lässt das wieder einmal schmerzlich vermissen.

 

[pio]

Das wird sich alles regeln. Es wird sich alles ändern. Aufrufen, Petitionen werden daran nichts ändern. Denn wenn der Konsument die Produktionspolitik der Studios mitmacht könnt ihr solange an die Straße gehen bis der Mond räuchert. Der Mehrzahl der Konsumenten interessiert es einen Scheiß ob irgentwer aus der Branche seinen Job verliert. Das ist total von'n Arsch, aber es ist halt so. Warum werden Hörbuchsprecher heute so scheiße bezahlt? Weil Konsumenten billige Hörbücher haben wollen. Der Konsument hätte ALLES in der Hand. Aber anstatt mit den Füße abzustimmen sieht der Konsument immer nur den eigenen (temporären) Vorteil. Die allermeisten Hörbücher bei Audible sind absoluter Mist. Und zwar von der Vorlage bis zur Hörbuch-Produktion. Warum? Weil sie billig sein müssen. Und weil der Konsument ab liebsten jeder Wochen 100 neue, billige Hörbücher haben will. Ich möchte noch einmal auf mein Beispiel mit den Videotheken hinweisen. Es hat die Menschen einen scheiß interessiert, dass da eine ganze Branche (incl. der beschäftigen Menschen) den Bach runter geht. Raubkopieren und später Streaming waren ja der geile Scheiß. Das Streaming Filme/Serien (mittlerweile) qualitativ kaputt macht ist die Quittung. Tja...wer hätte DAS ahnen können?

 

[DarkHeart]

Das wird sich alles regeln. Es wird sich alles ändern. Aufrufen, Petitionen werden daran nichts ändern. Denn wenn der Konsument die Produktionspolitik der Studios mitmacht könnt ihr solange an die Straße gehen bis der Mond räuchert. Der Mehrzahl der Konsumenten interessiert es einen Scheiß ob irgentwer aus der Branche seinen Job verliert. Das ist total von'n Arsch, aber es ist halt so. Warum werden Hörbuchsprecher heute so scheiße bezahlt? Weil Konsumenten billige Hörbücher haben wollen. Der Konsument hätte ALLES in der Hand. Aber anstatt mit den Füße abzustimmen sieht der Konsument immer nur den eigenen (temporären) Vorteil. Die allermeisten Hörbücher bei Audible sind absoluter Mist. Und zwar von der Vorlage bis zur Hörbuch-Produktion. Warum? Weil sie billig sein müssen. Und weil der Konsument ab liebsten jeder Wochen 100 neue, billige Hörbücher haben will. Ich möchte noch einmal auf mein Beispiel mit den Videotheken hinweisen. Es hat die Menschen einen scheiß interessiert, dass da eine ganze Branche (incl. der beschäftigen Menschen) den Bach runter geht. Raubkopieren und später Streaming waren ja der geile Scheiß. Das Streaming Filme/Serien (mittlerweile) qualitativ kaputt macht ist die Quittung. Tja...wer hätte DAS ahnen können?

Rede!
KI als solches kann ein super Tool sein, aber der zunehmende Slop im Netz ist ein Trend, der eher nicht für diese technische Entwicklung spricht. Hinzu kommt, das bei Generativer KI seit Anbeginn mit Urhebergeschüztem Material trainiert wurde.
KI ist günstiger, schneller als jeder Mensch. Ich denke KI Hörspiele, die auf einem Prompt basieren sind und keinerlei Personen mehr involviert sind, sind gar nicht Mal so undenkbar. Irgendwann läuft auch bestimmt der erste komplett generierte Film im Kino, mit Generierter Musik und "Schauspielern".
Ich war tatsächlich auch mal Pro KI, aber die Durchseuchung von Slop im Netz hat mich einfach Müde gemacht und ich prefäriere deshalb Menschlichen Content