Studentin lädt Videos auf Youtube hoch – dann wurde ihr Gesicht für chinesische und russische Propaganda genutzt

Olga Loiek war an einem Morgen mitten im Winter kaum wach, als sie eine kryptische Instagram-Nachricht las. "Sprichst du Mandarin?", hieß es darin auf Englisch.

Loiek hatte in den Wochen zuvor ähnliche Nachrichten von bekennenden Fans ihres kleinen Youtube-Kanals erhalten, auf dem sie Selbstermächtigungsvideos für knapp über 15.000 Abonnenten hochlädt. Verwirrenderweise wurde in mehreren dieser Kommentare auch ihre Beherrschung der chinesischen Sprache gelobt.

"Ich fühlte mich verletzt"

Sie spricht überhaupt kein Chinesisch, erzählte die 20-jährige Studentin Business Insider von ihrer Wohnung in München aus. Aber diese letzte Nachricht — Ende Januar verschickt — war eine Warnung, kein Kompliment. Jemand könnte versuchen, sich für sie auszugeben, hieß es darin.

Die Nachricht enthielt einen Link zu einem Video auf Xiaohongshu, einer Social-Media-Plattform, die in China schnell an Bedeutung gewinnt. In dem Clip war zu sehen, wie Loiek auf Chinesisch in die Kamera sprach, während Fotos des Kremls und des russischen Staatschefs Wladimir Putin auf den Bildschirm sprangen.

"Zuerst dachte ich: Oh, das ist nur ein lustiger Trick. Aber dann habe ich angefangen, es zu übersetzen", sagte Loeik. Die Frau in dem Video lobte die chinesisch-russischen Beziehungen und beklagte die Sanktionen gegen Moskau, während sie auf einer Shop-Seite russische Produkte verkaufte. Für Loeik, die Ukrainerin ist, war das ungeheuerlich. "Ich fühlte mich verletzt, weil das Dinge waren, die ich nie im Leben sagen würde", sagte sie.

Der Missbrauch von Deepfakes, einer sich schnell entwickelnden Technologie, die KI nutzt, um das Abbild einer Person virtuell zu replizieren, ist seit Jahren dokumentiert. Aber die Kreuzung zwischen westlichen Gesichtern und chinesischen Konten stellt eine neue Ebene der Komplexität dar, da Chinas Ökosystem der sozialen Medien weitgehend von der Welt abgeschottet ist.

Deepfakes hinter der Großen Firewall

Für Chinas schätzungsweise 1,08 Milliarden Internetnutzer sind Youtube und Instagram gesperrt. Sie werden durch moderierte Alternativen zu internationalen Plattformen ersetzt. Es gibt Wechat für Whatsapp und Facebook, Weibo für X und Xiaohongshu als eine Mischung aus Tiktok und Instagram.

Auf diesen chinesischen Plattformen können Deepfakes von nicht-chinesischen Frauen oft unentdeckt bleiben. Denn die Betrachter können die Originalperson nicht ohne Weiteres erkennen. Gleichzeitig ist es für die Urheber weniger wahrscheinlich, dass er entdeckt, dass sein Gesicht gestohlen wurde. Da diese normalerweise nicht auf die chinesischen Plattformen zugreifen, auf denen der Diebstahl stattfindet.

"Wenn in einer "offenen Welt" der sozialen Medien ein Deepfake auftaucht, können wir sehr leicht nachweisen, dass es nicht echt ist, weil wir die Originalperson finden können", sagte Lyu Siwei. Er ist Informatikprofessor und leitet das Media Forensics Lab an der University at Buffalo. "Aber innerhalb Chinas ist es für chinesische Benutzer nicht so einfach, die Große Firewall zu überwinden, sodass sie nicht in der Lage sein werden, diese Kreuzvalidierung durchzuführen."

Deepfake mit Chinesischem Akzent und Online-Shop

Lyu und ein weiterer KI-Forscher, Haibing Lu von der Santa Clara University, erklärten gegenüber BI, dass sie in den letzten sechs Monaten auf chinesischen Plattformen wie Douyin, Chinas Version von Tiktok, weitere Deepfakes von Frauen beobachtet haben.

Der Fall von Loiek zeige, dass zumindest einige dieser Deepfakes nicht einvernehmlich seien.

Das Konto, auf dem Loiek gefälscht wurde, wurde auf Xiaohongshu als Natasha beschrieben, eine 31-jährige Russin, die in der chinesischen Provinz Heilongjiang lebt. Das Konto hatte 140.000 Follower — mehr als die tatsächliche Seite von Loeik. Eine mit dem Konto verbundene Shop-Seite verkaufte russische Süßigkeiten für 3,60 US-Dollar (umgerechnet etwa 3,32 Euro) pro Packung.

Dutzende von Videos auf "Natashas" Seite enthielten verräterische Anzeichen für digitale Manipulationen. Zum Beispiel sind Loieks Lippen in diesen Videos nicht immer mit der Stimme synchronisiert, die mit einem chinesischen Akzent gesprochen wird. Es gibt Zeiten, in denen die Software versagt und ihre Intonation flach ist. Auch die Audioqualität ist nahezu perfekt, ohne Atem- oder Hintergrundgeräusche, was nach Ansicht der beiden Forschenden ein Warnsignal war.

"Es war so unheimlich, weil ich buchstäblich mein Gesicht über Dinge sprechen sah, die ich niemals gutheißen würde", sagte Loiek.

Von einer Frau kommt ein Dutzend Deepfakes

Loeik studert an der University of Pennsylvania kognitive Neurowissenschaften. Derzeit absolviert sie in Deutschland ein Praktikum. Sie ist sich nicht sicher, warum diese Xiaohongshu-Konten sie ausgewählt haben. Aber wer auch immer es auf Loiek abgesehen hatte, fand ihren jungen Youtube-Kanal innerhalb weniger Wochen.

Die Studentin startete ihren Selbstermächtigungskanal im November und hat bisher acht Videos und sieben Youtube-Kurzfilme veröffentlicht.

In einem Youtube-Video, das sie Ende Januar hochgeladen hat, bat Loiek ihre Follower, ihr zu helfen, das Natasha-Konto zu melden. Die Fälschung wurde am 25. Februar von Xiaohongshu entfernt.

Und während "Natasha" verschwunden ist, sind andere Konten, die ebenfalls Loieks Gesicht tragen, aufgetaucht. Loiek sagte, sie habe etwa 30 weitere Konten auf Xiaohongshu entdeckt, die ihr Gesicht verwenden und behaupten, russisch zu sein.

Die Deepfakes auf Xiaohongshu werben für Russland und China

BI hat einige von ihnen gesehen. Da ist April Annie, die Russin, die vor acht Jahren nach China gezogen ist. Sophia Elena, die davon schwärmt, dass russische Frauen chinesische Männer heiraten wollen. Und es gibt Katjuscha, die die Partnerschaft zwischen China und Russland lobt. Alle verwenden Deepfakes von Loiek.

Die Deepfakes auf Xiaohongshu von anderen Youtubern tun dasselbe. Die Täter scheinen es auf weibliche Urheber abgesehen zu haben, die leicht zugängliche Inhalte von sich selbst hochladen, aber keine großen Berühmtheiten sind.

Diese Konten sind nicht schwer zu finden, da die Xiaohongshu-App oft Seiten vorschlägt, die denen ähneln, die man gerade anschaut. Innerhalb von etwa zehn Minuten fand BI auf Xiaohongshu Deepfake-Videos von mindestens fünf Frauen. In all diesen Videos schwärmten die gefälschten Doppelgängerinnen für Russland und China und lobten sie.

Lana Blakely ist eine von ihnen. Blakely ist eine in Stockholm ansässige Creatorin. Auf Youtube hat sie 1,6 Millionen Abonnenten. Sie spricht mit ihren Zuschauenden über Themen wie Selbstreflexion und Beziehungsmanagement. Aber zumindest eine chinesische Deepfake-Version von Blakely hat auf Xiaohongshu eine andere Agenda zu teilen.

"Als wir jung waren, haben wir in der Schule gelernt, dass China und Russland Brüder in der Not sind", sagt eine Deepfake-Version von Blakely auf Chinesisch in einem von BI angesehenen Video.

Innovation ist gefolgt von Risiken

Die in London lebende Elizabeth Filips, die 950.000 Abonnenten auf Youtube hat, lädt Videos hoch, in denen sie Tipps zu Neurowissenschaften und persönlichen Verbesserungen gibt. Auf Xiaohongshu postete ein Account Deepfakes von ihr, in denen sie über Chinas internationale Beziehungen spricht.

"China hat drei gute Freunde. Der erste ist der gute Bruder Pakistan, dann gibt es den guten Bruder Serbien, und schließlich die guten Brüder China und Russland", sagte eine Deepfake-Version von Filips in einem Video.

Blakely lehnte es über ihre Talentmanagement-Agentur ab, einen Kommentar abzugeben. Filips reagierte nicht auf die Anfragen von BI nach einem Kommentar.

Bei den Dutzenden von BI untersuchten Videos äußerte kein einziger chinesischer Nutzer den Verdacht, dass die Clips manipuliert wurden. "Die Botschaften stimmen mit dem überein, was sie bereits kennen, nämlich dass China großartig ist", erklärt Lyu. "Und ich denke, es kommt noch hinzu, dass eine schöne junge Frau ausländischer Herkunft Chinesisch spricht. Das erhöht die Neugierde und zieht die chinesischen Zuschauer an."

Auf die Frage nach den Deepfakes sagte ein Sprecher von Xiaohongshu gegenüber BI: "Da sich die künstliche Intelligenz weiter entwickelt hat, fördert und schätzt Xiaohongshu ihre Innovationen. Gleichzeitig sind viele Risiken durch KI-generierte Inhalte auf Online-Plattformen entstanden."

Sie verwiesen auf die Richtlinien der Plattform, die das Nachahmen von Personen und das Posten von Inhalten, die nicht auf realen Erfahrungen beruhen, verbieten.

Ursprünge noch im Dunkeln

Obwohl es Loiek gelungen ist, den Natasha-Account zu schließen, ist es immer noch ein Rätsel, wer diese Videos erstellt hat. Gelegentlich tauchen neue Konten auf, die vorgeben, Natasha zu sein. Ein Konto, das einst ihr Gesicht als Profilbild verwendete, lud nun Videos von Katzen hoch.

Es gibt zahlreiche Berichte darüber, dass KI häufig als Propagandainstrument eingesetzt wird, auch außerhalb Chinas. Die US-Geheimdienste haben sowohl Russland als auch China beschuldigt, betrügerische Methoden zur Beeinflussung der öffentlichen Meinung einzusetzen. Dabei haben sie KI als ein Hauptproblem genannt.

Lyu sagte jedoch, es sei unklar, ob diese Deepfakes Teil einer Regierungsoperation oder einer Anstrengung einer dritten Partei sind, wie etwa einer pro-russischen oder pro-chinesischen Gruppe.

Das chinesische und das russische Außenministerium reagierten nicht auf die Anfragen von BI nach einer Stellungnahme.

Die Täter könnten auch einfach mit Deepfakes in China experimentieren, sagte Vincent Conitzer, der Leiter des technischen KI-Engagements am Institut für Ethik in der KI der Universität Oxford.

"Wir wollen sehen, was wir tun können. Mal sehen, wie die Leute reagieren. Kaufen die Leute es uns ab?" sagte Conitzer über die mögliche Denkweise hinter der Erstellung der Videos. "Manchmal könnte sogar der Aspekt 'Mal sehen, wie die Leute darauf reagieren' eine Rolle spielen, selbst wenn sie ziemlich klar erkennen können, dass es sich um eine Fälschung handelt."

Keine guten Optionen für Loiek

KI-Experten wie Lyu sind der Meinung, dass Loiek die beste verfügbare Maßnahme ergreift, indem sie auf die Deepfakes aufmerksam macht und ihre Follower auffordert, sie zu melden.

Nur wenige andere Möglichkeiten stehen ihr realistischerweise zur Verfügung, sagen sie.

Lu, ein Professor für Informationsanalyse an der Santa Clara University, ist neben Lyu ein weiterer Forscher, der in letzter Zeit Deepfakes wie die von Loiek in chinesischen sozialen Medien gesehen hat. Er sagte gegenüber BI, er habe versucht, sie den chinesischen Behörden zu melden.

Um eine Anzeige wegen Internetkriminalität zu erstatten, ist in der Regel eine chinesische ID erforderlich, die einer Sozialversicherungsnummer ähnelt, sagte er. "Es wäre sehr schwierig für ausländische Opfer, dies zu melden", sagte Lu. "Technisch gesehen ist es unmöglich."

Nirupam Roy, Assistenzprofessor an der Fakultät für Informatik der Universität, sagte, dass sein Team an einer Anti-Manipulations-Software namens TalkLock arbeitet, die veränderte Inhalte erkennen kann. Die Bekämpfung von Deepfakes wie dieser würde jedoch voraussetzen, dass Unternehmen wie Xiaohongshu mit an Bord kommen und eine solche Software einsetzen.

"Der Vorstoß für eine Standardmaßnahme wie diese hängt in der Regel davon ab, wie sehr sich die Menschen des Problems bewusst sind", erklärt Roy.

Und da es noch kein internationales Abkommen zu KI-Fragen gibt, wäre es für Loeik schwierig, zu klagen, selbst wenn sie die Schuldigen gefunden hätte, sagte Ari Lightman, Professor für digitale Medien an der Carnegie Mellon University.

"Diese Dinge werden immer wieder passieren", sagte er gegenüber BI.

In der Zwischenzeit sagt Loiek, dass sie weiterhin an ihrem Kanal arbeiten wird, obwohl sie weiß, dass jeder Inhalt, den sie hochlädt, in China zu einem Deepfake werden kann. "Ich glaube nicht, dass ich aus einer Position der Angst heraus denken muss", sagte sie. "Aber mir ist klar, dass jedes Mal, wenn ich ein Video hochlade, die Möglichkeit besteht, dass das passieren kann.

Dieser Text wurde von Muriel Dittmar aus dem Englischen übersetzt. Das Original findet ihr hier.