00:00:02: Dein Telefon klingelt, späte Stunde am anderen Ende deine Tochter.

00:00:07: Sie weint.

00:00:08: sie hat einen Unfall.

00:00:09: es ist etwas passiert.

00:00:10: sie braucht sofort Geld.

00:00:12: Du erkennst ihre Stimme Jede Nuance das Zittern wenn sie Angst hat.

00:00:18: Deine Hand geht zur Überweisung.

00:00:20: Es ist nicht deiner Tochter.

00:00:23: Es waren nie deine Tochte.

00:00:25: Es sind drei Sekunden Ton aus einem Video dass sie einmal online gestellt hat.

00:00:31: Der Rest ist Maschine.

00:00:34: Herzlich willkommen im Denkraum!

00:00:37: Mein Name ist Georg Riedelhammer.

00:00:40: Heute geht es um Betrug und um eine unbequeme Frage.

00:00:45: In der letzten Folge ging es um Werbung, um Maschinen die überzeugen.

00:00:51: heute nehmen wir dieselbe Technik.

00:00:53: Wir ziehen nur eine Sache ab Die Erlaubnis.

00:00:57: Ich habe ein halbes Berufsleben in dem Automobilmarkt gearbeitet.

00:01:01: ich kenne das Handwerk des Überzeugens die richtige Stimme, der richtige Moment das richtige Gefühl.

00:01:08: und genau dieses Handwerk benutzt er Betrüger.

00:01:12: Nur ohne Lizenz!

00:01:14: Das ist der wunde Punkt dieser Folge.

00:01:17: Der Trick ist immer gleich eine Stimme wird geklont oder ein Gesicht Ein Ziel wird ausgesucht Und der Schlag kommt im schwachen Moment wenn du unter Druck stehst.

00:01:30: Das ist die Dramaturgie der Werbung.

00:01:32: nur wird hier getäuscht statt geworden.

00:01:36: Und das Beunruhigende, die Hürde ist niedrig!

00:01:41: Ein paar Sekunden deiner Stimme genügen.

00:01:44: Die findet sich in jedem Urlaubsvideo In jeder Sprachnachricht, in jeden Podcast auch in diesem Wie groß es ist und wie leichtes geht Das.

00:01:55: schauen wir uns jetzt an Die Fälle, die Zahlen vor allem aus den USA.

00:02:00: Mit mir analysiert eine KI-generierte Avatarin.

00:02:07: Also, stell dir das mal vor.

00:02:09: Du sitzt in einer eigentlich völlig normalen Videokonferenz mit deinem Schäf und ein paar Kollegen.

00:02:15: Ja, einen ganz normaler Arbeitstag eben?

00:02:18: Genau!

00:02:19: Und da kriegst du dann die Anweisung, mal eben, etwa, zu überweisen.

00:02:26: Du machst es natürlich – dein Schäfer hat das ja gesagt – und danach erfährst du, dass niemand in diesem Call echt war...

00:02:35: Das ist echt der absolute Albtraum, oder?

00:02:38: Und genau das ist unser Thema heute.

00:02:40: Wir kommen zu unserer Analyse!

00:02:43: Wir schauen uns unser Dosier an – das zeigt wie aus einer so genialen KI-Technik plötzlich eine extrem gefährliche Waffe wird.

00:02:52: Einfach weil die Erlaubnis der Betroffenen fehlt...

00:02:56: Ja, der Sprung in der Technik ist wirklich gewaltig.

00:02:59: Wenn wir uns mal ansehen was wir hier dokumentiert haben, das fing ja im Prinzip erst zum Jahr zweizehnt neunzehn im Prinzip richtig an.

00:03:04: Das

00:03:05: war dieser Fall mit dem britischen Manager oder?

00:03:08: Richtig!

00:03:09: Der hat damals zweihundertzwanzigtausend Euro überwiesen.

00:03:12: er hatte seinen deutschen Chef am Telefon und hat einfach den Zent-und diese typische Sprachmelodie sofort erkennen Obwohl

00:03:20: das damals nur eine reine KI Stimmenkopie war also Nur Audio.

00:03:26: Ja, das war quasi der Anfang und dann kam eben der Januar zwetausend vierundzwanzig mit diesem riesigen Fall bei einer Firma namens Arup in Hongkong wo denn diese fünfundzwantzig Komma sechs Millionen Dollar geflossen sind?

00:03:39: Warte mal!

00:03:40: Fünfundzwanzig Kommas sechs Millionen.

00:03:42: also wenn ich so eine Summe überweise dann sieht sich doch nicht nur Sturm da und Nikke.

00:03:48: Eben man fragt nach

00:03:50: Genau, da stelle ich doch Rückfragen Wie kann denn so ein livegenerierter Videodiebweg eine Echtzeitprüfung standhalten?

00:03:59: Da muss doch irgendetwas ruckeln oder verbixeln.

00:04:02: Das ist ja der Trick!

00:04:03: Die KI spielt da nicht einfach nur ein vorher gerendertes Video ab, die Täter haben sich alte Online-Meetings der Firma besorgt und damit ein Modell trainiert.

00:04:12: Ja verstehe... das ist also so als hätten die Kriminellen in den letzten Jahren noch so eine einfache Audiumaske getragen Und heute ziehen die einen kompletten CGI Raubüberfall live durch.

00:04:28: Exakt!

00:04:29: Die Software legt in Echtzeit ein digitales Gesicht über den Live-Feed der Täter wie bei einer digitalen Marionette, weißt du?

00:04:35: Das heißt wenn der Betrüger vor der Kamera blinzelt blindelt der falsche Schäf auf dem Bildschirm auch.

00:04:42: Ganz genau, jeder Wimpernschlag und jedes Nicken wird synchron übertragen!

00:04:46: Und diese minimalen Verzögerungen die die Software beim Berechnen braucht, die fallen gar nicht groß auf... Weil

00:04:52: Videocalls ja ohnehin oft ein bisschen ruckeln.

00:04:56: Richtig

00:04:56: man denkt dann einfach Die Internetverbindung ist gerade schlecht.

00:04:59: Okay das erklärt die optische Täuschung live Aber wie kommen die an das Audio Material?

00:05:07: Laut der Mac-Effi-Studie reichen heute wohl drei Sekunden Audio.

00:05:14: Ja, dreisekunden!

00:05:15: Das reicht schon?

00:05:16: Finne – fünfundachtzigprozentige Stimmkopie.

00:05:19: Dreisekunden also.

00:05:22: wie macht die Software aus?

00:05:23: einem kurzen Hallo hier ist die Mailbox ein komplettes Vokabular.

00:05:29: Die KI speichert nicht einfach die Wörter ab, die du da sagst.

00:05:33: Sie analysiert die ganzen phonetischen Muster, also die Tonhöhe das Timbre.

00:05:38: Deine ganzen Eigenheiten!

00:05:40: Sie lernt quasi die physikalische Eigenschaften von meinem Halsraum.

00:05:46: Genau vom Vokaltrackt.

00:05:48: und aus diesem Profil kann das Modell dann berechnen wie du völlig neue Wörter aussprechen würdest.

00:05:54: Wörtern die Du in der Aufnahme nie gesagt hast.

00:05:57: Und das Futter dafür liefern wir alle selbst durch ein kurzes Video auf Social Media, eine Mailbox-Ansage oder eben dieser Podcast.

00:06:09: Ja leider und weil das oft Open Source Modelle sind ist die Einstiegshürde für Kriminelle mittlerweile extrem niedrig.

00:06:17: Aber die Technik ist doch eigentlich nur das Werkzeug, oder?

00:06:21: Ganz genau!

00:06:22: Die eigentliche Waffe ist die Psychologie – die Betrüger zielen direkt auf unsere Emotionen ab

00:06:27: um unser logisches Denken auszuschalten.

00:06:31: Richtig.

00:06:32: Wenn du emotional reagierst, blockiert das logische Denken...

00:06:35: Also Angst und Panik!

00:06:37: Das ist wie beim klassischen Enkeltrick nur dass man jetzt wirklich die weinende Stimme vom eigenen Kind am Telefon hört.

00:06:46: Ja, das ist furchtbar.

00:06:47: Das Kind hatte angeblich einen Unfall und brauchte sofort Geld?

00:06:50: Oder halt genau in die andere Richtung dieses sogenannte Pick-Batchnen.

00:06:56: Oh ja, da ist es auch ein riesiges Problem geworden.

00:06:59: Da wird über Wochen durch so eine falsche Zuneugung, eine richtige emotionale Bindung aufgebaut.

00:07:07: Nur um die Leute dann am Ende bei einem Anlagebetrug komplett auszunehmen.

00:07:13: Genau!

00:07:14: Wenn diese Emotionen kicken schaltet unser Gehirn einfach auf Autopilot und das sieht man leider auch extrem an den Zahlen.

00:07:20: Was sagt unsere Recherche da genau?

00:07:23: Also... Das FBI hat für ist Jahrzehnte einen Gesamtschaden durch Betrug von ... und fast fünf Milliarden davon betreffen allein ältere Opfer.

00:07:36: Aber das umfasst ja alle Bedrucksarten oder nicht nur die KI?

00:07:39: Richtig, dass es jeder betrug!

00:07:41: Aber die Prognosen für diese reine KI-Sparte sind echt extrem... Die Leut schätzt, dass der KI-gestützte Betrug in den USA bis zu einem Jahrzehnte auf US-Dollar explodieren könnte.

00:07:57: Ja, weil es halt extrem skalierbar ist!

00:07:59: Ein Algorithmus kann theoretisch tausende Opfer gleichzeitig manipulieren.

00:08:10: Nee,

00:08:15: natürlich nicht.

00:08:16: Aber der effektivste Schutz ist paradoxerweise total analog – es geht um Gewohnheiten!

00:08:21: Also so etwas wie Codewörter?

00:08:24: Na, immer mehr Familien und auch Unternehmen machen das….

00:08:28: Man überlegt sich ein spezifisches Wort, dass man noch nie in einer E-Mail geschrieben hat und das in keinem Video vorkommt...

00:08:35: Und wenn dann das weinende Kind oder der panische Schäf am Telefon dieses Wort nicht kennt, weiß ich sofort, das ist ein Fake

00:08:44: Ganz genau.

00:08:45: Wer das Wort nicht kennt, ist nicht echt!

00:08:48: Das heißt aber auch im Zweifel lege ich einfach auf oder?

00:08:51: Ja immer auflegen.

00:08:53: Vertraue der Nummer die du in deinem eigenen Adressbuch hast.

00:08:56: Ruf auf einem bekannten Weg zurück.

00:08:58: Vertrau'e den Nummer... ...nicht der Stimme.

00:09:02: Das ist ein Supermerksatz.

00:09:04: Die Betrüger leben ja von diesem extremen Zeitdruck.

00:09:08: Richtig!

00:09:08: Die wollen dass Du sofort handelst.

00:09:10: Also einfach mal tief durchatmen die Geschwindigkeit rausnehmen und diesen emotionalen Bannen brechen.

00:09:18: Wer das Tempo diktiert, der kontrolliert auch die Situation – so einfach ist es!

00:09:23: Gut, das war jetzt sehr intensiv.

00:09:25: Wir haben ja vorhin mit diesem absolut perfekten Fake-Videokoll in Hongkong angefangen.

00:09:30: Genau dieser riesige Millionenraub ….

00:09:32: Und wenn da wirklich ein paar Sekunden Sprachaufnahme und irgendein altes Zoom-Meeting reichen um unsere Identität quasi komplett zu klonen?

00:09:42: Da fragt man sich schon, werden wir bald in unserer eigenen Familie so einen digitalen Fingerabdruck oder ein Passwort brauchen?

00:09:51: Das ist wirklich eine unheimliche Vorstellung.

00:09:54: Einfach nur um zu beweisen dass wir wirklich wir selbst sind, provokanter Gedanke den du heute mal an den Tag nehmen kannst.

00:10:10: soweit die Analyse.

00:10:12: jetzt zu meinem ganz persönlichen Denkraum.

00:10:16: Zwei Dinge muss ich klarstellen, damit die Zahlen nicht lügen.

00:10:19: Erstens Die großen Summen – zwölf, sechzeh Milliarden Das ist der gesamte Betrug Nicht nur der mit KI.

00:10:27: Wie viel davon die Maschine ermöglicht hat lässt sich schwer sagen.

00:10:32: Zweitens Gemeldet ist weniger als geschehen.

00:10:37: Charme hält viele vom Anzeigen ab.

00:10:40: Die Dunkelziffer ist hoch.

00:10:43: Und jetzt die Wendung, denn ich habe am Anfang eine steile These aufgestellt.

00:10:48: Werbung und Betrug – dieselbe Technik.

00:10:52: nur die Erlaubnis unterscheidet.

00:10:54: Das stimmt für die Technik!

00:10:56: Für die Moral stimmt es nicht.

00:11:00: Die Erlaubniss ist nichts, sie ist der Unterschied.

00:11:05: Wer wirbt sagt hier bin ich das will ich dir verkaufen.

00:11:11: Wer betrügt gibt sich als jemand Anderer aus.

00:11:15: Werbung setzt auf Zustimmung.

00:11:17: Betrug lebt von Täuschung.

00:11:21: Die Linie wirkt dünn, aber sie trägt Was schützt?

00:11:27: Und hier der einfache Trick Merk' ihn dir Ein Kotwort in der Familie Einen Satz den nur ihr kennt Wenn die Stimme am Telefon im Not ist und das Wort oder den Satz nicht kennt.

00:11:43: Leg Auf.

00:11:45: kein Werkzeug ist so stark wie das einfache Familien-Kennwort.

00:11:52: Zwei Maximum, an denen ich mich selbst messe.

00:11:56: Erstens im Zweifel nicht schneller werden sondern langsamer.

00:12:01: Betrug lebt vom Tempo.

00:12:03: Zweitens vertraue der Nummer nicht der Stimme.

00:12:07: Ruf zurück auf dem Weg den du kennst und damit die zwei Fragen dich mitgebe.

00:12:15: Wenn der einzige technische Unterschied der Laubnis ist, wie sicher bin ich auf der richtigen Seite zu stehen?

00:12:23: und wer hat entschieden wo die Linie liegt?

00:12:27: Du.

00:12:27: Ich oder der, der sie gerade überschreitet?

00:12:32: In der nächsten Folge geht es nicht mehr um die eine gefälschte Stimme.

00:12:37: Es geht um den Zweifel an allem.

00:12:40: wenn alles gefälscht sein kann Was glaubst du dann noch Wenn dich diese Folge zum Denken gebracht hat, teile sie.

00:12:50: Wenn du anderer Meinung bist, schreibe mir.

00:12:53: Aber lass in jedem Fall deinen Denkraum offen!