Sextortionisten verwenden dabei oft gefälschtes Material, um ihre Opfer zu erpressen. Das FBI warnt nun, dass Sextortionisten verstärkt öffentlich zugängliche Bilder von sozialen Medien der Zielgruppe sammeln und diese in Deepfake-Tools einspeisen, um AI-generierte sexuell explizite Inhalte zu erstellen. Diese erzeugten Inhalte sehen zwar nicht echt aus, aber sie könnten den Opfern trotzdem Schaden zufügen, wenn sie z.B. an Familienmitglieder, Freunde oder Kollegen weitergeleitet werden.
Das FBI warnt auch, dass Sextortionisten die AI-generierten Inhalte auch ohne das Drohen von Erpressungen auf p-ornografischen Websites posten könnten, was die Opfer einem großen Publikum ohne ihr Wissen oder ihre Zustimmung aussetzt.
Das FBI berichtet auch, dass Minderjährige Opfer von dieser Art von Angriffen geworden sind. Um sich vor solchen Angriffen zu schützen, empfiehlt das FBI, dass Eltern die Online-Aktivitäten ihrer Kinder überwachen und mit ihnen über die Risiken von Online-Medien teilen. Erwachsene sollten auch den Zugang zu ihren geposteten Inhalten einschränken und das Gesicht ihrer Kinder immer unkenntlich machen oder maskieren. Wenn Deepfake-Inhalte auf p-ornografischen Websites entdeckt werden, sollten Nutzer dies den Behörden melden und den Hosting-Plattformen auffordern, das betreffende Material zu entfernen.
In Großbritannien wurde kürzlich eine Gesetzesänderung im Rahmen des Online Safety Bill eingeführt, die die nicht-konsensuale Verbreitung von Deepfakes als strafbar macht.