AI Deception: Jak je generativní AI vyzbrojena kvůli podvodům

Generativní technologie umělé inteligence, kterou lze použít k vytvoření nového obsahu, jako je text, obrázky, zvuk a dokonce i videa, podobně jako by to udělal člověk. Tato technologie se stala neuvěřitelně populární a rozšířená. Zpráva Europolu předpovídá, že 90 % online obsahu by mohlo být během několika let generováno umělou inteligencí. Generativní umělá inteligence je však dvousečná zbraň. Na jedné straně má generativní umělá inteligence obrovský potenciál napříč různými odvětvími. Může zlepšit služby zákazníkům prostřednictvím inteligentních chatbotů, pomáhat v kreativních odvětvích generováním umění a hudby a dokonce pomáhat v lékařském výzkumu simulací složitých biologických procesů. Stejnou technologii, která pohání tyto inovace, však mohou využít také zákeřní herci.

V poslední době došlo k prudkému nárůstu zneužívání této technologie k podvodným činnostem. S tím, jak se generativní modely stávají stále sofistikovanějšími, rostou i metody používané špatnými aktéry k jejich zneužívání pro škodlivé účely. Pochopení různých způsobů, jakými je generativní umělá inteligence zneužívána, je zásadní pro vývoj robustní obrany a zajištění integrity a důvěryhodnosti digitálních platforem. Zatímco nové a spletité způsoby, jak špatní herci používají tuto technologii, jsou stále sofistikovanější, prozkoumáme různé typy podvodů, které generativní umělá inteligence usnadňuje a které jsou již oběťmi široce hlášeny.

Volební dezinformace pomocí Deepfakes

Jedním z nejznámějších použití generativní umělé inteligence je vytváření hluboce falešných videí – hyperrealistických, ale zcela falešných zobrazení lidí. Když jsou terčem významní politici, zejména v souvislosti s významnými událostmi, jako jsou války nebo volby, mohou být důsledky vážné. Deepfakes může způsobit rozsáhlou paniku a narušit kritické události. Například během války kolovalo Volodymyra Zelenského, jak se vzdává, a v Indii těsně před volbami falešně ukazovalo ministra vnitra Unie Amita Shaha, který tvrdil, že všechny kastovní rezervace budou zrušeny, což vyvolalo napětí mezi společenství. Nedávno se na X objevil falešný obrázek zatčení Donalda Trumpa (viz obrázek 1).

Finanční podvody

Pokročilí chatboti s umělou inteligencí dokážou napodobovat lidské konverzace s neskutečnou přesností. Podvodníci zahajují phishingové útoky pomocí AI chatbotů, aby se vydávali za zástupce banky. Zákazníci přijímají hovory a zprávy od těchto robotů, kteří přesvědčivě žádají o citlivé informace pod záminkou vyřešení problémů s účtem. Mnoho nic netušících jedinců se stane obětí těchto podvodů, což má za následek značné finanční ztráty. Podvodníci mohou pomocí umělé inteligence vytvářet realistické hlasové nahrávky vedoucích pracovníků k autorizaci podvodných transakcí, což je schéma známé jako „podvod generálních ředitelů“. V byl zaměstnanec hongkongské nadnárodní firmy oklamán, aby vyplatil 25 milionů dolarů podvodníkům pomocí technologie deepfake, aby se ve videokonferenčním hovoru vydával za finančního ředitele společnosti. Tyto podvody využívají důvěru a autoritu vysoce postavených úředníků a způsobují značné finanční škody podnikům.

Fake News

Generativní umělá inteligence může také vytvářet přesvědčivé články o falešných zprávách, které lze rychle šířit prostřednictvím sociálních médií. Během pandemie COVID-19 šíří mnoho falešných zpráv a příspěvků na sociálních sítích dezinformace o viru a vakcínách. Na Whatsappu a dalších sociálních médiích bylo mnoho škodlivých falešných zpráv, které tvrdily, že určité ájurvédské léky mohou vyléčit COVID-19, což vedlo k rozšířené panice a zavádějícím samoléčebným praktikám. S generativní umělou inteligencí je pro podvodníky poměrně malé úsilí generovat rozsáhlé falešné zprávy a vyvolávat mezi lidmi paniku. Můžete například snadno generovat zmanipulované obrázky se skutečnými lidmi, skutečnými místy a udělat z toho senzační zprávy. Zde je jeden příklad, který ukazuje falešný obrázek Tádž Mahalu zasaženého zemětřesením generovaným pomocí modelu DALL-E OpenAI (obrázek 2).

Zde je další, který ukazuje hotel Taj v Bombaji v plamenech (připomínající teroristický útok v roce 2008) na obrázku 3.

Nesouhlasná pornografie a obtěžování

Kyberzločinci, stejně jako jednotlivci se zlými úmysly, mohou využít technologii Generativní umělé inteligence k zahájení obtěžovacích kampaní, které vedou ke zničené pověsti, nebo k tradičnějším formám online obtěžování. Obětí mohou být soukromé osoby nebo veřejné osobnosti. Taktika může zahrnovat vytváření falešných obrázků, falešných videí v kompromitujících situacích nebo v manipulovaném prostředí. Například v lednu 2024 se pop-megastar vytvořených pomocí umělé inteligence, které byly široce šířeny na platformách sociálních médií.

Cílené podvody pomocí falešného hlasu

Generativní umělá inteligence dokáže kopírovat hlasy a podoby, takže jednotlivci mohou vypadat, jako by říkali nebo dělali téměř cokoli. Tato technologie je podobná „deepfake“ videím, ale vztahuje se na hlasy. Hlasy generované umělou inteligencí se používají k vylepšení podvodů, díky nimž jsou přesvědčivější. Někdo může například seškrábnout váš hlas z internetu a použít jej k zavolání vaší babičce a požádat ji o peníze. Aktéři hrozeb mohou snadno získat několik sekund něčího hlasu ze sociálních médií nebo jiných zdrojů zvuku a použít generativní umělou inteligenci k vytvoření celých scénářů čehokoli, co chtějí, aby daná osoba řekla. To způsobí, že cílová osoba bude věřit, že hovor pochází od jejích přátel nebo příbuzných, a bude tak oklamána tím, že pošle peníze podvodníkovi, protože si myslí, že blízký je v nouzi.

Romantické podvody s falešnými identitami

Romantické podvody se množí a v Indii to byla , že ohromujících 66 procent jednotlivců v zemi se stalo obětí podvodných online seznamovacích programů. Zcela falešná persona může být vyrobena pomocí generativní AI. Podvodníci mohou vytvářet vymyšlenou dokumentaci, jako jsou pasy nebo karty aadhar. Mohou dokonce vytvářet falešné představy o sobě samých, jako je níže zobrazený obrázek falešné osoby před pěkným domem a luxusním autem. Mohou dokonce volat falešným hlasem a mohou vás přesvědčit, že umělá inteligence je skutečná osoba a nakonec vás emocionálně zacílit, abyste k nim vyvinuli city, a později od vás vymámit peníze nebo dary. Zde je příklad (na obrázku 4) obrázku falešné osoby generovaného umělou inteligencí, vytvořeného pomocí robota Midjourney.

Online nákupní podvody

Klamavá reklama může zahrnovat nepravdivá tvrzení nebo dokonce vytváření zcela falešných produktů nebo služeb. To může vést spotřebitele k neinformovaným nebo podvodným nákupům. GenAI lze použít ke generování falešných syntetických recenzí, hodnocení a doporučení na platformách elektronického obchodu. Tyto falešné recenze mohou uměle posílit pověst nekvalitních produktů nebo poškodit pověst těch pravých. Podvodníci mohou používat GenAI k vytváření seznamů padělaných produktů nebo webových stránek, které se zdají být legitimní, což spotřebitelům ztěžuje rozlišování mezi skutečnými a podvodnými prodejci. Chatboti nebo agenti zákaznických služeb založených na AI mohou být využíváni k poskytování zavádějících informací nakupujícím, což může vést k neinformovaným nákupním rozhodnutím. Takže lze snadno vytvořit celý ekosystém falešných obchodů.

Buďte ostražití a chraňte se před podvody řízenými umělou inteligencí

Z výše uvedených příkladů je jasné, že škodlivý obsah lze pomocí generativní umělé inteligence vytvářet ve velkém měřítku s alarmující lehkostí. Generativní AI funguje jako nástroj produktivity, který zvyšuje objem a sofistikovanost obsahu. Amatéři snadněji vstupují do hry a dochází k výraznému posunu směrem k využívání sociálních médií k finančnímu zisku. Sofistikovaní tvůrci dezinformací jsou velmi schopní škálovat a používat AI k překladu do jiných jazyků, aby přinesli svůj obsah do zemí a lidí, které předtím nemohli oslovit. Existuje několik kroků, které může každý podniknout, aby byl ostražitý a chránil se před podvody poháněnými umělou inteligencí. Povědomí a ostražitost jsou klíčem k ochraně proti podvodům řízeným umělou inteligencí.

Vždy si ověřte zdroj obsahu. Zatímco všechny velké technologické společnosti využívají obsah generovaný umělou inteligencí jako klíčové řešení, které umožňuje vývojářům šifrovat vodoznaky a poskytuje tak lepší detekci a autenticitu generovaných umělou inteligencí, obecná skupina netechnických lidí o takových technologiích neví a neví o nich. jak identifikovat vodoznaky nebo používat nástroje pro detekci obsahu generovaného umělou inteligencí. Základní věcí, kterou však může udělat každý, je vždy ověřit zdroj jakéhokoli podezřelého obrázku, videa nebo hlasové zprávy. Pokud obdržíte video, které se pro zobrazenou osobu nezdá být charakterní, porovnejte si je s jinými zdroji a kontaktujte přímo danou osobu. Například hluboce falešné video politika, který činí pobuřující prohlášení, by mělo být ověřeno oficiálními kanály. Video s únosem nebo v nouzi příbuzného by mělo být ověřeno zavoláním dané osobě nebo vzájemným spojením. Podobně lze hlasový hovor od někoho, kdo prohlašuje, že je vedoucím pracovníkem nebo zástupcem banky požadujícím citlivé informace, ověřit zavoláním zpět na známé a důvěryhodné číslo, jako je oficiální číslo zákaznického servisu banky.

Omezte sdílení osobních údajů. Podvodníci často využívají detaily ze sociálních sítí k vytváření přesvědčivých deepfakes a hlasových zpráv. Vyhněte se zveřejňování citlivých informací, jako je vaše adresa, telefonní číslo a finanční údaje. Upravte nastavení ochrany osobních údajů na svých účtech sociálních médií, abyste omezili viditelnost svých příspěvků a osobních údajů. Povolit zobrazení vašeho profilu a příspěvků pouze důvěryhodným přátelům a rodině. Na Facebooku nebo Instagramu si můžete zkontrolovat a upravit nastavení ochrany osobních údajů, abyste zajistili, že vaše příspěvky uvidí pouze vaši přátelé. Vyhněte se sdílení podrobností, jako jsou plány na dovolenou, které by mohli využít podvodníci k tomu, aby se na vás zaměřili, když jste pryč. Udržujte svůj profil a seznam přátel v soukromí, aby podvodníci necílili na vaši rodinu a přátele pomocí vašich falešných videí a hlasových hovorů. Omezení množství osobních údajů dostupných online znesnadňuje podvodníkům shromažďování údajů o vás. To snižuje pravděpodobnost, že mohou vytvořit přesvědčivé deepfakes nebo se za vás vydávat.

Jak stojíme na pokraji éry řízené umělou inteligencí, bitva mezi inovacemi a využíváním sílí. Vzestup podvodů řízených umělou inteligencí není jen výzvou – je to výzva k akci. S generativní AI schopnou vytvářet přesvědčivé deepfakes, realistické hlasové klony a sofistikovaná phishingová schémata nebyl potenciál klamání nikdy větší. Přesto se uprostřed těchto hrozeb skrývá příležitost: šance předefinovat náš přístup k digitální bezpečnosti a důvěře. Nestačí si být vědom; musíme být proaktivní a využívat stejnou špičkovou technologii k vývoji pokročilých detekčních systémů a veřejných vzdělávacích kampaní. Budoucnost umělé inteligence není předem daná. Tím, že dnes podnikneme rozhodné kroky, můžeme utvářet digitální krajinu, kde je příslib generativní umělé inteligence realizován, aniž bychom se stali obětí jejích nebezpečí. Nechť je to náš okamžik, abychom povstali, inovovali a chránili a zajistili bezpečnější digitální svět pro všechny.