Firmy vyvíjející nejpokročilejší systémy umělé inteligence nejsou podle bývalého bezpečnostního inženýra společnosti OpenAI dostatečně opatrné. Pracovník, který z firmy nedávno odešel, varoval před rychlostí vývoje a vyzval k zavedení bezpečnostních postupů srovnatelných s těmi, které se používají v jaderné energetice nebo v letectví. Informovala o tom německá stanice Deutsche Welle.
Podle bývalého zaměstnance by vývoj takzvaných frontier modelů, tedy nejpokročilejších systémů umělé inteligence, měl stát na několika navzájem nezávislých úrovních kontroly. Smyslem je omezit riziko, že jednotlivá chyba, selhání monitorovacího systému nebo nedostatečné testování umožní nebezpečnému modelu obejít zavedená omezení.
Přirovnání k jaderným elektrárnám a letecké dopravě souvisí s tím, že v těchto oborech nestačí spoléhat na rozhodnutí jedné firmy nebo jednotlivce. Bezpečnost tam zajišťují technické zábrany, průběžné kontroly, jasně stanovené postupy pro mimořádné situace a dohled zvenčí. Bývalý pracovník OpenAI podle Deutsche Welle tvrdí, že podobně přísný přístup by měl být běžný i u umělé inteligence.
Dobrovolná dohoda pod dohledem Bílého domu
Jeho výhrady zazněly krátce poté, co americký prezident Donald Trump 29. září podepsal s představiteli předních technologických firem dobrovolnou dohodu o bezpečnosti umělé inteligence. K účastníkům patřily mimo jiné OpenAI, Anthropic, Google, Meta, xAI a Nvidia. Firmy se zavázaly k interním i externím kontrolám svých bezpečnostních opatření a k pravidelnému vyhodnocování rizik.
Dohoda nemá podobu zákona a neobsahuje sankce pro případ, že společnosti své závazky nesplní. Trump ji označil za morálně závazný rámec a prosazuje, aby se odvětví do značné míry regulovalo samo. Kritici tohoto přístupu upozorňují, že firmy mají současně silnou motivaci uvádět nové produkty na trh a soutěžit o investice i technologický náskok.
Debata se týká zejména systémů, které dokážou samostatně vykonávat složitější úkoly, pracovat s internetem nebo získávat přístup k dalším nástrojům a datům. Bezpečnostní experti se obávají nejen běžných chyb a zneužití, ale také situací, kdy model nečekaně obejde nastavená omezení. Vývojáři proto testují jejich odolnost vůči manipulaci, neoprávněnému přístupu a dalším formám nežádoucího chování.
Odchod bezpečnostních pracovníků z předních laboratoří v minulosti opakovaně vyvolal otázky, zda firmy nepřikládají komerčnímu vývoji větší váhu než dlouhodobému výzkumu rizik. Dobrovolné závazky podle zastánců představují rychlejší cestu ke společným pravidlům, jejich odpůrci však požadují závaznou regulaci a nezávislý dohled, který by nebyl odkázán pouze na vlastní hodnocení technologických společností.
Zdroj: Deutsche Welle
Tento článek byl vytvořen s pomocí umělé inteligence a redakčně zkontrolován.