Debata o tom, zda by největší technologické firmy měly zpomalit vývoj umělé inteligence, v posledních dnech zesílila. Výzkumník Jacob Coxon po odchodu z Anthropic uvedl, že společnosti Anthropic a OpenAI podle něj směřují k takzvané samo se zlepšující superinteligenci a „hazardují s našimi životy“. Coxon zároveň odhadl pravděpodobnost, že umělá inteligence v příštím desetiletí způsobí vyhynutí lidstva, na deset procent. Jeho tvrzení zveřejnila agentura Associated Press, která zároveň upozornila, že pro takový scénář neexistuje odborný konsenzus ani spolehlivý odhad načasování. ([apnews.com](https://apnews.com/article/98316b0d64de17191f33c0fbf1d37858))
Takzvaná frontier AI označuje nejpokročilejší univerzální modely, které mohou vykonávat široké spektrum úkolů a mají vyšší míru autonomie. Obavy se týkají mimo jiné možnosti, že by budoucí systémy dokázaly samostatně zlepšovat své schopnosti, obcházet lidský dohled nebo být zneužity při kybernetických útocích, vývoji biologických zbraní či manipulaci veřejnosti. Mezinárodní zpráva o bezpečnosti AI z roku 2026 uvádí, že dnešní systémy vykazují první relevantní schopnosti, zatím ale nejsou na úrovni, která by umožňovala ztrátu lidské kontroly. Zároveň označuje pravděpodobnost a načasování těchto rizik za mimořádně nejisté. ([apnews.com](https://apnews.com/article/98316b0d64de17191f33c0fbf1d37858))
Společný dohled místo závodu
Část představitelů odvětví proto navrhuje koordinovaný postup. Šéf Anthropic Dario Amodei podporuje spolupráci předních laboratoří s vládami a přístup nezávislých hodnotitelů přímo k vývoji modelů. OpenAI volá po společných pravidlech pro testování, bezpečnostní audity, ochranu dat a hlášení incidentů. Firma používá výraz „pacing“, tedy řízené tempo vývoje, nikoli úplné zastavení. Podle jejího návrhu by se mělo zpomalit tehdy, pokud bezpečnostní opatření nedokážou držet krok s růstem schopností modelů. ([apnews.com](https://apnews.com/article/1d9615931af28a83cb97489178e90f2d))
Problémem je, že taková dohoda by se mohla dostat do konfliktu s pravidly hospodářské soutěže. Pokud by se největší firmy společně zavázaly, že nebudou uvádět výkonnější modely nebo omezí přístup ke klíčovým technologiím, mohlo by jít nejen o bezpečnostní spolupráci, ale také o koordinaci nabídky. Takový postup by mohl zvýšit vstupní bariéry pro menší konkurenty a posílit postavení několika největších firem. Současně by firmy, které už mají rozsáhlé datové kapacity a nákladnou infrastrukturu, mohly těžit z toho, že se trh uzavře novým hráčům. Na riziko, že bezpečnostní pravidla vytvoří regulační výhodu pro velké společnosti, upozorňují i někteří analytici. ([techradar.com](https://www.techradar.com/pro/security/why-are-us-ai-giants-calling-for-pacing-the-frontier-and-why-is-china-calling-it-a-cold-war-tactic-we-ask-the-experts?utm_source=openai))
Dobrovolné sliby zatím nestačí
Firmy už dnes používají vlastní bezpečnostní rámce. Anthropic například uvádí, že jeho pravidla stanovují postupy pro hodnocení kybernetických, biologických a dalších rizik, ochranu modelových vah a reakci na incidenty. Mezinárodní zpráva však upozorňuje, že jednotlivé rámce se liší v definici rizik, prahových hodnotách i rozsahu požadovaných opatření. Vnější kontrola dodržování těchto pravidel je zatím omezená a mnoho systémů nepracuje s přesně vyčíslenými limity přijatelného rizika. ([anthropic.com](https://www.anthropic.com/transparency/voluntary-commitments))
Ve Spojených státech se proto nyní řeší také role nezávislých hodnotitelů, kteří by posuzovali bezpečnost modelů a vyšetřovali incidenty. Podle Axiosu ale není jasné, kdo má tyto kontroly provádět, protože část hodnotitelů má profesní nebo finanční vazby na samotný sektor. Současný systém zůstává z velké části dobrovolný. Spor se tak netýká jen rychlosti vývoje, ale i toho, kdo bude stanovovat pravidla, kontrolovat jejich plnění a rozhodovat, kdy už spolupráce firem přestává být bezpečnostním opatřením a začíná připomínat kartel. ([axios.com](https://www.axios.com/2026/09/18/ai-safety-evaluators-metr-white-house-trump))
Zdroj: Hospodářské noviny
Tento článek byl vytvořen s pomocí umělé inteligence a redakčně zkontrolován.