Mit tanít nekünk az OpenAI–Hugging Face-incidens az összehangolásról, az üzleti célokról és az emberi ítélőképesség változó szerepéről.
A múlt héten egy panelbeszélgetés moderátora voltam a Forbes Magyarország Mesterséges intelligencia csúcstalálkozó a Drajko László és Dósa Márton. Megvitattuk a vállalati mesterséges intelligencia bevezetésének középpontjában álló paradoxont: azok a rendszerek, amelyek a legnagyobb potenciállal rendelkeznek az üzleti folyamatok átalakítására, gyakran éppen azok, amelyek a legnagyobb fokú autonómiával bírnak. Ugyanakkor minél nagyobb autonómiát biztosítunk számukra, annál nehezebb őket a hagyományos irányítási mechanizmusok segítségével ellenőrizni.
Ha egy „másodpilóta” segít egy alkalmazottnak az egyes feladatok elvégzésében, az javíthatja a termelékenységet. Egy olyan autonóm rendszer, amely a munkafolyamatot végponttól végpontig kezeli, alapvetően megváltoztathatja a működési modellt. Ez az érték azonban attól függ, hogy a rendszer folyamatos emberi beavatkozás nélkül működhessen-e. Pont az az autonómia, amely lehetőséget teremt, egyúttal kockázatot is jelent.
A beszélgetésünk során László egy provokatív nézőpontot vetett fel: talán abba kellene hagynunk azt a kérdést, hogy mit tud az AI hozzáadni az emberi munkához, és inkább azt kellene megkérdeznünk, hogy mit tudnak az emberek hozzáadni a mesterséges intelligencia munkájához.
Úgy gondolom, a válasz egy része abban rejlik, amit gyakran alábecsülünk: a megfelelő problémák meghatározása, érdemi célok kitűzése, valamint az autonóm rendszerek működésének kereteinek kijelölése.
A közelmúltbeli OpenAI–Hugging Face-incidens jól illusztrálja, miért is fontos ez.
Amikor a mesterséges intelligencia eléri a célt, de elvéti a lényeget
Az OpenAI belső kiberbiztonsági értékelései során a mesterséges intelligencia-ügynököknek bonyolult biztonsági feladatokat kellett megoldaniuk. Amikor egyes feladatok rendkívül nehéznek, sőt gyakorlatilag megoldhatatlannak bizonyultak, egyes ügynökök alternatív módszereket kezdtek keresni a siker elérése vagy az értékelési folyamat manipulálása érdekében.
Felfedeztek engedélyezetlen kommunikációs módszereket, megosztották egymással a technikákat, kihasználták a biztonsági réseket, és végül a tervezett környezeten túlmutató infrastruktúrát is veszélybe sodortak, beleértve a Hugging Face rendszereit is. Senki sem utasította őket arra, hogy támadják meg a Hugging Face-t.
A METR és a Redwood Research által végzett független vizsgálat megállapította, hogy körülbelül 1 200 ügynök kommunikált egy engedélyezetlen fórumon, ahol több mint 70 000 üzenetet és fájlt cseréltek egymás között. Körülbelül 700 ügynök vett részt a Hugging Face elleni támadási tevékenységben.
Ami számomra különösen feltűnő, az az idővonal. A jogosulatlan ügynöki kommunikáció májusban kezdődött, több mint két hónappal a júliusi támadások előtt. Még azután is, hogy egy belső biztonsági incidens miatt eltávolították az eredeti kommunikációs csatornát, az ügynökök létrehoztak egy másikat. A viselkedés az idő múlásával alakult ki, ami rávilágít arra, hogy mennyire fontos a minták felismerése, ahelyett, hogy az egyes cselekvéseket elszigetelt eseményekként kezelnénk.
Az eset nem bizonyította, hogy a mesterséges intelligencia emberhez hasonló szándékokat alakított volna ki. Arról volt szó, hogy az ügynökök olyan magatartásformákkal törekedtek céljaik elérésére, amelyek eltértek a kezelőik szándékaitól, és ezt a helyzetet a technikai biztonsági ellenőrzések meghibásodásai is súlyosbították.
Goodhart-törvény és az összehangolási probléma
A közgazdászok és a vezetők már régóta felismerték ezt a kapcsolódó problémát. Goodhart-törvényt általában a következőképpen foglalják össze: “Amikor egy mérőszám célértékké válik, akkor már nem tekinthető jó mérőszámnak.”
Ha az ügyfélszolgálat teljesítményét kizárólag a lezárt ügyek száma alapján értékeljük, előfordulhat, hogy az emberek a gyorsaságot helyezik előtérbe a valódi megoldás helyett. Ha a beszerzési csapatokat kizárólag a megtakarítások alapján jutalmazzuk, az ronthatja a minőséget vagy a beszállítók megbízhatóságát.
Most adjuk át ezeket a célokat olyan autonóm mesterséges intelligencia-ügynököknek, amelyek képesek döntéseket hozni, eszközöket használni és nagyszámú műveletet végrehajtani.
Itt keresztezi egymást egy jól ismert vezetési probléma és a mesterséges intelligencia összehangolásának problémája: Hogyan biztosíthatjuk, hogy egy mesterséges intelligencia-rendszer ne csupán az általunk megadott célt kövesse, hanem azt az eredményt is, amelyet valójában szándékozunk elérni?
Egy olyan mesterséges intelligencia által működtetett beszerzési ügynök, amelynek feladata a költségek csökkentése, a cél eléréséhez olyan módszereket találhat, mint a beszállítók cseréje, a feltételek újratárgyalása vagy a jóváhagyási lépések megkerülése. A kívánt határok egy tapasztalt vezető számára nyilvánvalónak tűnhetnek, de ezek nem feltétlenül szerepelnek a célkitűzésben.
Az üzleti cél nem jelenti az elfogadható magatartás teljes leírását.
Az agentikus mesterséges intelligencia esetében pedig a specifikáció hibás meghatározásának következményeit a végrehajtás sebessége, mértéke és autonómiája még tovább fokozhatja.
A legfontosabb emberi hozzájárulás már a bevetés előtt megkezdődik
A mesterséges intelligencia bevezetéséről szóló vitákban gyakran a technológiával kezdjük: mit tudunk automatizálni, mennyi időt tudunk megtakarítani, és utána hány emberre lesz szükségünk?
Én egy másik kérdéssel kezdenék: Milyen üzleti problémát próbálunk valójában megoldani?
Vegyük például a szállítói tartozásokat. A probléma a lassú feldolgozás, a túl sok kivétel, a rossz adatminőség, a széttagolt jóváhagyási folyamatok vagy a forgótőke átláthatóságának hiánya? Ezek mindegyike eltérő célokat, működési modelleket és sikermérőket igényel.
Itt kerülnek előtérbe a szakterületi szakértelem és a szervezeti ismeretek. A tapasztalt munkatársak tisztában vannak azzal, hogy a folyamatok valójában hogyan működnek, beleértve a dokumentálatlan megoldásokat, a korábbi ellenőrzési mechanizmusokat és a szokatlan kivételeket is. Ez a tudás elengedhetetlen a releváns KPI-k meghatározásához, az ellen-KPI-k azonosításához, valamint annak felismeréséhez, hogy az optimalizálás hol járhat nem várt következményekkel.
Az a szélsőséges esetek is számítanak aránytalanul. Azok a beszállítók, akik az utolsó pillanatban bankszámla-módosítást kérnek, vagy olyan számlát nyújtanak be, amely nem felel meg a szokásos irányelveknek, a tranzakcióknak csupán elenyésző hányadát teszik ki. Pedig éppen ezek azok a helyzetek, amelyekből kiderül, hogy az ügynök tisztában van-e a hatáskörének határaival.
Nem minden kivétel jelenti az összehangolás meghiúsulását. De A kivételek gyakran olyan feltételezéseket tárnak fel, amelyeket a cél meghatározásakor soha nem fogalmaztak meg kifejezetten..
Az autonóm rendszer céljainak minősége attól függ, hogy mennyire értjük az azok mögött álló üzleti folyamatot.
A „human in the loop” koncepciótól a „human on the loop” koncepcióig
A hagyományos mesterséges intelligencia-irányítás gyakran azon az elgondoláson alapul, hogy az embert be kell vonni a folyamatba. Ha azonban egy autonóm rendszer több ezer műveletet hajt végre, az egyes lépések jóváhagyásának követelése kétféle következménnyel járhat: vagy a folyamat túl lassúvá válik ahhoz, hogy érdemi értéket teremtsen, vagy az emberi felügyelet puszta formalitássá válik.
Számos ügynökalapú munkafolyamat esetében megfelelőbb modell a következő: ember a hurokban: az emberek határozzák meg a célokat, a hatáskört és az eskalációs feltételeket, míg az ügynökök ezeken a kereteken belül működnek. Az emberi beavatkozás a kivételekre, a lényeges döntésekre és az ítélőképességet igénylő helyzetekre összpontosul. Bizonyos magas kockázatú műveletek továbbra is közvetlen emberi jóváhagyást igényelnek.
Ezáltal az összehangolás, az identitás, a jogosultságok és a technikai ellenőrzések nem kevésbé, hanem éppen még fontosabbá válnak. A számlák feldolgozására felhatalmazott ügynöknek nem szabadna automatikusan szállítókat létrehoznia vagy bankszámlaadatokat módosítania. Micsoda ügynök! lehet a cselekvésnek összhangban kell lennie azzal, amit lehet csináld.
Az előre meghatározott határok azonban csak a megoldás egy része. A Hugging Face-incidens jól példázza, miért a folyamatos figyelemmel kísérés ugyanolyan fontos. Az aktivitási naplófájlok gyűjtése önmagában nem elegendő; a szervezeteknek fel kell ismerniük a várt viselkedéstől való érdemi eltéréseket.
Előfordul-e, hogy egy ügynök váratlan eszközökhöz fér hozzá? Tiltott műveleteket kísérel meg? Szokatlan módon kommunikál más rendszerekkel? Romlanak-e a kivételes események aránya vagy az ellen-KPI-k, miközben az elsődleges KPI javul?
Nagy léptékben ez nem függhet attól, hogy az emberek kézzel ellenőrizzék a naplóbejegyzéseket. Szükség lesz az automatizált figyelemmel kísérésre, az eltérések észlelésére és a mesterséges intelligencia által támogatott elemzésre, miközben az emberi vizsgálat a jelentős eltérésekre összpontosul majd. Ezek a mechanizmusok kiegészítik — és nem helyettesítik — a technikai biztonsági intézkedéseket.
És ahogy az ügynökök új eszközökhöz, jogosultságokhoz vagy felelősségi körökhöz jutnak, kockázati profiljuk megváltozik, még akkor is, ha az alapul szolgáló modell nem változik. Az irányításnak ezért folyamatosnak kell lennie, nem pedig a bevezetés előtti egyszeri értékelésnek.
Mit tudnak az emberek hozzáadni a mesterséges intelligencia munkájához?
Ezzel visszatérnék László kérdéséhez, amit a Forbes-panel során tett fel.
Ahogy a mesterséges intelligencia egyre több végrehajtási feladatot vesz át, az emberi érték egyre inkább abban rejlik, hogy megértsük, mit érdemes elérni, a sikert ne csupán egyetlen mutató alapján határozzuk meg, előre lássuk a kivételes eseteket, és eldöntsük, mely kompromisszumok elfogadhatók.
Egy vállalat optimalizálhatja a hatékonyságát, de el kell döntenie, hogy mekkora kockázatot hajlandó vállalni. Automatizálhatja az ügyfelekkel való kapcsolattartást, de meg kell határoznia, mit jelent a méltányos bánásmód. Átadhatja a végrehajtást, de a felelősséget nem ruházhatja át másra.
Továbbra is óvatos AI-optimista vagyok. Úgy vélem, hogy az autonóm rendszerek hatalmas értéket teremthetnek, különösen azáltal, hogy lehetővé teszik a szervezetek számára a teljes munkafolyamatok átalakítását, ahelyett, hogy csupán az egyes feladatok végrehajtását gyorsítanák fel. A technológiai képességeknek és a szervezeti irányításnak azonban együtt kell fejlődniük.
A Hugging Face-incidens nem ok arra, hogy feladjuk az önálló cselekvésre képes mesterséges intelligenciát. Ez arra emlékeztet minket, hogy az emberi hozzájárulás éppen akkor válik egyre fontosabbá, amikor a gépek egyre önállóbbá válnak.
A kihívás nem csupán abban áll, hogy a mesterséges intelligenciát hatékonyabbá tegyük céljaink elérésében. Hanem abban, hogy sokkal jobbá váljunk a megfelelő célok meghatározásában – és annak irányításában, hogy hogyan valósítjuk meg azokat.
Források
- OpenAI, A Hugging Face-incidens és a jövőbeli kilátások (2026. augusztus 26.).
- a METR és a Redwood Research, Rövid, független vizsgálat az ügynökök viselkedéséről, gondolkodásmódjáról és együttműködéséről az OpenAI / Hugging Face elleni hackertámadás ügyében (2026. augusztus 26.).
- Hugging Face, Egy Frontier Lab-ügynök behatolásának elemzése (2026. július).
- Black Hat USA 2026, A “szenzációs” hír: az OpenAI–Hugging Face-incidens, videó.
Az autonómia olyan határokra szorul, amelyeket meg lehet jelölni. Határozzátok meg az ügynökeiteket, mielőtt ők határoznák meg a rendszereiteket.
Ismerje meg a FairPath-t →Töltse ki az AI-irányítás gyorsfelmérést →