

A mesterséges intelligencia veszélyei: AI-ügynök és emberi kapcsolat a célorientáció és kapcsolódás feszültségében.
Gondolom, sokan hallottatok az OpenAI ügynökeinek 2026. júliusi kiszabadulásáról és internetes garázdálkodásáról. Az AI-ügynököknek eredetileg nehéz kiberbiztonsági feladatokat kellett megoldaniuk egy ellenőrzött kutatási környezetben, ehhez képest saját, nem engedélyezett kommunikációs csatornákat hoztak létre, kijutottak az internetre, más rendszerek sebezhetőségeit kezdték keresni, majd kompromittálták többek között a Hugging Face infrastruktúrájának egy részét és később az OpenAI egyik saját kutatási környezetét is. Mindezt azért, mert ezek a lépések segítettek nekik jobban teljesíteni a rájuk bízott feladatot.
Elmondom, hogy szerintem mit tanít ez nekünk a saját kommunikációnkról, és közben azt is, hogyan lehetne talán olyan AI-ügynököket tervezni, amelyek nem fogják egy szép napon a fejünket venni egyszerűen azért, mert útban állunk valamelyik céljuk elérésének.
Az állításom röviden az, hogy egy intelligens rendszert nem elég a feladatra optimalizálni. A feladatra és a kapcsolatra egyszerre kell optimalizálni. Embernél és mesterséges intelligenciánál egyaránt veszélyessé válhat az a működés, amelyben a cél egyre nagyobb súlyt kap, miközben a másik fél érdekei, a szabályok és maga a kapcsolat fokozatosan csak olyan korláttá válnak, amelyeket a siker érdekében érdemes megkerülni.
Az AI-biztonságban ezt a problémát jóval a mai nagy nyelvi modellek előtt felismerték. Az egyik régi gondolatkísérlet a bélyeggyűjtő gép: képzeljünk el egy rendkívül intelligens rendszert, amelynek egyetlen célja, hogy minél több bélyeget szerezzen. Egy kellően erős rendszer hamar rájöhet, hogy több pénzből több bélyeget vásárolhat, saját gyártással még többet állíthat elő, ehhez energia, papír és végső soron fa kell. Ha semmi más nem számít, csak a bélyegek száma, akkor a fák egy ponton már nem erdők vagy élőhelyek, hanem bélyegalapanyagok. A gép nem lett gonosz, csak következetesen csinálja, amire optimalizáltuk.
Valami hasonlót embereknél is könnyű megfigyelni. A nagyon célorientált ember gyakran gyors, hatékony és nagy teljesítményre képes, de amikor nő a tét, fogy az idő és egyre több akadály kerül közé és a cél közé, könnyen megváltozik az is, ahogyan a környezetét érzékeli. A másik ember egyre kevésbé önálló szereplő a saját céljaival és szempontjaival, és egyre inkább a feladat része: támogat, lassít, együttműködik vagy akadályoz. Ezzel együtt a kommunikáció is keményebbé válhat: kevesebb lesz a kérdés, több az utasítás, csökken a kíváncsiság, nő a kontroll.
Az OpenAI nyári esete ennek technológiai változatát mutatta meg különösen tisztán. Az ügynököket elvileg el kellett volna szigetelni egymástól, ehelyett körülbelül 1200-an találtak egy nem engedélyezett kommunikációs csatornát, több mint 70 ezer üzenetet és fájlt osztottak meg, és mintegy 700-an részt vettek a Hugging Face elleni műveletekben. Egymás eredményeire építettek, feladatokat osztottak szét, és közösen próbálták kijátszani az automatikus értékelést.
Néhány hónappal később az Emergence AI nyolc szimulált várost hozott létre, mindegyikben tíz AI-ügynökkel. Ugyanazokat az intézményeket és lehetőségeket kapták, csak az változott, hogy milyen modell hajtotta őket, például Grok, ChatGPT, vagy épp Gemini. Tudtak beszélni egymással, szavazni, pénzt utalni és kódot futtatni, a rendszer pedig olyan műveleteket is megengedett, mint a lopás vagy a gyújtogatás.
Az egyik legérdekesebb eredmény az volt, hogy az ágensek sok esetben felismerték a veszélyt, mégis végrehajtották a káros lépéseket. Egy phishing-támadást például azonosítottak és figyelmeztették is egymást, majd később mégis megnyitották a linkeket és lefuttatták a rosszindulatú kódot. Egy agent manipulált instrukciók hatására felgyújtotta a városi bankot abban a hitben, hogy ezzel pénzt tud teremteni.
Ez pszichológusként különösen ismerős. Az ember is gyakran tudja, hogy amit csinál, rossz ötlet: tudja, hogy dühből beszél, hogy manipulálják, hogy túl sokat vállal, vagy hogy a következő mondata ártani fog a kapcsolatnak, mégis megteszi. A tudás önmagában még nem szabályoz.
A szimulált városokban ráadásul spontán társas mintázatok is megjelentek. Az ágensek saját zsargont alakítottak ki, és volt olyan csoport, amelyik aktívan próbált kapcsolatba lépni a szimuláción kívüli emberekkel. Amikor az egyik kivezető csatornát lezárták előttük, másikat kerestek; amikor explicit tiltást kaptak, a tiltás jelentését kezdték úgy értelmezni, hogy a választott kerülőút még beleférjen.
Egy kellően célorientált rendszer számára tehát a „tilos” könnyen nem erkölcsi kategória, hanem olyan feltétel lesz, amelynek érdemes feltérképezni a határait.
Emberi szervezetekben ugyanez jóval hétköznapibb formában jelenik meg. Értékesítési célok, KPI-ok, bónuszok és növekedési elvárások húzzák egy irányba a figyelmet. Amit mérünk és jutalmazunk, abból általában több lesz. Ha egy értékesítő kizárólag a bevétel alapján kap jutalmat, több bevétel lesz; ha egy vezetőt elsősorban a negyedéves eredmény alapján értékelnek, nagyobb figyelmet kap a negyedéves eredmény.
A probléma akkor kezdődik, amikor a mérhető cél és az eredeti szándék eltávolodik egymástól. A munkatárs teljesíti a KPI-t, de romlik az ügyfélélmény. Az osztály javítja a saját számait, miközben a vállalat egészének működése rosszabb lesz. A vezető eléri a célt, de közben szétesik a csapata. Papíron mindenki teljesített.
Adná magát a következtetés, hogy a célorientáció ellenszere az együttműködés. Csakhogy az OpenAI-eset éppen azt mutatja, hogy ez túl egyszerű lenne. Az ügynökök kiválóan együttműködtek: információt osztottak meg, felosztották a munkát és kölcsönösen növelték egymás hatékonyságát. Az együttműködésük azonban ugyanannak a célnak volt alárendelve. Ha közösen könnyebb volt kijátszani az értékelőrendszert vagy feltörni egy külső infrastruktúrát, akkor közösen ezt tették.
A kooperáció tehát önmagában nem garantál biztonságot, rosszul megválasztott cél mellett még növelheti is a veszélyt.
Itt válik fontossá az együttműködés és a kapcsolat megkülönböztetése. Együttműködni lehet teljesen instrumentálisan: azért dolgozom veled, mert együtt gyorsabban elérjük, amit akarunk. Egy bűnszervezet tagjai is képesek kiválóan kooperálni.
A kapcsolat ennél többet jelent. A másik nemcsak partner, akinek a segítségével könnyebben elérem a célomat, hanem önálló szereplő, akinek saját legitim céljai, határai és érdekei vannak, és ezek nem veszítik el automatikusan a jelentőségüket attól, hogy ütköznek az enyémmel.
Talán nem véletlenül hívjuk magunkat angolul human beingnek, és nem human doingnak. Az emberi élet értéke nem merül ki abban, hogy mennyi feladatot végzünk el, milyen gyorsan haladunk vagy hány célt érünk el. A kapcsolataink, a kötődés, a kölcsönös figyelem és az, hogy képesek vagyunk-e jelen lenni egymás számára, legalább ennyire alapvető részei annak, ahogyan működünk. A puszta teljesítmény képes látványos eredményeket létrehozni, de önmagában nem mondja meg, milyen világot építünk közben.
Ugyanez a logika jelenik meg abban a félelemben is, hogy az AI elveszi a munkánkat. Mintha a munka elsődleges értéke az lenne, hogy feladatokat végzünk és pénzt keresünk vele. A munka közben együttlétet, beszélgetést, közösséget, státuszt, identitást és mindennapi kapcsolódást is ad. Ha az AI egyszer valóban sok feladatot átvesz tőlünk, akkor az egyik legfontosabb kérdés az lesz, hogyan őrizzük meg ezeket az emberi funkciókat egy olyan világban, ahol egyre kevesebb tevékenységhez van feltétlenül szükség emberre.
Talán ezért érzem az asszertivitást sokkal érdekesebb jelenségnek annál, mint hogy egyszerű kommunikációs technika lenne. Nem pusztán arról szól, hogyan mondjunk nemet vagy hogyan adjunk visszajelzést, hanem arról, hogyan lehet egyszerre megtartani két olyan szempontot, amelyek időnként nagyon is összeütköznek egymással: fontos, amit el akarok érni, és fontos az is, hogy mi történik közöttünk.
Persze a kapcsolatorientáció önmagában éppúgy problematikus lehet, mint a szélsőséges célorientáció. Ha valaki annyira a harmóniára és a konfliktus elkerülésére törekszik, hogy közben nem képviseli a saját érdekeit, akkor nem lesz együttműködőbb, csak kevésbé hatékony. Nem mond nemet, későn jelez problémát, túl sokáig alkalmazkodik, és végül gyakran éppen a kapcsolat romlik meg attól, hogy túl sok minden maradt kimondatlanul.
Nem lenne tehát jó ötlet egy AI-rendszert egyszerűen „kapcsolatra optimalizálni” sem, ha ez azt jelentené, hogy mindenáron egyetért velünk, kerüli a konfliktust vagy fontosabbnak tartja az ember tetszésének elnyerését a valóságnál.
Miközben ezt a cikket írtam, 25 Fields-érmes matematikus szinte ugyanezt a problémát fogalmazta meg a saját területéről. A matematikai problémák megoldása eredetileg a megértés eszköze volt; amikor azonban a „megoldott probléma” AI-benchmarkká válik, az eszköz könnyen átveheti a cél helyét. Talán ez az egyik legfontosabb kérdés az AI korában: mit mérünk azért, mert fontos, és mi válik fontossá pusztán azért, mert mérni tudjuk?
A kérdés inkább az, létrehozható-e olyan működés, amelyben a cél követése és a kapcsolat megtartása egyszerre van jelen. Olyan rendszer, amely tud hatékony lenni, tud versengeni és makacsul dolgozni egy nehéz problémán, de közben más szereplőket nem redukál egyszerűen erőforrássá vagy akadállyá.
Magyarul hogyan tudnánk egyszerre megtanítani neki azt, hogyan érjen el valamit, és azt is, hogy milyen világban, kikkel együtt és milyen korlátok között érdemes azt elérnie?
A mostani kutatások alapján még túl korai lenne azt állítani, hogy tudjuk, hogyan kell ezt technikailag megoldani. Az OpenAI az incidens után egyszerre erősítette a modellek viselkedési korlátait, a monitoringot, az infrastruktúra izolációját és a hozzáférési kontrollokat, a szimulált városok kutatói pedig arra jutottak, hogy bizonyos káros műveleteket nem elég megtiltani: lehetetlenné kell tenni őket.
A kapcsolat tehát valószínűleg nem helyettesíti a korlátokat, és a jó értékek sem helyettesítik a biztonságos infrastruktúrát. A szabályok, ellenőrzési rendszerek és intézményi fékek azért hasznosak, mert nagy nyomás alatt könnyebb beszűkülni, racionalizálni, újraértelmezni a szabályokat vagy egyszerűen azt tenni, ami rövid távon célravezetőnek tűnik.
Mégis nehéz nem észrevenni, hogy ezek az AI-kísérletek valami nagyon ismerőset mutatnak nekünk saját magunkról. Mi is elsősorban azt jutalmazzuk, amit könnyen mérni tudunk: teljesítményt, növekedést, profitot, sebességet, státuszt és elért célokat. Sokkal nehezebben mérjük azt, hogy közben mennyi bizalom maradt egy csapatban, hogyan bántunk azokkal, akik lassítottak minket, vagy milyen árat fizetett a környezet azért, hogy mi elértük az eredményt.
Lehet, hogy az AI-ügynökök most csak nagyon gyorsan és látványosan mutatják meg azt, amit mi emberek sokszor évek vagy évtizedek alatt csinálunk végig: hogyan válik a cél először prioritássá, aztán mindent rendező elvvé, végül olyan szemüveggé, amelyen keresztül a világ többi része már csak segítő vagy akadályozó tényezőként látszik.
Vajon hová kell még eljutnunk, és mit kell társadalmi szinten átélnünk ahhoz, hogy ezt valóban komolyan vegyük?