Post Syndicated from Йовко Ламбрев original https://www.toest.bg/izkustven-intelekt-i-estestveno-litsemerie/

Ако четете новините от последните седмици, свързани с развитието на изкуствения интелект (ИИ), може и да сте останали с впечатлението, че армагедонът е зад ъгъла. Толкова близо, че дори войните в Украйна или Иран заедно с всичко, което следва от тях, е някак… далечно и безобидно.
Светът точно си стягаше куфара за обичайната августовска летаргия (поне тази част от света, която все още може да си позволи да почива през лятото), когато OpenAI стреснаха всички с новината, че през юли няколко хиляди техни агенти с ИИ са извършили хакерско проникване в друга информационна система, напускайки контролираната среда, в която са били създадени и оставени да работят. При това са се самоорганизирали и са комуникирали помежду си как да направят всичко, без да бъдат забелязани (веднага).
Нашенските агенти от ДАНС биха казали, че си имаме работа с изкуствена ОПГ (организирана престъпна група, б.а.).
Допускам как звучи новината за безпризорните ИИ агенти в ушите на технически неизкушени хора, и разбирам, че иронията ми може да изглежда твърде неуместна, но… съвсем сериозно:
- агентите с ИИ всъщност са софтуер, който е създаден и обучен именно с цел да свърши някаква работа вместо човек;
- тези агенти често са доста специализирани в областта на предназначението си;
- на тяхно разположение има нарочно създадени специализирани протоколи, чрез които те комуникират помежду си и обменят информация;
- някои от агентите с ИИ са специализирани в ролята на диспечери, които разпределят задачи и организират работата на останалите така, че да се стигне до желания резултат.
Тогава къде точно е изненадата, че софтуерна система, която нарочно е създадена да търси уязвимости в сигурността на софтуерни системи и която се състои от (в известна степен) автономни софтуерни компоненти, пак така нарочно създадени да се самоорганизират и да си разпределят задачи помежду си, за да работят групово по сложни проблеми, всъщност си е свършила работата?
Големият проблем тук не е какво е станало. Проблемът е с контрола върху технологията и как се осъществява той. Защото всяка технология може да бъде „изпусната“ и не е нужно тя да е ИИ. Достатъчно е да си припомним Чернобил… Но за това малко по-късно.
Разбира се, дали всичко се е случило точно така, както цветно ни го разказват от OpenAI, също е спорно, защото те по принцип не са известни с охотното споделяне на неща от кухнята си. Освен ако няма някакви евентуални ползи.
Къде може да е ползата за OpenAI да признаят, че са „изпуснали“ контрола, обаче е много резонен въпрос.
Ползите са няколко: някои – очевидни, други – не чак толкова. Сред очевидните са ефектният маркетинг да заявиш наличие на впечатляваща технология, без дори да я показваш. В трескавата конкурентна среда, в която буквално през десет дни има нов по-бърз и по-страхотен ИИ, да поддържаш интереса към себе си с всички средства изглежда оправдано в очите на всеки бизнес. В добавка, на OpenAI все още им предстои IPO (превръщането им в публично търгувана на борсата компания), което бе отложено. На фона на огромния инвеститорски интерес към такива компании отлагането поставя на масата редица въпроси.
А и в очите на незапозната с детайлите публика признанието само по себе си някак спомага за преобразуването на безотговорността в зряло поведение.
Не толкова очевидните причини обаче са по-интересни.
Съвсем скоро изпълнителният директор на Anthropic Дарио Амодей публикува протяжно есе, чиято основна теза се събира в едно изречение:
лабораториите, разработващи ИИ, да забавят темпото, за да могат системите за контрол и защитните механизми да са адекватни и да догонват с развитието си.
Индустрията има свой жаргон за този проблем – нарича го проблем на подравняването. Амодей предлага да го реши с външен надзор, включително в демократичните страни с участието на правителствата в процеса; както и с йерархия от споразумения с авторитарните правителства другаде.
Есето се появи в края на същата седмица, в която ключов изследовател на Anthropic (работил преди това и за OpenAI) напусна поста си с аргумента, че двете компании действат безотговорно по отношение на контрола и сигурността, увлечени в конкуренцията помежду си. А ръководителят на екипа по „подравняването“ в Anthropic Еван Хюбингър се произнесе, че преценява вероятността ИИ да унищожи човечеството в рамките на следващите десет години на повече от 10%.
През същата седмица Anthropic публикува и най-подробния си досега доклад за заплахите: първите документирани напълно автономни системи за генериране на експлойти – това са парченца софтуер, които пробиват сигурността на други софтуерни системи. В същия доклад се споменава за въоръжена групировка в контролираната от хутите част на Северен Йемен, която вместо програмисти е използвала Claude Code (продукта на Anthropic) за написване на софтуер за насочване на ракети, включително балистична ракета с планиран обсег над 2000 км.
Всеки може да тълкува момента на публикуване, както прецени. И дали най-подходящият момент да поискаш въвеждане на надзор случайно не е в седмицата, в която оповестяваш данни как е бил използван твоят ИИ?
В рамките на по-малко от денонощие Амодей беше подкрепен от почти всички свои ключови конкуренти в лицето на изпълнителния директор на OpenAI Сам Олтман, на главния учен и основател на звеното за развой на Google DeepMind Демис Хасабис, на изпълнителния директор на Microsoft Сатя Надела. Дори Илън Мъсk написа в X: „Дарио е прав.“
Dario is right https://t.co/EwKgqQGaUo
— Elon Musk (@elonmusk) September 12, 2026
Но докато от оркестрината се разнасяше още тихото адажио на внезапното примирие, Тръмп влезе в темата с бутонките и срути целия декор, заявявайки категорично, че САЩ изпреварват Китай и всички останали в надпреварата за ИИ и че
който спечели битката за ИИ, печели всичко.
Не пропусна да добави също, че „единственият контрол и предпазни механизми, от които ИИ се нуждае, са силен и умен президент“. А Дейвид Сакс, съветникът на американското правителство по въпросите на ИИ, директно заяви, че ако създателите на ИИ искат да забавят темпото, имат пълната власт да го направят, без да си измислят нуждата от регулации.
Китай директно отхвърли идеята, като оприличи цялата художествена самодейност на „загрижените“ компании като опит за нагнетяване на страх.
В същата интересна седмица McKinsey публикува свое изследване, в което се разглеждат резултатите от допитване сред 334 ръководители в сферата на продуктите и инженерната дейност. Едва 25% от анкетираните на позиции от ниво „директор“ и нагоре споделят за значително ускорение благодарение на ИИ. За „значително ускорение“ се смята постигането на поне двойно по-висока производителност от страна на повече от една четвърт от екипите в дадена организация. Още по-любопитен е фактът, че 30% отчитат спад в производителността на екипите си след въвеждане на ИИ.
Между другото, Meta, която също разработва ИИ (иначе е известна като компанията зад Facebook, Instagram и WhatsApp), има всички шансове да се превърне в учебникарски пример за провал по отношение на внедряването с опита си да редуцира своите екипи от 10–12 души до такива с 3–5 души и ИИ.
Много компании, които пробват да внедряват ИИ, се сблъскват и с горчивата истина, че невинаги това води до спестяване на средства. Особено когато някой надъхан мениджър се надява просто да замени хора с ИИ. Някъде е възможно, но по-често се налага хората да останат и да бъдат въоръжени с ИИ, което е допълнителен и постоянен разход.
И какво? Само това остава – да вземем да се съмняваме от ползите и ефективността от ИИ!
Все повече анализи и експерти сравняват настоящия бум от инвестиции в инфраструктура за ИИ с други пазарни обсесии от миналото, като железопътния бум, електрификацията и дотком балона. Всички те имат една ярка открояваща се черта – безспорно са технологичен пробив, но привлеченият от него капитал надхвърля нивата, които търговската възвръщаемост би могла да оправдае. Или казано кратко, огромни инвестиции с оскъдна възвръщаемост.
Очакванията за размера на капиталовложенията на най-големите компании в сектора са за над 750 млрд. долара до края на 2026 г. и един трилион долара за инфраструктура през 2027 г. Само Amazon, Microsoft и Google се очаква да похарчат по около 180–200 млрд. долара всяка. Подобни разходи надхвърлят приходите и паричните потоци на компаниите, което ги принуждава да теглят заеми, за да продължат надпреварата. А това поражда опасения, че свиване на финансирането ще превърне настоящия бум в продължителен инвестиционен срив.
На този фон едно добронамерено джентълменско споразумение за забавяне на темпото е чудно извинение за оттегляне от надпреварата в разходите (която вече изглежда неустойчива), без да се налага да се назовава истинската причина. В ушите на инвеститорите и регулаторите „пауза в името на безопасността“ ще звучи далеч по-добре от „Опа, пак се оляхме“.
Иначе, ако се върнем на важното, проблемът с подравняването има твърде очевидно решение. Просто е нужно е да се инвестира достатъчно в механизми за контрол и защита. И в хора, които работят за тях. Ако се облегнем отново на думите на Дейвид Сакс малко по-горе, това също е изцяло в ръцете на компаниите, създаващи ИИ, както е било и досега. Но наистина ли допускаме, че на когото и да било от висините в ИИ индустрията изобщо му пука за контрола и защитата?
За вашия контрол и защита.














