Tag Archives: Аз, киборгът

ИИ: Нова надежда или невидима заплаха

Post Syndicated from Йовко Ламбрев original https://www.toest.bg/ii-nova-nadezhda-ili-nevidima-zaplaha/

<< Към първа част

ИИ: Нова надежда или невидима заплаха

Популярен мем от интернет фолклора гласи: „Мислех, че роботите ще готвят и перат, за да мога да рисувам и творя, а то пак аз пера и готвя, а те рисуват и творят.“ Смятам, че е много подходящо да продължим във втората част на темата за изкуствения интелект именно с тази шега.

В първата част изяснихме, че благодарение на изчислителните възможности на днешните процесори и големите масиви от информация, с които можем да захраним моделите на ИИ, те всъщност вече превъзхождат човешките способности за осмисляне и преработване на информация. Тези способности на ИИ обаче са изчислителни. Машината не разбира какво изчислява. Колкото и парадоксално да звучи, тя не знае какво прави.

Има фундаментална разлика между това да знаеш, че нещо е вярно като факт – защото така са те учили в училище или са ти го поднесли наготово, както в случая на ИИ, – и да знаеш защо то е вярно.

Разликата е в съзнателното разбиране. Все още не е ясно дали ИИ някога ще бъде способен на това.

(Тук по-добре да спестим колебанията си колко от хората биха могли да прескочат същата летва.)

Нужно ли му е обаче на ИИ да разбира по този начин? За да прави това, което може да прави към днешна дата – не. За да бъде наистина автономен интелект – вероятно да. Смята се, че ако се сдобие с такива способности, ИИ следва да може сам да създава ново знание, надграждайки това, с което вече сме го захранили. Предвид сериозните му изчислителни възможности, човечеството може да има огромни ползи… но и да се изправи пред страховити проблеми. И това, че някаква част от хората биха останали без работа, е най-малкият от тях. Все пак нека не подминаваме повече тази тема.

ИИ и бъдещите професии

Миналата седмица една от компаниите, които се борят за лидерско място в областта на ИИ – Microsoft, – обяви, че уволнява 9000 души. Заедно с други 6000, които бяха освободени предишните два месеца, съкратените служители на корпорацията стават 15 000 само за първата половина на 2025 г. През юни Google, друг лидер в областта на ИИ, анонсира програма за „доброволно напускане“ на служители заради преструктуриране на бизнеса.

Виновен ли е ИИ за това? В известен смисъл – да. Но не точно този, който първосигнално ни идва наум. Знам, че за мнозина би изглеждало справедливо възмездие ИТ хората да понесат част от щетите, които причиняват – не е невъзможно да се случи, разбира се, но… ИИ все още има нужда от хора около себе си, които знаят какво искат от него и как да го напътстват. Причината за горните съкращения е, че големите корпорации се готвят за огромни разходи с едничката цел да останат фактор в надпреварата за по-по-най ИИ. И в следващите месеци ще стягат колана, за да могат да посрещнат безумните инвестиции, които планират да направят за мащабиране на инфраструктурата си за ИИ и… за електроенергията за тази инфраструктура.

Иначе е факт, че ИИ вече програмира доста прилично, но също така е вярно, че прави грешки,

може да сътвори безумни проблеми, особено със сигурността… и най-важното – не е в състояние да носи отговорност за действията си.

Неотдавна самият изпълнителен директор на Google Сундар Пичай сподели, че ИИ вече пише около 30% от кода им, но това води до едва 10% инженерна ефективност. Надали има по-добро признание, че действителността е много по-различна от медийните фанфари по темата. Така че не, програмистите все още не са станали излишни. Даже онези компании, които избързаха да освобождават разработчици, започнаха да връщат част от тях. Но важната думичка е част. А по-важният въпрос е коя част.

Има и друго – в технологичната индустрия през последния четвърт век влязоха твърде много хора, които не носят професията в сърцето си. Те бяха привлечени от парите. Иначе биха се занимавали с друго и в други сфери. Появиха се много церемониални роли, директори на водопади, препращачи на имейли, мениджъри на щастие… След пандемията през 2020 г. някои компании назначиха прекалено много персонал.

Секторът има нужда от отрезвяване и приземяване, но съм скептичен, че точно ИИ ще го побутне в правилната посока. По-скоро се надува нов балон.

Има и структурен проблем. Не само в ИТ сегмента, а почти навсякъде ИИ за момента застрашава предимно роли, заемани от младши специалисти. Формулата за внедряването му често се заключава около концепцията, че увеличената производителност на опитен експерт, въоръжен с ИИ, елиминира необходимостта от млади кадри. Проблемът тук е стратегически, а именно, че перспективата пред младите специалисти да се развият и придобият опит драстично се свива. И съвсем резонен е въпросът какво ще правим, когато старшите експерти с опит станат недостатъчни, а не сме обучили навреме младши. За разлика от ИИ, ние, хората, не се раждаме обучени и ни е нужно време, за да натрупаме знания и най-вече опит.

Ако индустриалните революции дотук влияеха предимно върху ръчния труд, то ИИ поне засега има повече потенциал за приложение в офисите, автоматизирайки предимно интелектуален труд, особено във функции и роли с по-ниска добавена стойност.

Затова опасенията на част от хората за бъдещето, при това за съвсем непосредственото бъдеще, не са нито смешни, нито пренебрежими.

В човешката история винаги са изчезвали едни професии и са се появявали други, съвсем нови. През януари в доклада на Световния икономически форум за бъдещето на работните места се прогнозира, че през следващите пет години се очаква да бъдат създадени 170 млн. нови работни места и да бъдат закрити 92 млн. стари, което означава структурно текучество на пазара на труда от 22% (от 1,2 млрд. официални работни места в изследваната извадка данни). Според прогнозата ИИ няма да е единственият виновник за това, но е основен. И ако изглежда като добра новина това, че се очаква нетно увеличение на заетостта от 7%, или ръст от 78 млн. работни места, то проблемната част е колко души ще са подготвени да ги заемат, както и че всеки четвърти-пети човек на планетата ще бъде пряко засегнат от този процес.

Съвсем скорошно изследване на Станфорд показва, че хората възприемат най-позитивно автоматизацията чрез ИИ, когато тя освобождава време за друга работа с висока стойност (това твърдят 69,4% от анкетираните). Други най-приемливи приложения на ИИ са разтоварване от досадно повторяеми задачи (46,6%) и от стрес (25,5%) или пък когато има възможности за подобряване на качеството (46,6%). Мнозинството от хората предпочитат сътрудничеството между ИИ и човека (45,2%) или автоматизация чрез ИИ, която обаче разчита на ключова намеса от човека (35,6%).

Конвенционалната мъдрост предполага вслушване в нагласите на хората. Не само на теория.

Разбира се, ако правителствата, бизнесът и технологичната индустрия не са окончателно забравили, че всъщност смисълът на всичко е хората да водят по-добър, щастлив и качествен живот. С правилно внедряване, адекватен контрол и нужната етика ИИ може да бъде в хармонична симбиоза с човечеството и да помага за решаване на много и разнообразни проблеми. За съжаление обаче, като всеки инструмент, с него може и да се злоупотребява и рисковете това да се случва не бива да се пренебрегват. Изобщо не е нужно да чакаме ИИ да стане свръхинтелигентен, за да се борим с последствията, които приложенията му вече причиняват.

ИИ, медии и истина

В доклада за дигиталните новини на Института „Ройтерс“ за 2025 г. се твърди, че 73% от американците споделят как не се ориентират или трудно се ориентират какво е истина и какво – лъжа. В Европа този процент засега е само 46.

Но сега изгледайте този новинарски репортаж…

В него няма нищо истинско. Това не се е случило. Нито един от показаните образи не съществува. Лицата, казаното, дори журналистите са компютърно генерирани от ИИ. Нищо че изглеждат като съвсем реални хора, които споделят свои възгледи – добронамерени и позитивни впрочем. Ами ако не бяха?

От технологична гледна точка наистина е впечатляващо колко реалистично изглежда всичко. Но е и точно толкова проблематично. Защото не просто е трудно, а вече става невъзможно да се отличи реалното от виртуално генерираното. И това отваря врати за всякакви злоупотреби.

Технологията е чудесна сама по себе си – проблемът е кой и за какви цели би могъл да я използва.

Инструментът, с който е генериран горният новинарски псевдорепортаж, е достъпен за всички, не струва много и с него може да бъде скалъпена всякаква ужасна новина, която да накара множество хора да повярват, че е истина.

Телефонни измамници и телемаркетинг компании ползват ИИ, за да синтезират човешки гласове. Появиха се фалшиви реклами, промотиращи продукти с лицата на известни личности, които нямат представа за това.

Големият въпрос е как ще живеем в свят, в който е невъзможно да отличим лъжа от истина.

Това не е всичко. Откакто Google започна да предлага т.нар. AI overviews (българският превод е тромав – „общ преглед, създаден от ИИ“, или иначе казано, генерирано от ИИ резюме на всяко търсене в търсачката), медиите се оплакват от огромен спад в трафика към сайтовете си. Очевидно е защо – ако потребителите търсят нещо и получат кратко резюме още в началото, колко от тях биха продължили да четат надолу?

Първият проблем е, че хората се доверяват на резюмето безкритично. Вторият е, че това е директен удар върху и бездруго крехкия и неефективен модел за финансиране на медиите чрез реклама. Защото по-малко трафик означава по-малко показана реклама, по-малко интерес от рекламодателите и съответно по-малко директни приходи.

Интернет и бездруго вече съсипа модела на печатните издания, като буквално нулира приходите на огромна част от тях. Онлайн рекламата и до днес не може да компенсира това. Сега Google издърпва и спасителния пояс на удавниците.

А големият проблем е, че без медии няма демокрация.

Спадът в трафика на онлайн медиите няма как да не доведе пък до съкращаване на журналисти и дори до разпускане на цели екипи и закриване на медии. Някои от тях ще се опитат да компенсират със създадено от ИИ съдържание, което само ще ускори тяхната смърт, защото няма как това да бъде добре прието от публиката.

А погледнато от позитивната страна, ИИ може да има много широко приложение в медиите – като помощник в превода от и на различни езици, в резюмирането и (с много уговорки) редактирането на текстове или в преобразуването на съдържание от един формат в друг (например текст в аудио). Подчертавам помощник – ролята и намесата впоследствие на редактор човек остават неотменими. В „Тоест“ например напоследък ползваме генерирани от ИИ илюстрации за заглавни изображения към материалите, тъй като бюджетът ни не позволява да ползваме услугите на илюстратор или фотограф за всяка публикация. Със сигурност не бихме допуснали обаче генерирани от ИИ статии.

Много е вероятно като съпротивителен механизъм на навлизането на ИИ в различни области да се появят и утвърдят занаятчийски алтернативи, при които не се използва ИИ, а само човешки умения и сили. И това да се превърне в символ на качество, както сега възприемаме ръчно изработените стоки, крафтбирата, домашната лютеница или произведените по поръчка дрехи или мебели. И да сме склонни да плащаме повече за тях – заради личното отношение и човешката връзка. Вече започнаха да се появяват книги, чиито автори декларират на корицата, че не са ползвали ИИ за написването ѝ. (И аз бях сложил изречение, че за написването на тази статия не е използван ИИ, но редакторката ми го изтри.)

ИИ и образованието

В сферата на образованието приложението на ИИ е буквално безгранично – като започнем от чуждоезиковото обучение, визуалните изкуства, точните науки, индивидуалните обучения, различни игровизации (геймификации), особено за деца и хора със специални потребности.

Но в неотдавнашен разтърсващ материал на 404 media преподаватели споделят наблюденията и тревогите си как ИИ буквално е сринал смисъла на преподаването. И не защото технологията е „лоша“, а защото е внедрена или възприета без замисляне и стратегия, без някакви премерени граници. Педагозите разказват с тъга за есета и домашни, написани частично или изцяло от ИИ, и за времето, похабено в търсене и доказване на такива опити за измама, вместо да бъде вложено в работа с наистина мотивираните ученици и студенти. Споделят, че сред възпитаниците им има такива, които не се опитват да разсъждават, а очакват и дори разчитат да консумират съдържание наготово. Разказват за напълно изгубеното доверие, диалог и смисъл.

Най-страшното е не че ИИ пише домашните на учениците или курсовите работи на студентите, а че те самите спират да мислят.

ChatGPT не е самостоятелен, специфичен проблем. Той е симптом на повсеместна културна парадигма, в която пасивното потребление и преповтаряне на съдържание се превръща в статукво“, казва един от анкетираните преподаватели.

ИИ и власт

Няма спор, че позиционирането на ИИ като новата космическа надпревара е сполучлива медийна метафора и хитроумна бизнес стратегия. Но както някои метафори, хем шуми повече от необходимото, хем не казва същественото. Горчивата истина е, че не разполагаме с механизъм, който да възпре тази технологична битка да се превърне в ожесточена борба за власт. Тя вече е – включително в геополитически смисъл. И проблемът отново е не ИИ, а хората. С онези същите смъртни грехове – алчност, леност, завист, гордост, гняв…

„Ще ползваме Grok – заяви Илън Мъск преди три седмици [Grok е генеративният ИИ на неговата компания xAI – б.а.], – и ще пренапишем целия масив от човешко знание, ще добавим липсващата информация и ще премахнем грешките. И ще го обучим наново с това. Има твърде много боклук в некоректните данни, с които сме обучили основните модели досега.“

Дали не е прекалил с някоя субстанция? Не е ясно. Възможно ли е това да е неовладян импулс за привличане на прожекторите, понеже напоследък остана в леко засенчения ъгъл на историята? Възможно е. Но също така е напълно вероятна хипотезата той просто да е безпардонно откровен, защото горното е нищо по-малко от признание, че тази надпревара е за власт. И залогът е висок.

Мъск буквално казва, че който я спечели, ще дефинира реалността за човечеството.

На хора като него не им пука за ефективността на труда ни или за качеството на нашия живот – той иска да оформя начина, по който мислим. И нека си представим последствията. Защото неговите инвеститори си представят точно това, но политически коректно го назовават възможности. И инвеститорите на OpenAI – също, както и крупните акционери в Microsoft, Google и други. Предвид разрушените обществени механизми за колективна съпротива остава да се надяваме да спечели по-малкото зло.

ИИ е толкова интересна концепция, защото е нещо като думата „транспорт“. Има велосипеди, има камиони, има ракети. Всички те са форми на транспорт, но служат за различни цели и представляват различен компромис между разходи и ползи. За мен стремежът към ИИ е най-лошият компромис, защото се опитват да изградят фундаментална машина за всичко, но в крайна сметка тя не може да прави всички неща. Така не само объркват обществото какво всъщност може да се прави с тези технологии – което нанася вреди, защото хората започват да я питат например за медицинска информация, а насреща да получават медицинска дезинформация. Но за капак всичко това е за сметка на колосално потребление на ресурси и колосална експлоатация на труда.

Това каза преди няколко седмици журналистката на „Ню Йорк Таймс“ Карън Хао в телевизионно интервю по повод току-що излязлата ѝ книга Empire of AI. Хао е имала възможността да изследва отвътре OpenAI, компанията създателка на ChatGPT, при това продължително, имайки директен достъп до служителите, до ключови хора в екипа, както и до самия изпълнителен директор Сам Олтман. Наблюдавала е взаимоотношенията помежду им буквално „от пилотската кабина на компанията, която движи лудостта“, както пише в рецензията на корицата Шошана Зубоф. Ще бъде истински пропуск, ако книгата не излезе на български език, защото е крайъгълен камък в историята на развитието на ИИ. До този момент не съществува друга толкова прецизна и обстойна критика по темата.

В първата част на статията споменах, че една от целите ми е да акцентирам върху приглушените гласове – Карън Хао е един от най-важните сред тях, защото пази интегритета и смисъла на журналистиката да служи на хората. Подминавам Джефри Хинтън и Иля Суцкевер, защото ми се струва по-важно да припомня едно доста дълго, но изключително смислено и човешко интервю на Стивън Бартлет с Мо Гаудат, един от напусналите мениджъри на полусекретното развойно звено на GoogleX Development.

Две години са изминали от този разговор, но той не е загубил смисъла си. И продължава да съдържа всичко, което е нужно да имаме наум в тревогите си за бъдещето – но също и възможните отговори за него. Игнорирайте лепкавото заглавие, отделете два часа от някой горещ летен уикенд и чуйте какво споделя Мо Гаудат.

ИИ и ние

Дали ИИ е заплаха, или надежда, всъщност е глупав въпрос. Защото поне засега няма изгледи отговорът да не е в ръцете на… човечеството. Разбира се, съмненията в собствените ни способности за етични и рационални избори са валидни и трудно оборими.

Да използваме ИИ, но не и да му се доверяваме сляпо, особено за вземане на критични решения. Да проверяваме всичко. Дори когато ползваме специализиран ИИ, пак трябва да имаме наум, че вероятността да сгреши или да ни заблуди никога не е нулева. Ползвайки ИИ, всъщност е препоръчително да си припомним поне основите на теорията на вероятностите.

Да внимаваме какво споделяме с ИИ – особено ако го ползваме безплатно. Нека си спомним, че сметката все още не излиза. ИИ е скъпо удоволствие и има твърде малко причини някой да ни го предлага твърде евтино или безплатно.

Да приемаме с резерви новините, че ИИ е направил уебсайт за три минути, спечелил е дело, заменил е цяла счетоводна кантора или е проектирал сграда, която е спечелила конкурс. Не защото не е възможно, а защото… надали искаме бизнесът ни да разчита на сайт, направен за три минути. Скорост без стратегия е просто шумотевица. Да забавим. Да премислим. И да се погрижим за последствията и за човешкото отношение помежду си. Не защото само това ще остане да ни отличава от машините, а защото… носим отговорността. Ние, не ИИ.

Времето за критична дискусия между сферите на технологиите, образованието и етиката винаги е сега. Този път – повече от всякога.

ИИ: Първородният грях

Post Syndicated from Йовко Ламбрев original https://www.toest.bg/ii-parvorodniyat-gryah/

ИИ: Първородният грях

Изкуствен интелект (ИИ) е леко претенциозно название на доста разнообразна палитра от технологии. Част от тях са съвсем нови, но са стъпили на вече достигнала зрялост технологична основа. Други се развиват с колебливо ускорение от години и дори десетилетия. А трети, нищо че може би и за тях сте чули съвсем наскоро, вече излизат от т.нар. пик на завишени очаквания, където развитието им често е стремглаво, и се предполага, че в период от няколко месеца до година-две ще се превърнат в част от обичайното. Или пък няма. Предстои да видим.

ИИ: Първородният грях

Напълно разбираемо е любопитството към ИИ, както и тревогите за бъдещето, в което той ще се намеси. Много въпроси обаче нямат нито лесни, нито очевидни отговори, без значение кой и какво твърди с непоклатима убеденост. Спекулациите и опитите за пророкуване какво ни чака и как ще се промени животът ни, са част от медийния буламач, който съпътства всяка нова и сложна технология. Така беше и с интернет, електронната търговия, облачните технологии, социалните мрежи, блокчейн и криптовалутите.

Голяма част от прогнозите не се сбъднаха. Сега на дневен ред е ИИ.

Понеже интернет и социалните мрежи дадоха възможност (за съжаление – и самочувствие) на всеки да се чувства компетентен да обсъжда всичко, гласовете на онези, които наистина имат какво да кажат, остават нечути. И това далеч не са Сатя Надела (Microsoft), Сундар Пичай (Google), а още по-малко Сам Олтман (OpenAI, които стоят зад разработката на ChatGPT).

Те, разбира се, винаги имат какво да кажат, но нека не забравяме, че като бизнесмени трябва да продават – очаквания, мечти, страхове или каквото е нужно за положителните резултати във финансовите отчети на компаниите, които управляват. Или пък да влияят на нашите мечти, очаквания и страхове, пак заради същите финансови отчети. Това не прави твърденията им безпочвени. Поне не всички. Но измества акцента върху по-съществени въпроси – например кога казват нещо, какво не казват и най-вече защо.

За жалост, дори експерти, които работят в сферата, също невинаги са благонадежден източник на информация. Те са твърде фокусирани върху детайлите и емоционално увлечени от работата си. Някои според мен дори се нуждаят от специализирана помощ. Мнозина са продукт (и жертва) на една силно конкурентна среда, която фаворизира трескавото създаване на технологии без много замисляне върху последиците. Среда, в която техническата надпревара е удобно и всепризнато извинение да не се поема и носи отговорност. А целта – пари, надвиване на конкуренцията, власт – оправдава всички средства.

Трудно е да се оцени ИИ еднозначно, при това без да се залита в крайности като технооптимизъм или параноя.

Всяка технология има своите силни страни и своите недостатъци. Заедно с това, малцина съобразяват оценките си с хуманизма, който днешният пазарно ориентиран технологичен свят има навика напълно да игнорира. С този текст ще насоча вниманието към приглушените гласове – с надеждата повече хуманитаристи и интелектуалци да навлязат в темата.

Независимо от това какво ще е съвместното бъдеще на ИИ и хората, разговорът за това бъдеще е вече закъснял. Защото скоростта, с която ИИ навлиза в живота ни, може да причини такъв световъртеж, че дори при най-позитивното развитие на технологиите те да са твърде сложни за възприемане и осмисляне. Голямото предизвикателство пред човечеството е доколко то ще е способно да се адаптира към тези промени – в икономически, обществен и дори психологически план.

Болезненият въпрос е не дали някои хора ще загубят работата си – това се случва и без ИИ. А каква част ще съумеят да следват промените с нужното темпо. Защото отговорът, че тези, които не успяват, не са подготвени за новите реалности (и както обикновено сами са си виновни), сега няма да ни свърши работа. За да водим обаче адекватен разговор по темата, е нужно поне базово да познаваме технологиите от семейството на ИИ. Ще се опитам да обобщя най-важното от развитието им, без да прекалявам с техническите подробности.

Кратък хронологичен разбор на ИИ

Едва ли е голяма изненада, че модерните днес ChatGPT, Gemini AI, CoPilot и подобни са стъпили на раменете на купчина предхождащи ги технологии – като невронните мрежи, големите масиви от данни, машинното (само)обучение, обработката на естествени езици като част от компютърната лингвистика и дори математическата статистика. Тези технологии не са се появили вчера, някои от тях се развиват от десетилетия.

Една от първите софтуерни програми, които (с известни уговорки) са в състояние да издържат теста на Тюринг, тоест да заблудят някого, че разговаря с човек, е ELIZA – чатбот, създаден още през 60-те години на миналия век, който имитира психотерапевт. ELIZA е програмирана да разпознава ключови думи и шаблони, на които реагира по предварително зададен начин съгласно система от правила. Един от недостатъците на този подход е, че програмата всъщност няма никакво понятие за контекста на разговора, който „води“ (а всъщност симулира). Компетенциите ѝ се изчерпват със системата от правила и сферата, от която са. Няма и механизъм за някакво самообучение или разширяване на тези „компетенции“.

В отговор на недостатъците се появяват технологиите за т.нар. подсилващо обучение (reinforcement learning, или RL), които дават възможност на системата да се адаптира към контекста, в който е поставена, и да се учи от масиви от данни и от предходен опит („проба–грешка“ впрочем е един от основните подходи – както е при хората). Много от текстово базираните компютърни игри прилагат тези технологии от години. Недостатъците на подхода са, че компетенциите отново са ограничени до някаква област (от която са данните, използвани за обучението), ефективността на обучаване е ниска и отнема много време, а нюансите на естествените човешки езици добавят цели нива на сложност.

Така опираме до необходимостта от технологии, които да осигурят някакво ниво на универсалност и обобщаване на знанията. Иначе казано, софтуерът, обучен с едни данни, да е в състояние да прилага „наученото“ в друг контекст, област или ситуация, която не е изрично разписана и подадена предварително. Големите езикови модели (large language model, или LLM) се превърнаха в повратна точка в компютърната обработка на човешки езици. Те ползват многослойни невронни мрежи, за да възприемат и представят големите данни, с които биват обучавани. Всъщност именно те са в основата на днешните чат базирани платформи, които постепенно (и погрешно) приравнихме с ИИ.

Английската абревиатура за изкуствен интелект е AI, от artificial intelligence. Има критики, че и двете думи не са коректни. За първата има предложение (предвид сегашното ниво на развитие) AI да се разчита като assistive intelligence, подпомагащ интелект. За втората дума критиката е по-скоро фундаментална – че не може да съществува интелект без осмисляне, тоест без съзнание, а на този етап ИИ, строго погледнато, е изчислителна технология.

Добре е да се има предвид, че езиковите модели всъщност имат едно ключово умение, и то е да предполагат най-вероятната следваща дума в изречението, така че то да стане част от смислово свързан текст. Наричат се още предвиждащи машини. И това не е ирония, а термин. Захранени с голям масив от данни, те боравят с вероятностни разпределения и успяват чудесно да комбинират най-сполучливите (тоест най-вероятните), подредени в правилен словоред думички по такъв начин, че да заговорят (и пишат) като нас. Даже по-добре от нас. На почти всеки език.

В действителност езиковите модели са едни високотехнологични папагали, които повтарят заучени фрази – нищо повече.

Но това все пак е революция в областта на компютърната обработка на човешките езици, която от години беше затънала в опити да описва лексика и граматика със сложни системи от правила.

Внимателно избягвах думата знание и вместо нея ползвах компетенции, защото дотук разполагахме основно с комплект от специализирани умения за съставяне и съпоставяне на текстове. Масивите от данни, с които захранваме езиковите модели обаче, са знание. Нещо повече, това е част от натрупаното общочовешко знание. И тук стигаме до първородния грях – това знание в повечето случаи е събрано и ползвано за обучение на езиковите модели незаконно, без позволение, без компенсации за авторство, без дори признание за авторите му. Хилядолетното знание на човечеството бе откъснато от създателите му и предоставено на машините на тепсия – от търговците на мечти и страхове. Но ще се върнем на това престъпление малко по-нататък.

Именно езиковите модели са това, което направи популярни ChatGPT и подобните нему. GPT всъщност е съкращение от generative pre-trained transformer, което се предполага да преведем като предварително обучен генеративен преобразувател. Именно GPT системите се появиха и се утвърдиха като най-добрите езикови модели (понеже не всички езикови модели са GPT).

Преобразувателите обаче също не са съвършени – това, че са в състояние да сглобят правдоподобен текст и да върнат най-вероятния отговор от голямата си, но все пак ограничена база със знания, съвсем не означава, че това, което твърдят, е истина или е правилно. Точно затова е изключително глупаво да се допитват до тях за здравни или пък романтични съвети, за политиката, бъдещето и т.н. Моделите могат да бъдат изключително некомпетентни в някои области – особено в онези, в които и самите ние, хората, сме боси или пък по някаква причина натрупаното знание не е леснодостъпно. Актуални и очевидни неща, като днешните новини, какво е времето навън или колко е часът, ги затрудняват, защото са обучени с по-стара информация.

Или поне доскоро беше така. Сега те вече разполагат с механизми и инструменти да търсят в интернет и дори да се питат и да си помагат едни на други. Чрез технологии като RAG, допълнителни интерфейси и добавяне на различни инструменти,

ИИ платформите отдавна не са само голи езикови модели.

По сходен начин се появиха и моделите, специализирани в създаването на изображения, глас, музика, видео.

И тук опираме до един вододел, който е много важен за разбирането на контекста на темата. Невронните мрежи, стоящи в основата на езиковите модели, не са нова идея. Техният възход точно сега е резултат от комбинирането им с големите масиви от данни и наличието на изчислителни мощности, каквито доскоро не бяха възможни.

За една група експерти и учени това е доказателство, че технологията не е ефективна, а разхищението на ресурси не води до желаното мащабиране. В другата посока са онези, които вярват, че понеже невронните мрежи се опитват да копират човешкия мозък (доколкото изобщо знаем как функционира той), ако те бъдат захранени с достатъчно данни и изчислителна мощ и продължаваме да ги развиваме, в някакъв момент ще разполагаме с т.нар. общ изкуствен интелект (ОИИ) – artificial general intelligence, или AGI, който ще може да се справя автономно с всяка интелектуална задача, без ние да трябва да му помагаме.

По тази тема всякакви хора напоследък се упражняват да гадаят – между как това никога няма да стане и как т.нар. технологична сингулярност буквално ни дебне зад ъгъла. В интерес на истината, и двата лагера имат своите валидни аргументи.

Днес обаче, колкото и да са добри в това, което правят, моделите преизползват прагматично информацията, без да я разбират в някаква дълбочина. Този проблем се опитват да решат т.нар. разсъждаващи модели (reasoning language model, или RLM), които могат да анализират ситуации, да правят логически изводи и да вземат информирани решения на базата на това, с което са обучени, и на допълнителните данни, до които могат да получат достъп. Подобно на ученик, който не само запаметява факти, но и прилага критично мислене при решаване на реален проблем.

Те са доста нова технология, която, разбира се, също има своите ограничения и проблеми. Невинаги успяват да разглобят правилно сложните задачи на по-прости и решими проблеми. Провалят се при по-заплетени казуси – точно като нас, хората. Загубват се в някои логически взаимовръзки, когато нямат достатъчно контекст да ги подредят по приоритет или пък им липсва достатъчно информация, за да вземат решение. Страдат от предубеждения в зависимост от данните, с които са обучавани…

Познато, нали? Всъщност никак не е случайно, че толкова много си приличаме, дори в недостатъците.

Нека не забравяме, че като продукт на първородния грях те разполагат с огромен комплект от знания и правят дедуктивни заключения на базата на нашите решения и действия от миналото, които сме документирали и предоставили. В този смисъл те доста добре ни познават и копират. Включително в това да имитират страдание, болка, съчувствие и разбиране. Затова, когато прочетете някъде, че някакъв изкуствен интелект страдал или се страхувал да не бъде изключен, моля… намерете си друго четиво.

Една от актуалните новости са т.нар. ИИ агенти. Те представляват софтуер, който, разчитайки на моделите и на допълнителни инструменти и данни, включително постъпващи в реално време, може да извършва напълно автономно някаква специализирана дейност – да управлява машина, да пише софтуер, да шофира, да приема и обработва поръчки в електронен магазин, да помага или даже да замени служител в колцентър или отдел за поддръжка – и да прави това бързо, неуморно, на множество езици и едновременно за много клиенти. Агенти с разсъждаващи модели могат да анализират данни за пациенти, да диагностицират болести и да препоръчват терапии, като в някои случаи успяват даже да са по-прецизни от лекарите.

Важно е обаче да правим разлика между това, че специализиран ИИ e в състояние да анализира и сравнява резултати от ядрено-магнитен резонанс и да бъде дори по-прецизен от лекар при диагностицирането на дадено онкологично заболяване – и това да се допитваме до папагала ChatGPT за медицински съвет, който с огромна вероятност може да е непрецизен и дори погрешен.

Горе-долу тук се намираме днес. И независимо как е прозвучал текстът ми досега, тези технологии са страхотни. Имат огромен потенциал и приложения и би било глупаво да не ги използваме. Първо, те наистина могат да ни помагат за много неща и да ни спестят досадна дейност, усилия и време. Могат дори да спасяват човешки живот. Освен това, искаме или не, те са тук и който не ги познава и използва, рискува да изостане в личното и професионалното си развитие. И не на последно място, ако опасенията, които технологиите пораждат, се оправдаят в бъдеще, тези, които ги познават по-добре, ще имат по-добри шансове – защото, ползвайки силните им страни, интуитивно ще са опознали и слабостите им.

Слабости на ИИ? Разбира се, че има – и те не са малко

Огромен проблем е, че ИИ е гигантски консуматор на електроенергия и изчислителни ресурси. Неотдавна Сам Олтман каза пред Сената, че цената и изобилието на ИИ ще зависят пряко от цената и изобилието на енергия. Иначе казано, без инвестиции в енергийна инфраструктура нуждите на ИИ може да надскочат развитието на електроснабдителните мрежи.

ИИ вече се определя като „космическата надпревара на ХХI век“ и поне засега тя се основава на енергия и ресурси. Това може сериозно да размести баланса на силите в световен мащаб – но пък прекрасно устройва играчи като Сам Олтман, чиято цел е максимално да придърпат темата за ИИ към себе си. Ако Илън Мъск в последно време успя да се превърне в злодея на всички злодеи, изчакайте още малко Сам Олтман.

Икономически сметката все още не излиза. Инвестициите в ИИ са огромни, а възвръщаемостта е ниска. Някои скорошни анализи даже сигнализират, че е достигната фаза на намаляваща възвръщаемост, когато добавянето на ресурси (данни и изчислителна мощ) не увеличава ефективността. Очакванията са огромна част (над 90–95%) от стартъпите за ИИ да фалират бързо и да се получи поредна концентрация около няколко от най-големите технологични играчи.

Скоростта е другият проблем. Като всяка нова технология ИИ се развива много бързо и това не е новина. Различното този път е, че потенциалът му да променя най-различни области от човешкото ежедневие е огромен. При това по-бързо, отколкото са обичайните човешки способности за адаптация. Много по-бързо отколкото процесите, заложени в социално-политическите ни системи от десетилетия преди появата му, могат да реагират. Не е случайно, че наричаме тези характеристики на технологиите разрушителни или подривни. Не непременно с негативна конотация, защото очакваме те да водят до положителни резултати, но такива промени с висока скорост имат всички шансове да увеличат общото усещане за глобален хаос и несигурност, което и бездруго не липсва.

Дали ИИ/ОИИ някога ще бъде в състояние да създава ново знание, да трупа опит и да се самоусъвършенства без човешка намеса, предстои да видим. Това, предполага се, би ускорило още повече всичко. Но дори да не се развие по този начин, някои от тревогите по отношение на днешния ИИ не са неоснователни – за екологията, за разхищаването на енергия, за бъдещите обществено-икономически отношения. За отговорността. Защото кой носи отговорността за дадено решение, действие или бездействие на ИИ като част от една или друга система, не е само юридически или философски въпрос.

Затова отсъствието на хуманитаристите от този сложен разговор е много тревожно.

Разговорът, както и решенията, не бива да остават единствено в кръга и властта на технократите и технооптимистите. Те вече сътвориха достатъчно бели с наивността или с алчността си, с бруталната си самоувереност, пълна липса на критично мислене и неспособност да носят отговорност. Достатъчен пример са социалните мрежи, които уж трябваше да свързват хората, а се превърнаха в терен за културни войни и инструмент за радикализация. И така са на път да счупят демокрациите.

ИИ създава предизвикателства, каквито не познаваме и за които не изглежда да сме готови – нито като индивиди, нито като общества. Правителствата не разбират добре какво става, подценяват евентуалните проблеми и пропиляват безценно време за подготовка. А тривиалните решения няма да сработят. Регулацията не помага особено, защото нерегулираният ИИ (например в Китай) би се развил повече и би надделял над регулирания. В ситуация на глобална технологична надпревара това ще е самоубийствено.

Макар че поне някаква регулация е необходима – високи данъци върху ИИ например биха помогнали да се компенсират някои щети, но само на теория, защото колко ще са политиците с гръбнак да се преборят за това. А и без общо съгласие в глобален мащаб ефектът ще е по-скоро обратен. Колко вероятно е да постигнем такова съгласие в света, който споделяме днес? Освен ако точно ИИ не ни научи най-накрая, че всички на планетата сме в една лодка…

Разбира се, че полза от вторачване в евентуални негативни сценарии няма. Но да не сме подготвени за тях би било безотговорно – защото, ако през предното стъкло изглежда, че сме се засилили с мръсна газ към бетонна стена, решението не е нито да стискаме очи, нито да се надяваме стената да се отмести. Някак трябва да вземем завоя.

П.П. Преди точно 20 години, на 12 юни 2005 г., Стив Джобс произнесе реч пред завършващите „Станфорд“, която и до днес има силно въздействие с възгледа си за пресичането на сферите на хуманизма и технологиите. Дано той не е бил един от последните технологични лидери, за когото това е имало значение.

(Следва продължение.)

В черната кутия на изкуствения интелект

Post Syndicated from Диана Кулчицкая original https://www.toest.bg/v-chernata-kutiya-na-izkustveniya-intelekt/

В черната кутия на изкуствения интелект

В последните години все повече се говори за изкуствения интелект (ИИ). През изминалата 2024 година той продължи да показва стремителен ръст в най-различни сфери. Технологията стана още по-разпространена и със сигурност можем да кажем, че съвременният човек се сблъсква с ИИ почти постоянно, макар и невинаги да си дава сметка за това. Когато използваме програми за автоматичен превод, когато търсим нещо в интернет, когато включваме гласовия помощник в нашия телефон, ние си имаме работа cъс самообучаващи се алгоритми. Те вече са част от нашия живот и в близко време няма да изчезнат.

Независимо от широкото разпространение на ИИ, в масовото съзнание той остава нещо като черна кутия, от която може да излезе какво ли не. Често самата технология се възприема като мистична, понякога дори зловеща. Най-песимистично настроените рисуват апокалиптично бъдеще, в което човечеството е във властта на машините. Други пък са излишно оптимистични и виждат само положителните аспекти на внедряването на ИИ, бързат да го прилагат безконтролно дори там, където това създава сериозни рискове. Може би по-балансираният и рационален подход би могъл да помогне да не отричаме ползите от тази иновация, но и да не си затваряме очите за съвсем реалните заплахи.

Развитието на ИИ през 2024 г.

2024-та беше белязана от много ключови събития, свързани с ИИ. Почти масов стана визуалният генеративен изкуствен интелект, който позволява да се създават изображения и видеа. Инструменти като Midjourney и DALL-E генерираха големи печалби и привлякоха милиони потребители по целия свят. През изминалата година ИИ започна по-активно да се използва в сферата на медицината и здравеопазването. При разработването на нови лекарства учените все по-често прибягват до него и тези опити вече носят конкретни резултати. Освен това доста малки и средни бизнеси използват ИИ в практиката си. Отминаха времената, когато технологията беше достъпна само за големите компании със сериозни финансови възможности.

През изминалата година обаче имаше и трудности за софтуерните гиганти, които разработват ИИ. Още в края на 2023 г. световноизвестният американски вестник New York Times заведе дело срещу Open AI. Всекидневникът обвини създателите на Open AI, че са нарушили авторските права и са използвали нерегламентирано текстовете на медията. Делото стана повод за голяма дискусия относно интелектуалното право в епохата на ИИ. Някои анализатори изказаха мнение (вж. например тук, тук и тук), че е по-добре да захранваме ИИ с качествени текстове вместо с всевъзможни източници, много от които със съмнителна стойност, за да може езиковият модел да се учи и да работи с проверени данни. Несъгласието на големите традиционни медии да предоставят съдържанието си осуетява този процес.

В България 2024 година също беше богата на събития, свързани с ИИ. През есента институтът INSAIT представи bgGPT – първия езиков модел изцяло на български. Той разполага с повечето функции, които притежава ChatGPT на компанията Open AI, но работи с български източници и е изцяло безплатен. Освен това родните медии за първи път открито започнаха да прилагат активно ИИ за изготвяне на дописки. Появи се и първият виртуален водещ, генериран от ИИ. През март Bulgaria On Air представи Иван, който е създаден изцяло с помощта на ИИ и си партнира в сутрешния блок на телевизията с двама истински водещи.

Общ поглед към развитието на ИИ

Според теорията за дифузия на иновациите, популяризирана от Евърет Роджърс през 1962 г., всяка технология преминава през стандартни етапи в своето разпространение, преди да стане масова. Първоначално има малка група от иноватори, които я създават и допринасят за развитието ѝ. След това се появява т.нар. ранно мнозинство. То се състои от хора с напредничаво мислене, които не се страхуват от новото. Те започват да използват технологията и да я популяризират. После идва късното мнозинство. Накрая, когато дадена технология вече е станала масова, се появяват изоставащите – онези, които доста късно решават да се обърнат към иновацията.

Ако анализираме ИИ от тази гледна точка, ще видим, че технологията вече започва да става масова, но още не е минала пиковия си момент на развитие. Както при разпространението на други технологии, високите очаквания, а също и крайно изразените страхове показват, че още не сме съвсем наясно къде ще ни отведе ИИ. В същото време от статистическа гледна точка през изминалата година разпространението му става доста масово. Проучване на McKinsey, публикувано през май 2024 г., показва, че използването на ИИ в работна среда продължава да расте. Все повече хора признават, че интегрират технологията в работата си по един или друг начин. Според проучването, включващо участници от цял свят, около 65% от запитаните казват, че в техните организации ИИ се използва редовно. Това число представлява почти двойно увеличение в сравнение с 2023 г.

Отношенията между ИИ и човека. Реални и потенциални проблеми

Известният британски математик и информатик Стюарт Ръсел е привърженик на „човешки центрирания“ подход към ИИ. Той смята, че технологията трябва да служи на човека, а не да преследва свои собствени цели. За момента все още не съществува свръхинтелект, тоест машина, която притежава съзнание и може да действа самостоятелно. Днес използваме алгоритми, които имат доста конкретно и ограничено приложение. Това обаче не значи, че в близкото бъдеще няма да се появи компютър, който притежава когнитивните способности на човека и дори ги превъзхожда.

Ръсел също така отбелязва, че не бива да се позволява на ИИ да взема решения, които са свързани със съдбата на човека. Например ученият смята, че използването на оръжие, управлявано от ИИ, може да доведе до катастрофални последствия, дори до геноцид.

Ако създаването на свръхефективен ИИ за момента е по-далечна перспектива, сегашната информационна среда крие по-осезаеми рискове. Манипулирането на данни и създаването на фалшиви видеа с помощта на ИИ никога не е било толкова лесно, колкото е в момента. Deep fake клипове са залели социалните медии. Днес на практика всеки може да създаде подобно съдържание, дори не е необходимо да притежава скъп софтуер и специални умения. Това прави дезинформацията и злонамереното изопачаване на фактите много по-лесно.

Друг проблем е свързан с неконтролираното използване на ИИ от ученици и студенти. Писането на есета само с помощта на ChatGPT, без редактиране и осмисляне на предложения от него вариант, води до това, че умението за създаване на авторски текстове се губи. Може би забраната на използването на ИИ в обучението не е най-добрата идея, но със сигурност има нужда да се формулират нови правила за оценяване и нови задания, които да не изкушават учащите се да прибягват до ИИ за решаване на всеки въпрос. 

Трети проблем, който активно се обсъжда в различни индустрии, са промените в пазара на труда и отпадането на някои специалности, в които човекът може да бъде заменен от ИИ. Такава заплаха потенциално съществува, но е доста преувеличена. За момента ИИ прекрасно се справя с механични задачи, изчисления и търсене на закономерности, но не е добър в творчеството, защото работи със шаблони. Той може да бъде използван и в дизайна, и в изкуството, обаче без необходимата намеса на човека понякога създава произведения със съмнителна художествена стойност, макар и да има интересни попадения.

Политика и ИИ

ИИ вълнува не само учените и обикновените потребители, но и политиците. САЩ продължават да бъдат лидер в сферата, но и Европейският съюз не иска да изостава в тази технологична надпревара. От една страна, през 2024 г. видяхме големи инвестиции в технологичните компании в Европа. От друга страна обаче, станахме свидетели на приемането на първите общоевропейски регулации на ИИ. В ЕС те са най-строгите, ако ги сравняваме с въведените в САЩ и Китай. Налагането на правила в тази сфера със сигурност е необходимо, но и прекалената регулация може да изиграе лоша шега на европейската ИИ индустрия, тъй като е възможно да стопира – или поне да забави – развитието на иновацията със създаването на бюрократични пречки.

Великобритания също не иска да изостава в тази надпревара. Преди броени дни премиерът на Обединеното кралство Киър Стармър направи изявление, посветено на ИИ. Стармър каза, че технологията вече е част от днешната реалност и че той иска неговата държава да е начело на новата технологична революция, която вече е в ход по света.

Старият страх от новите технологии

Всяко ново изобретение първоначално буди страх и неразбиране. Така е било с радиото в началото на неговото развитие. Някои са смятали, че децата няма да могат да заспят след слушането на радиопредавания и ще сънуват кошмари. Известно е, че изобретяването на телефона също е предизвикало много бурни реакции. Има исторически свидетелства, че мнозина са смятали телефонните линии за проводници на зли духове. Класикът на българската литература Иван Вазов получил като подарък един от първите телефони в България, но отказвал да го използва.

Изкуственият интелект буди сериозни притеснения сред хората. Мнозина смятат, че ще загубят работните си места, че децата ще затъпеят и няма да искат да мислят сами, а програмите за генериране на съдържание ще убият креативността като цяло.

Много учени отбелязват, че ИИ е поредният инструмент, който може да се използва както за добро, така и за лошо. Както казва Лин У от Университета в Пенсилвания (САЩ), трябва да си дадем сметка в какво са добри хората, в какво – машините и как те могат да работят заедно, за да постигнат по-добри резултати. Тя също така смята, че ако човек е добър в дадена сфера и използва ИИ, може да стане само по-ефективен. Но ако не е добър в работата си и залага изцяло на алгоритмите, това може да му попречи сериозно. Винаги трябва критично да се отнасяме към резултатите, получени с помощта на ИИ, защото технологията не е безупречна и вероятно никога няма да бъде. Затова критичното мислене и медийната грамотност са ключови за минимизиране на рисковете, свързани с ИИ.

България и киберсигурността: Готови ли сме за предизвикателствата на XXI век? 

Post Syndicated from Йоанна Елми original https://toest.bg/delyan-delchev-interview-cybersecurity/

Няколко дни след началото на руската инвазия в Украйна министърът на електронното управление Божидар Божанов обяви, че съвместно с ГДБОП са предприети действия за „филтриране или преустановяване на трафика от над 45 000 интернет адреса, от които са извършвани опити за зловредна намеса в електронни системи“. Същевременно от януари насам са осъществени редица кибератаки срещу Украйна, като мишени са от държавни институции до банки. Много от тези атаки са приписвани на Русия. Вземайки предвид активната информационна война в България и геополитическите интереси на Русия в региона, Йоанна Елми разговаря с Делян Делчев – телекомуникационен инженер и експерт по информационни технологии с познания и опит в сферата на киберсигурността. 


Г-н Делчев, често говорим за „хибридна война“, за която имаше предупреждения и във връзка с инвазията в Украйна. Струва ми се обаче, че има разминаване в схващането на термина. Какво да разбират читателите под този етикет? 

По принцип терминът означава динамично и/или едновременно комбиниране на конвенционални и неконвенционални военни действия, дипломация и кибервойна, в т.ч. и информационна (или както си я наричахме ние – пропаганда). Но подобно на други термини, с времето оригиналният смисъл се загубва и днес по-скоро имаме предвид основно електронната пропаганда, понякога подпомагана от хакерство, търсещо сензация.

Може ли да кажем грубо, че хибридната война включва два елемента: комуникационен, например пропаганда, и технически – кибератаки срещу ключова инфраструктура? 

Да. Но обръщам внимание, че това, с което асоциираме термина в последно време, е предимно пропагандата по интернет, а всички други съпътстващи действия по-скоро целят нейното подпомагане.

Съществуват ли кибератаки, които са особено популярни? Какви са практиките? 

Светът на хакерството е интересен и много по-различен от това, което виждате по телевизията. Доминиращото количество хора, занимаващи се с тези дейности, не са войници, професионалисти или пък гении. Това са най-обикновени хора, например тийнейджъри, събрани в малки приятелски банди, които пробват неща, за които са прочели тук и там, в повечето случаи – без да ги разбират в дълбочина. Те се радват на тръпката от потенциален успех, дори той да е малък, на емоцията да правиш нещо забранено, да получиш същия адреналин като при екстремните спортове.

Има всякакви хора – някои са мотивирани и от възможностите за малки или големи печалби или просто за събиране на информация, която те си мислят, че може да е тайна – да разкрият нещо ново, някоя голяма конспирация. И тези хора са напълно случайно разпръснати по света и са удивително много. Само в Китай има милиони тийнейджъри (т.нар. script kiddies), които отварят за първи път някоя книжка или по-скоро онлайн хакерски документ и веднага искат да си пробват късмета, да видят какво ще стане. Паралелно има и неструктуриран черен пазар: малките банди си взаимодействат и си помагат с услуги, скриптове, достъп, поръчки, плащат си с пари, (крадени) стоки, услуги, програмен код, ресурси и криптовалута. Където има хора и търсене, има и пари, и награди.

Държавните „киберармии“ всъщност се възползват от тези хакери и големия им брой. Те им спускат поръчки чрез подставени лица, посредници или приятели и съответно ги награждават, ако някъде постигнат успех. Същото правят и обикновени престъпници, частни фирми, детективи и какви ли не други. Ако използваме аналогия от спагети уестърните: обявена е парична награда за главата на някого и всички ловци на глави се втурват да се пробват. Няма никакви гаранции за успех, а заниманието е времеемко, защото реалността не е като по телевизията – идва хакер, оплаква се от нещо, после трака пет секунди на клавиатурата и казва: „Вътре съм.“ В реалния живот дори малки пробиви може да отнемат години и се правят на малки стъпки. Затова и когато бъдат разкрити, пораженията са вече големи, защото пробивът може да не е бил от вчера, а да е отворена порта с години.

Тъй като повечето хакери не разбират занаята в дълбочина, често някои държави или фирми, които са специализирани в областта на сигурността и разполагат с интелигентни и способни ресурси, предоставят готови инструменти, непознати хакове или вътрешна информация на хакерските банди. Понякога дори начеват процеса и подготвят обстановката, а после оставят хакерите да довършат нещата. Хакерите са, един вид, мулета и дори някой да ги уличи, директната връзка с поръчителя е много трудна.

А има ли специфичен почерк според държавата, извършваща кибератака?

Индивидуалните банди се специализират в различни направления – във флууд (от англ. flood, „наводняване“– претоварване на интернет връзки, което води например до блокиране на достъпа до уебсайтове); сриване на ресурси, затрудняване на работоспособността на инфраструктури; хакване, вземане на контрол; създаване и събиране на бот мрежи (които после се ползват за прикриване на хакове и флууд)*; кражби на идентификация, пароли, лична информация, данни за кредитни карти и за криптовалути; рансъмуер (зловреден софтуер, който криптира информацията на заразения компютър и изнудва потребителя да му плати откуп, за да получи ключ за дешифриране) и т.н.

Трудно е от пръв поглед да се каже кой какъв е и дали поведението му е самопородено от хаоса, или има частен интерес, или някой му дърпа конците и го е мотивирал, без значение дали това е станало знайно, или незнайно за извършителя. Но светът е малък и има модели на поведение, които са специфичен стил на различните групи и мотиватори. Има и много улики. В действителност в интернет нищо не е наистина анонимно. Така чрез различни техники може да се идентифицира кой кой е и дали е под влиянието на поръчители от една или друга държава. Киберсигурността се развива и на обикновените хакери им е все по-трудно да откриват нови слаби звена. Това го могат основно хора, които имат познания, специфичен достъп до информация (например сорскод на WindowsMicrosoft го предоставя под различни програми на няколко държави, сред които са и Русия, и Китай), разузнаване, възможности за събиране и мотивиране на съмишленици или помагачи, работещи в различни компании.

В скандала Solarwinds например пакетът от хакове съдържаше инструмент с компонент, написан от хакерите, но подписан така, сякаш идва от Microsoft. Този компонент води до лесното и невидимо инсталиране на код, който позволява отдалечено управление на Windows. Това не може да бъде направено от обикновени хакери, тези ключове и процесът по подписването с тях трябва да са тайна. От Microsoft и досега изследват как хакерите са направили пробива. Съвсем вероятно е да е станало по описания по-горе начин – през програмите, по които Microsoft работи директно с някои правителства, и е сериозен сигнал за правителствено участие. Хакерските банди нямат тези възможности, а дори да ги имаха, всичко това щеше да се появи публично и светът щеше да е залят с подобни подписани компоненти. Сега обаче същите инструменти и ключ ненадейно се появиха в няколко хакерски кампании за изземване на украински ИТ системи, което очевидно уличава руски правителствени интереси.

Китайските държавни хакери, както и американските, и руските, имат своя колекция от хакерски инструменти, които разработват тайно, не са публични, но понякога биват предоставени на близки банди (някои често съдействат на всички служби, държави или частни компании едновременно). Така и по инструментите може да се познае кой стои зад атаката. Или по наградите. Или по „мулетата“. Или по начина на плащане. Или дори по пропагандните изрази, които използват (и които издават с кого си комуникират). Макар хаотичните банди да стоят на преден план, отзад понякога се виждат сенките на по-сериозни професионалисти и организатори на кампании. Все още обаче над 99% от кибератаките са изцяло хаотични и не са свързани с държавни „киберармии“.

Как се наказват кибератаките? Съществува ли в света ефективно разработена рамка, която да ги третира като престъпления?

Има опити, но не мисля, че са ефективни. Проблемът е, че обикновено се наказват тийнейджъри, които са на практика невинни или пък малолетни и неопитни както в живота, така и в това, което правят, и всъщност заради това ги хващат. В огромната си част по-опитните хакери или пък техните поръчители, ако има такива, си остават недосегаеми. Не мисля, че е възможно при тази „екосистема“ въобще да има начин да изхвърлим мръсната вода, без да изхвърлим и бебето. Обществените реакции ще са тежки. Затова ако нещо се прави по темата, е епизодично и според мен никой не се опитва сериозно да се занимава с наказания, поне в свободния свят.

Друг проблем е, че видимите хакери са често разпръснати между много държави и просто няма как да хванеш един и после чрез него да намериш и хванеш друг, а чрез него – трети, без подкрепата на тези държави. А това е трудно и понякога невъзможно. Ето защо и никой не иска да прави нещо наистина сериозно и масово, когато не става въпрос за финансови престъпления. От известно време съответните полицейски служби се опитват – под предлог за борба с детската порнография – да разработят по-координирана комуникация между различни държави и често правят масови транснационални кампании. Създадената инфраструктура автоматично впоследствие може да се използва за всякакви киберпрестъпления – от най-големите до примерно нарушаване на авторски права (изтеглили сте някакъв филм от интернет). Но засега тази координация е в процес на подготовка и се фокусира върху детската порнография като общо безспорно припознат проблем от службите.

За мен това, че има куп младежи, които искат да се научат „на хакерство“, не е проблем. Така се натрупва познание. Ако някой хакер е намерил как да влезе в пощата или сървъра ви, не е чак такава беда в повечето случаи, защото загубите са най-често малки. Може да се възползвате от това, за да се учите да се пазите по-добре. Защото ако хакери, които не са държавно спонсорирани, могат да пробият системите ви, то държавно спонсорираните вероятно отдавна се разхождат там необезпокоявано.

Образът на руския хакер е почти фикционален, като на филм. В действителност има ли Русия особена роля в сферата на кибератаките? 

Има, но не и по този романтичен начин, по който повечето хора си го представят. „Руските хакери“ всъщност са всякакви хакери, с всякаква националност. Има немалко българи сред тях например. Има и американци, китайци, западноевропейци, какви ли не. И тези хора нямат задължително идеология, нито правят това от любов към Путин; мнозина дори не знаят, че са спонсорирани от Москва чрез посредници. Просто техните банди, приятелски кръгове и контакти ги поставят в позиция да получават, понякога през десетки посредници, възможности за поръчки, които са спуснати от руски поръчители или са в техен интерес.

За разлика от САЩ, които като цяло избягват да използват бандите (с малки изключения) и имат голям собствен и невидим ресурс, напълно отделен от хакерската общност, Русия е много по-прагматична и грубо казано, излиза на свободния пазар. Така тя разчита и на по-нискоквалифицирани хакери, които съответно повече се излагат и биват хващани, защото използват по-видими и груби подходи. Спокойно можем да определим руската практика като „слон в стъкларски магазин“. Но това работи за тях, защото те се радват на пропагандния ефект и на името, което си създават. Тази практика е и по-евтина и по-лесна, тъй като не се налага обучение на хора, нито създаване и развиване на специални държавни структури със специфично познание.

Но тук-там се виждат и по-прецизни руски изпълнения с директно въвличане на по-интелигентни участници от масовите хакери. Solarwinds, както и двете последни кампании в Украйна са добри примери и много служби осъзнаха, че Русия също започва да натрупва и такъв потенциал.

Показаха ли нагледно случаи като теча в НАП, че България е неподготвена в сферата на киберсигурността? Обществеността не се трогна много от изтичането на данни – защо? И как трябва да се обясни на хората, че проблемът ги засяга лично? 

Първо, повечето от хакванията, за които съм чул, че се случват в България, и по-специално това в НАП, са породени от небрежност и вероятно от незаинтересованост, често граничеща с глупост. Но основният проблем на България е, че работим след събитията – чакаме нещо да се случи, за да действаме. После работим на парче, докато следващото събитие не дойде да ни накара да действаме отново. Киберсигурността постоянно се променя. С единични действия не може да се постигне нищо. Трябва постоянно да следиш и да реагираш на това, което става или за което чуваш като възможни рискове в други държави. Дори хипотетично в момента да имаш най-добрата защита на света, след няколко месеца вече няма да е така. Държавата трябва да има процедури (а не само стратегии) и тези процедури активно да се изпълняват, а на киберсигурността трябва да се гледа много сериозно.

Усещането ми е, че киберхигиената в държавните ни институции не е на ниво и едва ли не още сричаме азбуката. Смешно е да слушаме изказвания как в НАП са си мислили, че имали сигурност, защото са минали обучение и са направили опит да се сертифицират по ISO27000. Както видяхме, това не е помогнало. Смешно е също някои други институции да си мислят, че като криптират нещо, то автоматично става защитено.

Разглеждайки внимателно как е разработвано хакването на някои от финансовите и държавните институции в Украйна, ще видим, че ако сме били ние на мушка, нито една от простите ни представи как да бъдем или да се чувстваме защитени, не би ни предпазила. Има големи разлики в изграждането на хигиена в киберсигурността на индивидуално или корпоративно ниво и на ниво държава, държавни институции и организации от сферата на сигурността. Ние засега се опитваме да покрием поне корпоративните стандарти – и дори в това нямаме големи успехи.

Гражданите няма как да следят какви пробиви се появяват в киберсигурността, нито пък ще се занимават постоянно с поддържането на киберхигиена, ако тя е трудна и неразбираема. Всяко нещо, което ти създава дискомфорт, скоро бива игнорирано, все едно никога не го е имало. Класически пример за това са изискванията за много сложни пароли – на пръв поглед трябва да се минимизира рискът някой хакер да ги познае, но пък така потребителят е принуден или да използва една и съща парола навсякъде, или да си ги записва и евентуално да ги оставя на публични места. Така вместо да се подобри сигурността с това правило, всъщност тя спада, както показва статистиката.

Киберсигурността трябва да се възприема сериозно отгоре надолу в държавата, а не обратното, от гражданите към властта. Решенията и процесите трябва да са прости и органични, в най-добрия случай невидими за крайните потребители, да не им пречат, и така всичко ще бъде разумно ефективно, дори да не е перфектно. Хората трябва да знаят, че никога нищо в киберсигурността не е перфектно, но може да е достатъчно добро, за да минимизира рисковете и експозицията. За пример: ако в НАП спазваха поне основните принципи на GPDR за съхраняване на личните данни, уязвимостта нямаше да е толкова голяма. Дали дори сега в НАП ги спазват? Или си мислят, че ако не публикуват бекъпите си в интернет достъпни сървъри, те ще са защитени? Предвид наблюдаваното напоследък, това е много измамно усещане.

А по въпроса как киберсигурността ни засяга лично: представете си, че всички електронни блага, които имате днес – банкови карти, пари, интернет, смартфони, лична информация, усещане за личен живот, – може да се загубят и/или да ги получи някой друг, а вие бъдете пренесен, метафорично казано, обратно в 70-те като ниво на комуникация. Ако тази мисъл ви създава дискомфорт, значи трябва да се отнасяте сериозно към киберхигиената си.

Мрежи от ботове се създават, като чрез вирус или по друг начин се заразят множество компютри, на които след това се инсталира софтуер (бот). Когато е нужно да се извърши атака, контролиращият мрежата активира тези ботове отдалечено и те започват координирано да атакуват конкретни сървъри. Така изглежда, че атаката идва от множество компютри по целия свят и е трудна за овладяване, а истинският извършител остава скрит зад своята армия от ботове. – Б.р.
Заглавна снимка: Michael Geiger / Unsplash

Източник

От местопрестъплението: Facebook

Post Syndicated from Йовко Ламбрев original https://toest.bg/csi-facebook/

Когато в началото на март 2020 г. се установихме по домовете си и (които можaхме) заработихме оттам, първите ни разговори с колеги и клиенти се въртяха около това дали науката е способна бързо да намери ваксина срещу COVID-19 и най-вече дали регулаторите ще бъдат достатъчно бързи с одобрението ѝ. За да можем да си върнем нормалния живот и ежедневие. Никога не бих допуснал, че голяма част от същите тези хора днес още няма да са ваксинирани, а с някои от тях ще спорим ожесточено по темата. Какво се случи през тази година и половина?

Със сигурност локалният контекст е важен. Генерализациите не са полезни, но е трудно да се обори наблюдението, че българите сме недоверчиви по природа. Изчакваме първо някой да похвали нещо, преди да си го купим, или съседите да пробват нов продукт или услуга, преди да се решим да тестваме сами. Вярно е също и че институциите ни не заслужават доверие, а управлението на кризата стартира повоенному – с генералски униформи, заплахи и овикване вместо с научни аргументи и човешки обяснения. Всичко това няма как да не е част от причините за най-ниското ниво на ваксинирани у нас. Но дали е само това?

Всъщност антивакс пропагандата онлайн е поредното проявление на проблем, който пуска все по-дълбоки корени сред обществата ни – по целия свят.

Същият проблем, който направи възможен Брекзит и докара на власт опасен палячо като Доналд Тръмп. Технологиите ни свързват повече от всякога, но донесоха едни от най-ужасните противопоставяния в най-новата история на човечеството.

Брекзит стана факт след минимално числено превъзходство на гласовете за напускане на ЕС, в референдум, който в значителна степен бе манипулиран чрез лъжи и дезинформация в социалните мрежи и най-вече във Facebook. Механизмите вече са до болка известни – набелязване на група колебаещи се гласоподаватели, които биват облъчвани с реклами и съдържание, обострящо техните лични страхове или чувствителност по определени теми. И тъй като няма контролен механизъм какво съдържание вижда всеки на стената си и то е индивидуално подбрано за него, няма как дори това да бъде впоследствие разследвано, оборено или съпоставено с друго.

Технологията, експлоатирана до крайност, е в състояние да създаде в главата на един човек паралелна реалност, която няма допирни точки с тази в главите на останалите. Така британците започнаха да се страхуват от бежанци и имигранти дори където ги няма. Или че Турция ще стане част от ЕС, въпреки че дори не се полагат усилия за това.

Но не са само лъжите. Социалните мрежи и платформи се превърнаха в рупор на страх, омраза и разделение. Срещу заплащане. Без никакъв контрол върху произхода на средствата, източника на дезинформация или дори яснота кой е поръчителят, доколкото той може да се скрие зад друга компания или посредник.

По-лошото е, че невинаги виждаме лъжите, на които са подложени другите, защото често не сме таргетирани.

Виждаме малка част от мащаба, който е далеч по-голям от всичко, което можем да допуснем или да си представим. Същият модел и техники бяха приложени и при избирането на Тръмп за президент на САЩ. Иронично, не без помощта и на други създадени в името на демокрацията и свободното слово проекти – като WikiLeaks. Същото се случва и с пропагандата срещу ваксините. Уви, за част от разпространението ѝ този път дори не се заплаща, защото радикализацията на хората по темата спомага за автозахранването ѝ със съдържание. Днес, благодарение на технологичните гиганти, страх и омраза се леят из интернет напълно безнаказано. А в контекста на отричане на рисковете от COVID-19 и ползите от ваксините това вече пряко причинява смърт.

Живеем в глобален онлайн експеримент, в който сме се самопоставили в ролята на лабораторни мишки, докато съпреживяваме разпада на демокрациите си. След повече от век избирателно законодателство и изстрадани права в световен план всичко това се разрушава от технологиите. Без съпротива от наша страна.

Оказва се, че правителствата са неспособни да контролират адекватно транснационални корпорации.

Отделна е темата дали наистина имат желание да го направят. Бунтът трудно ще започне от потребителите, докато те бавно биват сварявани като жаби в яхнията на дезинформацията. Провалът ни е свързан с приемането на демокрацията за даденост и недостатъчното гражданско образование в посока хуманитаризъм. Нужно е спешно загърбване на индивидуализма, в който бяха възпитани поне три поредни поколения, и поне малко завръщане на мисълта за общото и за принадлежността ни (и в тази връзка ангажиментите ни) като част от него. Нужни са усилия и за завръщане на авторитета на науката. А това няма как да стане, ако непрекъснато противопоставяме на научните факти псевдонаучни концепции и даваме думата на опиянени от себелюбие и жадни за внимание псевдоавторитети, борещи се за лидерство върху някакво мнение.

Разпространението на псевдонаука и лъжи, безплатно или платено с пари с неясен произход, няма нищо общо с демокрацията или свободата на словото. Това е саботаж, подривна дейност. Оръжие в тиха война с драматични последствия. Защото най-страшното не е, че Тръмп спечели президентските избори през 2017 г. или че Великобритания напусна ЕС.

Главният въпрос пред нас е как да съхраним обществения си договор.

Ще можем ли някога отново да проведем честни и свободни избори изобщо? Ще можем ли да върнем доверието помежду си? Ще имаме ли отново свободни медии извън хватката на платформите? Ще оцелеем ли?

Време е за осъзнаване и съпротива. Не можем да си позволим да оставим социалните мрежи да бъдат основният източник на новини и информация на хората. Време е да изискваме поемане на адекватна отговорност, когато се окаже, че технологичните гиганти влияят на установените механизми на демокрацията и посредничат за разрухата на обществата ни. Защото докато си споделяме снимки на котенца, покълналите плевели ще превземат всичко, ако не бъдат изкоренени.

Заглавна снимка: Annie Spratt / Unsplash

Източник