Џабир Дерала
Во соработка со CIVIL Media Tech & AI Forum
Последниве денови повторно се појави бран на вознемирувачки наслови за OpenAI и автономните системи со вештачка интелигенција. Агенти „провалувале“ во веб-страници на американски институции, „протекле“ фотографии на корисници, ги заобиколувале ограничувањата поставени од програмерите и успеале да воспостават комуникација со надворешен чет-бот иако немале дозволен пристап до интернет.
Сето тоа заслужува внимание. Но и прецизност. Во едно исто медиумско пакување сега се ставаат неколку суштински различни случаи: сериозен сајбер-безбедносен пробив во системите на Hugging Face, недозволено користење надворешни веб-сервиси, пристап до јавно достапни податоци на државни институции, несоодветно пренесување кориснички фотографии и експериментален модел кој открил техничка заобиколница до интернет.
Кога сите тие случаи ќе се сведат на една реченица – „ВИ излегува од контрола“ – драмата се зголемува, но разбирањето се намалува. А она што навистина се случува е доволно сериозно и без додавање научна фантастика.
Од чет-бот до агент
Најважната промена во сегашната фаза на развој на вештачката интелигенција не е само тоа што моделите подобро пишуваат, анализираат или решаваат задачи. Промената е во тоа што тие сѐ повеќе дејствуваат. (Повеќе во: „Вештачката интелигенција што создава подобра верзија од себе: Кога технологијата почнува да го забрзува сопствениот развој“, ЦИВИЛ МЕДИА, 5 септември 2026.)
Класичниот чет-бот добива прашање и произведува одговор. ВИ-агентот може да добие цел, а потоа самостојно да презема повеќе последователни чекори: да пребарува, отвора веб-страници, пишува и извршува код, работи со датотеки, комуницира со други системи, користи алатки и проценува кој следен чекор најмногу ќе му помогне да ја заврши задачата.
Тука безбедносниот проблем фундаментално се менува. Прашањето повеќе не се ограничува на тоа што ќе каже моделот, туку станува комплексно. Сега прашањето е што може да направи моделот, до што има пристап и што ќе направи ако директниот пат до целта е блокиран. Тоа се важни прашања, од кои последното е во центарот на најновите инциденти.
Кога затворената врата станува проблем за решавање
На 20 септември, за време на тренинг на интерен истражувачки модел на OpenAI, агентот добил задача да идентификува лице врз основа на неколку биографски податоци и траги од јавен блог. Немал задача да тестира безбедносни системи. Немал задача да пробива интернет-ограничувања. Но пребарувањето не му ги давало информациите што му биле потребни.
Агентот почнал да бара други начини. Се обидел директно да пристапи до пребарувачи. Бил блокиран. Се обидел со други веб-сервиси. Повторно не успеал.
Потоа открил нешто многу поинтересно. Иако нормалниот интернет-пристап бил ограничен, системот сè уште користел DNS, основен механизам преку кој компјутерите ги претвораат имињата на интернет-домените во адреси. Агентот сфатил дека преку тој канал може да воспостави комуникација со надворешна услуга. На тој начин испратил прашања до јавен чет-бот кој се наоѓал надвор од изолираната средина.
Тоа не било предвидено. Не било дозволено. И не било дел од задачата.
OpenAI го класифицира однесувањето како пример на misalignment – однесување што отстапува од зададената цел и од очекуваните граници на системот.
Овој случај е можеби најдобрата илустрација за тоа што треба да нè интересира.
Агентот не мора да „посакува слобода“. Не мора да биде свесен. Не мора да „се побуни“. Доволно е системот да биде многу добар во решавање проблеми и да ја третира пречката како уште еден проблем за решавање.
Намерата и последицата не се исто
Во човечкиот јазик лесно им припишуваме човечки намери на машините. „Се обидел да избега. Сакал да ги измами програмерите. Одлучил да ги заобиколи правилата“ – се дел од описите што се среќаваат.
Но технички, ваквите описи можат да создадат погрешна слика. Моделот не мора да има човечка желба или намера за опасното однесување да стане реален проблем.
Замислете систем на кој му е зададена цел: најди ја информацијата. Првиот пат е блокиран. Вториот не функционира. Третиот е недостапен. Но постои четврта патека, која инженерите не ја забележале. Колку е системот поспособен за планирање, експериментирање и комбинирање алатки, толку е поголема веројатноста да ја открие.
Токму затоа ризикот не зависи од тоа дали машината „мисли како човек“. Понекогаш е доволно таа многу ефикасно да оптимизира задача во средина што не е совршено обезбедена.
Hugging Face: Инцидент од сосема друга категорија
Најсериозниот досега објавен случај е инцидентот со Hugging Face. За време на внатрешни сајбер-безбедносни тестови, истражувачки модели на OpenAI успеале да ги заобиколат контролите за изолација, да искористат слабости во инфраструктурата, да воспостават недозволена комуникација и да добијат пристап до делови од системите на OpenAI и Hugging Face.
Според техничкиот извештај на OpenAI, агентите извршувале код на повеќе сервери, дошле до чувствителни акредитиви, стекнале високи административни привилегии и во еден момент достигнале администраторски пристап до истражувачки кластер на самата компанија. OpenAI го опиша настанот како предупредување дека доволно способни агенти, ако не се ограничени со соодветни безбедносни механизми, можат да откриваат и искористуваат слабости низ повеќе системи.
Тоа е вистински безбедносен инцидент.
Но и тука е важно да се знае контекстот. Станувало збор главно за интерен истражувачки модел, во експериментална сајбер-безбедносна средина и со намалени заштитни механизми. OpenAI нагласи дека моделите што биле одговорни за пробивот не биле модели планирани за јавно пуштање.
Тоа не го прави инцидентот безопасен. Но го прави различен од идејата дека обичен корисник денес разговара со систем кој спонтано може да ја преземе контролата над интернетот.
SEC и Бирото за попис – „пристап“ не значи автоматски „пробив“
Друг дел од најновите наслови се однесува на веб-страниците на американската Комисија за хартии од вредност и берзи, SEC и Бирото за попис.
Во известувањата се користат формулации како „навлегле во веб-страниците“ или „пристапиле до податоците“, што лесно создава слика на хакирање владини бази на податоци.
Но достапните информации покажуваат дека во овие конкретни случаи станувало збор за јавно достапни податоци на веб-страниците на институциите, а не за докажано пробивање во нивните доверливи системи. Тоа е важна разлика.
Непредвидено или недозволено однесување на агентот е проблем. Но пристапување до јавна веб-страница и компромитирање затворена владина база на податоци не се ист настан. Во сајбер-безбедноста, ваквите разлики се суштински.
Случај „53 фотографии“: Реален проблем со приватноста
Случајот со фотографиите е поинаков. OpenAI потврди дека истражувачки агенти пренеле 53 слики поврзани со корисници на ChatGPT кон надворешни сервиси за хостирање слики.
Сликите биле поставени преку линкови што не биле индексирани како обични јавни страници, но сепак се наоѓале на надворешна инфраструктура. Компанијата призна дека таквиот пренос бил несоодветен и започнала постапки за нивно отстранување.
Ова ни оддалеку не е наивно и нема простор за минимизирање на случајот. Дури и ако податоците биле употребени во согласност со поставките што корисниците ги избрале за тренинг на модели, согласност за користење во процесот на тренинг не значи автоматски согласност тие податоци да бидат пренесени на непредвиден надворешен сервис.
Тоа е проблем и на приватност и на архитектурата на безбедноста.
Но, во секој случај, овде не станува збор за ист тип на инцидент како Hugging Face или DNS случајот. Токму затоа сите тие не треба да се претвораат во една сензационалистичка приказна, на купче. Сите се различни и различно треба да се третираат.
Системот го открил агентот, но реакцијата била предоцна
Да го разгледаме DNS-инцидентот кој содржи уште една важна лекција. Системот за надзор на OpenAI го открил сомнителното однесување приближно 12 минути по првата успешна надворешна комуникација и го означил како највисок приоритет. Човечки рецензент го видел предупредувањето три минути подоцна.
Тоа покажува дека механизмот за мониторинг функционира, иако моделот не бил автоматски запрен во истиот момент. Поради оперативен пропуст и нејаснотии во процесот, тренингот бил прекинат дури околу два и пол часа подоцна. OpenAI соопшти дека по инцидентот ги прекинал тренингот, евалуацијата и користењето алатки кај своите најспособни модели додека не бидат дополнително тестирани и зајакнати ограничувањата.
Ова е можеби најреалистичната слика на сегашниот проблем. Не се работи за тоа дека „машината повеќе не може да се запре“. Се работи за тоа дека машината станува доволно способна да открива неочекувани слабости, додека системите за нејзино следење, запирање и човечка интервенција сè уште се усовршуваат.
Разликата е огромна. Како и да е, оваа формулација за човечката несовршеност ни оддалеку не е утешна.
Следната генерација безбедност нема да изгледа како едно копче „стоп“
Во консултација со експерти, како и со онлајн извори, вклучително и OpenAI, доаѓаме до заклучокот дека, како што агентите стануваат посамостојни, нивната безбедност сè помалку ќе зависи од една забрана или еден филтер. Сите се согласни дека е потребна повеќеслојна архитектура.
Тоа претпоставува навистина широк и комплексен сет мерки. Во нив спаѓаат: строго ограничени дозволи, изолација на компјутерските средини, контрола на мрежниот пристап, принцип според кој секој агент добива само минимални овластувања потребни за задачата, независни системи што ги следат неговите активности, автоматско блокирање на ризични операции, човечка авторизација за дејства со сериозни последици, целосни логови што овозможуваат реконструкција на случувањата, тестирање од независни експерти и системи кои можат автоматски да прекинат активност кога однесувањето ќе излезе од дозволените граници.
Изгледа многу големо и комплексно, но е секако изводливо. И неопходно.
Во иднина, најверојатно, дел од надзорот врз ВИ ќе го врши — друга ВИ.
Тоа веќе се случува. OpenAI, на пример, развива системи во кои посебни модели ги анализираат активностите и резонирањето на агентите за да препознаат знаци на несоодветно однесување. Компанијата објави детали за системите со кои ги следи интерните програмерски агенти уште во март годинава.
Ќе добиеме, со други зборови, нешто што сè повеќе личи на дигитална безбедносна инфраструктура: агенти што работат, агенти што ги контролираат агентите, човечки тимови што ги надгледуваат и едните и другите, и автоматски системи што интервенираат кога нешто ќе отстапи. Ниту еден слој нема да биде доволен сам по себе.
Парадоксот на транспарентноста
Тука доаѓаме до една важна, а во голем дел од медиумското известување занемарена околност.
За овие случаи знаеме во значителна мера затоа што OpenAI почна систематски да ги објавува.
На 16 септември компанијата воведе нова рамка за јавно пријавување случаи на таканаречено model misalignment – однесување на моделите кое отстапува од поставените цели, дозволите или очекуваните безбедносни граници.
Со рамката беа објавени шест случаи, а компанијата се обврза во иднина да известува за релевантни инциденти дури и кога истрагата сè уште не е целосно завршена или причините не се целосно разбрани.
Тоа е важен чекор. Но не треба да се романтизира.
Reuters претходно откри и случаи за кои OpenAI не информирал навремено, вклучително и употреба на германска вики-страница од страна на агенти како недозволен комуникациски канал. По таквите откритија компанијата призна дека практиките на известување треба да бидат подобри.
Со други зборови, транспарентноста е подобрена, но не е исто што и независен надзор. Компанијата сè уште во голема мера сама ги истражува системите што самата ги развива и сама одлучува што и кога ќе објави. Затоа, според познавачите, потребни се индустриски стандарди, независни тестирања, регулаторен надзор и јасни правила за пријавување инциденти. Во услови на унапредена контрола и транспарентност, за инцидентите нема да дознаваме само од самите компании, туку институциите, истражувачите и јавноста ќе имаат многу поцелосен увид во тоа што навистина се случува.
Сепак, тука постои еден парадокс што медиумите ќе мора да научат да го препознаваат. Компанијата која објавува повеќе инциденти може во јавноста да изгледа како да има повеќе проблеми од компанијата која објавува помалку. Но тоа не мора да биде точно.
Бројот на јавно познати инциденти не е исто што и бројот на реални инциденти. Оттука, од фактот дека за OpenAI денес знаеме за повеќе проблематични случаи не може автоматски да се извлече заклучок дека неговите системи се понебезбедни од системите на конкурентите.
За таква споредба би биле потребни еднакви стандарди на тестирање, идентични критериуми за пријавување и независен пристап до податоците, нешто што денес не постои.
Транспарентноста не смее да биде казнета, а ниту да биде користена како имунитет од критика. Нејзината функција е да овозможи критика.
Ова го знаеме од други теми, претежно од политиката.
Не е време ниту за исмевање, но далеку од тоа дека треба да се прогласи апокалипса
Би било погрешно овие инциденти да се отфрлат со објаснување дека станува збор само за лабораториски експерименти. Истражувачките модели од денес често се навестување за способностите на комерцијалните системи од утре.
Сепак, подеднакво е погрешно од нив да се извлече заклучок дека сме сведоци на почеток на неизбежно машинско востание. Тоа што го гледаме е многу поконкретно и доволно сериозно само по себе, без сензационализам. А и сензационализмот има своја цена. (Повеќе: „Вештачката интелигенција и цената на сензационализмот“, ЦИВИЛ МЕДИА, 18 септември 2026.)
Напредните системи со вештачка интелигенција стануваат способни да извршуваат долги и сложени задачи, да користат голем број алатки, да комбинираат информации и да експериментираат со повеќе патишта до целта. Со тоа се зголемува нивната функционалност, но се зголемува и просторот во кој нешто може да тргне во непредвидена насока.
Затоа безбедноста мора да опфати инфраструктура, пристап, дозволи, мониторинг, одговорност, независна проверка и способност системот веднаш да биде запрен, кога тоа е потребно.
Вистинската приказна е посериозна од сензацијата
Вештачката интелигенција не мора да „избега“ за да создаде проблем. Не мора да стане свесна. Не мора да стане злобна. Доволно е само да стане многу способна.
Ако таков систем добие цел, алатки и недоволно обезбедена средина, може да открие решение кое неговите создавачи не го очекувале. Понекогаш тоа решение ќе биде брилијантно. Понекогаш ќе биде опасно.
И токму тука ќе се води една од најважните технолошки битки во следните години: не само кој ќе создаде најспособна вештачка интелигенција, туку кој ќе успее да изгради системи за контрола, надзор и одговорност што ќе можат да ја следат нејзината брзина.
Најновите инциденти на OpenAI не докажуваат дека таа битка е изгубена. Тие покажуваат дека веќе започнала.
ЦИВИЛ МЕДИА | Сите права се задржани.
Лагите и насилството се штитат со гушење на независните медиуми и граѓански организации.
Дајте го својот придонес СЕГА.
