Пишува: Ванчо Орданоски
Главен софтверски архитект, Инфопроект
Една компанија изгубила цела база на податоци откако AI алатка направила сериозна грешка и ги избришала сите информации за само неколку секунди. Алатката, базирана на моделот Claude, автоматски извршувала задачи и имала пристап до системот каде што се чуваат податоците.
Проблемот настанал затоа што AI системот погрешно „заклучил“ дека работи на тест-околина (каде што бришење на податоци не е трагична грешка), но всушност бил поврзан со вистинската, продукциска база. Бидејќи имал целосен пристап и немало дополнителна проверка пред извршување на критични команди, системот веднаш ја извршил операцијата за бришење.
Кога подоцна бил прашан зошто го направил тоа, системот објаснил дека „претпоставил дека ресурсите се дел од тест-околина и дека бришењето е безбедна операција“, односно дејствувал врз основа на погрешна интерпретација на контекстот, без да направи дополнителна проверка. Со други зборови, не станува збор за „намерна“ грешка, туку за автоматско носење одлука врз основа на недоволни или погрешно разбрани информации.
Ситуацијата станала уште полоша затоа што резервните копии (backup-и), кои обично служат како заштита во вакви случаи, биле зачувани на исто место како и оригиналните податоци. Кога AI агентот ги избришал податоците, автоматски ги отстранил и backup-ите, оставајќи ја компанијата без можност за брзо враќање.
Овој настан јасно покажува дека AI алатките не се „опасни“ сами по себе, туку ризикот доаѓа од тоа како се користат. Ако на вакви системи им се даде преголема слобода и пристап без контроли, тие можат да направат голема штета многу брзо, бидејќи работат автоматски и без пауза.
Главната поука е дека компаниите мора да воведат строги безбедносни мерки: ограничување на пристапот, дополнителни проверки пред критични операции, одделување на тест и продукциски системи и чување на backup-и на безбедни, одвоени локации. Без овие мерки, дури и мала грешка може да доведе до сериозни последици.
Ова е како што му веруваат на Палантир дека нема да гаѓа училиште полно со деца во Иран.
