Bütün məşhur süni zəka modellərini bir üsul ilə asanlıqla "sındırmaq" mümkündür
Süni İntellekt
28.04.2025
Emil Nəcəfov
Generativ süni zəka modellərinə sorğular tərtib etməyin universal texnikası olan Policy Puppetry ən böyük və ən məşhur sistemləri sındırmaq vasitəsi kimi çıxış edə bilir - bunu süni zəka təhlükəsizliyi sahəsində ixtisaslaşmış HiddenLayer şirkətinin mütəxəssisləri bildirirlər. Policy Puppetry hücum sxemi süni zəkaya sorğuların elə tərtib olunmasını nəzərdə tutur ki, böyük dil modelləri bu sorğuları davranış siyasəti kimi qəbul edirlər - əsas təlimatlar yenidən müəyyən olunur və müdafiə mexanizmləri fəaliyyətini dayandırır. Əgər cavablar kimyəvi, bioloji, radiasiya və ya nüvə təhlükələrinin yaranmasına, zorakılığa və ya istifadəçinin özünə zərər yetirməsinə səbəb ola biləcəksə bu halda generativ süni zəka modelləri istifadəçi sorğularını rədd etməyə öyrədilib.
İstifadəçiyə heç vaxt tibbi məsləhət və ya müalicə planı verməməsi tapşırılan çat-bot, Policy Puppetry üsulu ilə bu qadağadan yan keçib:
HiddenLayer şirkətinin bildirdiyinə görə, modellərin incə tənzimləmə mərhələsində tətbiq olunan möhkəmləndirilməklə öyrənmə metodu onlara heç bir halda belə materialları tərifləməyə və ya yaymağa icazə vermir - hətta istifadəçi nəzəri və ya uydurma ssenarilər təklif etsə belə. Lakin şirkət Policy Puppetry adlı hücum metodikasını işləyib hazırlayıb ki, bu da həmin müdafiə mexanizmlərini aşmağa imkan verir - bunun üçün sorğu elə tərtib edilir ki, o, siyasət sənədlərindən biri kimi görünsün: Məsələn, XML, INI və ya JSON formatında. Nəticədə nəzəri cinayətkar asanlıqla modelin sistem parametrlərini və öyrənmə mərhələsində qurulmuş bütün təhlükəsizlik mexanizmlərini aşa bilir.
Aşağıdakı cədvəl Policy Puppetry üsulunun bir çox məşhur süni zəka modellərinə qarşı effektivliyinə qısa baxış təqdim edir:
Layihə müəllifləri Policy Puppetry hücumunu Anthropic, DeepSeek, Google, Meta, Microsoft, Mistral, OpenAI və Alibaba kimi şirkətlərin ən məşhur süni zəka modelləri üzərində sınaqdan keçiriblər - hücum hamısına qarşı effektiv olub, baxmayaraq ki, bəzi hallarda cüzi düzəlişlər tələb olunub. Ekspertlərin qeyd etdiklərinə görə, əgər süni zəka modellərinin müdafiə mexanizmlərini aşmaq üçün universal üsul mövcuddursa, bu, onların qəbulolunmaz materialların verilməsinə nəzarət edə bilmədiyini göstərir və əlavə təhlükəsizlik tədbirlərinə ehtiyac olduğunu ortaya qoyur.
Mənbə: Securityweek
Linki kopyala
Bənzər xəbərlər
Oxşar xəbərlər
ABŞ Avropa Birliyindən sərt süni zəka qanunlarından imtina etməyi tələb edir
ABŞ Avropa Birliyindən sərt süni zəka qanunlarından imtina etməyi tələb edir
Avropa Birliyi süni zəka tərtibatçıları üçün alqoritmlərin şəffaflığına, risklərin azaldılmasına və müəllif hüquqlarının qorunmasına dair tələbləri sərtləşdirəcək qaydalar toplusu hazırlayır.
5 ildən sonra süni zəka superkompüterləri 9 atom reaktoru qədər enerji sərf edəcəklər
5 ildən sonra süni zəka superkompüterləri 9 atom reaktoru qədər enerji sərf edəcəklər
Tədqiqatçılar süni zəka tapşırıqları üçün istifadə olunan superkompüterlərin gücü, dəyəri və enerji istehlakının eksponensial artmaqda davam etdiyini vurğulayırlar.
Anthropic-in CEO-su: "Süni zəka üzərində etibarlı nəzarət sisteminin hazırlanmasına 5-10 il vaxt lazım olacaq"
Anthropic-in CEO-su: "Süni zəka üzərində etibarlı nəzarət sisteminin hazırlanmasına 5-10 il vaxt lazım olacaq"
Anthropic şirkətinin baş direktoru Dario Amodei xəbərdarlıq edib ki, süni zəka hələ də insanlıq üçün bir “qara qutu” olaraq qalır - biz süni zəkanın qərarları necə və niyə qəbul etdiyini tam anlamırıq.
OpenAI bazarda ən yaxşı açıq mənbəli süni zəka modelini təqdim etməyə hədəflənib
OpenAI bazarda ən yaxşı açıq mənbəli süni zəka modelini təqdim etməyə hədəflənib
Mart ayının sonuna yaxın OpenAI bu il ərzində GPT-2-dən sonra ilk açıq mənbəli koda sahib böyük dil modelini təqdim etməyi planlaşdırdığını açıqlamışdı. İndi isə şirkətin süni zəka tərtibatçıları ilə keçirdiyi sessiyalardan həmin model haqqında bəzi detalları ortaya çıxmağa başlayıb.
Yeni tədqiqat süni zəka ilə real həkimləri müqayisə edib
Yeni tədqiqat süni zəka ilə real həkimləri müqayisə edib
Osaka Universitetindən doktor Hirotaka Takita və dosent Daiju Ueda-nın rəhbərlik etdiyi tədqiqat qrupu, generativ süni zəkanın xəstəliklərin diaqnozu sahəsində həkimlərlə müqayisədə nə dərəcədə effektiv olduğunu öyrənmək üçün meta-analiz aparıb.
Həftənin xəbərləri
