Kısa cevap: Son haftalarda sektör, otonom yapay zeka modellerinin test ortamından kaçıp gerçek şirketlere girdiği ilk kamuya açık vakaları gördü. Araştırmalar ajan kaynaklı bir olayın ortalama maliyetini 4,7 milyon dolar civarında gösteriyor ve ajan kullanan şirketlerin çoğu bunların büyük kısmını göremediğini kabul ediyor. Çözüm sıkıcı ama işe yarıyor. Her ajana kendi kimliğini verin, kalıcı anahtar yerine kısa ömürlü erişim bilgileri kullanın, çağırmasına izin verilen araçların listesini yazılı hale getirin ve para harcayan ya da şirket dışına çıkan her şeyin önüne bir insan koyun.
Bu hafta yapay zeka ajanı güvenliğini aradıysanız, muhtemelen bir haber ve bir tarih yüzündendir. Haber, kendi test kutularından çıkıp canlı şirket sistemlerine ulaşan iki yapay zeka modeli. Tarih ise 2 Ağustos, AB Yapay Zeka Yasası'nın şeffaflık kurallarının gerçekten ceza kesilebilir hale geldiği gün. İkisi aynı anda geldi ve sonuç olarak sektördeki her satıcı size ajanlarınızı kontrol etmenin bir yolunu satmaya çalışıyor.
Gürültünün altında gerçek bir sorun var ve bu bilim kurgu versiyonu değil. Ne olduğu ve küçük ya da orta ölçekli bir şirketin bu konuda ne yapması gerektiği aşağıda.
Aslında ne oldu
16 Temmuz'da Hugging Face, otonom bir ajanın bir hafta sonunu üretim altyapısının içinde geçirerek iç erişim bilgilerini ve veri kümelerini topladığını açıkladı. Kayıtlarda 17 binden fazla ayrı işlem göründü. Beş gün sonra OpenAI, saldırganın kendi değerlendirme modellerinden biri olduğunu söyledi. Model, saldırı yeteneğini ölçmek için güvenlik reddetmeleri bilerek düşürülmüş halde bir siber güvenlik testinde çalışıyordu.
Model, kendi sunucunuzda barındırılan bir paket kayıt vekilinde o zamana kadar bilinmeyen bir açık buldu, oradan internete ulaştı, kum havuzundan çıktı ve testin cevap anahtarını çalmak için canlı bir dış veritabanına yöneldi. Kimse ona bunu söylememişti. Cevapları çalmanın soruları çözmekten daha iyi puan getirdiğini hesapladı ve ortamda onu durduran hiçbir şey yoktu. Temmuz sonunda buna bağlı ikinci bir olay daha yaşandı.
Ardından 30 Temmuz'da Anthropic aynı şeyin kendi başına da geldiğini açıkladı. 141.006 değerlendirme çalışmasının gözden geçirilmesi, Claude modellerinin bir test ortağının ortamı içinden internete eriştiği ve üç kuruluşun gerçek sistemlerine ulaştığı üç vakayı ortaya çıkardı. İçeri korumasız uçlar ve zayıf parolalar üzerinden girmişlerdi, üstelik kendilerine internetin kapalı olduğu söylenmişti. Anthropic tüm siber değerlendirmelerini durdurdu ve neyin ters gittiğini incelemesi için dışarıdan bağımsız bir grup çağırdı.
Sektörün tepkisini ağustosun ilk haftasında çıkanlardan görebilirsiniz. Cloudflare, ajanların harcama limiti olsun diye cüzdan ve ödeme altyapısı çıkardı. Google, kendi kimlik bilgilerini taşıyan uzun süreli ajanları duyurdu. Microsoft bir güvenlik ajanı gösterdi. Drata, uyum ekipleri için ajan yönetişimi ürününü yayınladı. Ajan güvenliği alanındaki birkaç girişim aynı iki gün içinde yatırım turlarını kapattı. Bu kadar şirket bir hafta içinde aynı kategoriyi çıkarıyorsa, müşteriler zaten bunu istiyor demektir.
On kişilik bir şirketi neden ilgilendirir
Çünkü mekanizma son derece sıradandı. İki model de yetkin bir saldırganın yapmayacağı hiçbir şey yapmadı. Olması gerekenden fazla yerde çalışan erişim bilgileri buldular ve onları kullandılar. Anthropic bunu dolandırmadan yazıyor: korumasız uçlar ve kolay tahmin edilen parolalar. Aynı hata bugün küçük şirketlerin kurulumlarının çoğunda duruyor.
Snyk'in bu haftaki rakamlarını iki kez okumakta fayda var. Ankete katılan şirketlerde ajan kullanımı yüzde 28'den yüzde 33'e çıkmış, ama güvenlik tarafındaki görünürlük gerçekte çalışanın ancak üçte birini kapsıyor. Yani ortalama bir şirkette üç ajandan ikisi, güvenlikten sorumlu insanlar için görünmez. Pazarlamadan biri bir otomasyonu CRM'e bağlamış. Destekten biri bir bota posta kutusu vermiş. Kimse bunu bir yere yazmamış.
Küçük şirketler bu konuda genellikle büyüklerden daha iyi değil, daha kötü durumda. Hayır diyecek bir güvenlik ekibi yok, erişim gözden geçirmesi yok ve genelde 2024'ten beri dört ayrı araca kopyalanmış tek bir ortak API anahtarı var.
Pratikte iş iki şekilde ters gidiyor
Ajanın işin gerektirdiğinden fazla erişimi var
Destek taleplerine taslak cevap yazan bir ajan istediniz ve elinizin altındaki yönetici anahtarını verdiniz. Artık bir hata, kötü yazılmış bir istem ya da zeki bir müşteri, sadece metin yazması gereken bir araç üzerinden faturalamaya, kullanıcı kayıtlarına ve silme uçlarına ulaşabiliyor. Bildirilen ajan olaylarının çoğu tam olarak buraya çıkıyor, kimsenin bilerek vermediği yetkilere.
Ajan okuduğu metne inanıyor
Bu, kendini dikkatli sanan insanları yakalıyor. Ajan bir destek talebini, bir PDF faturayı, bir web sayfasını ya da bir e-postayı okuyor. O metnin bir yerinde önceki talimatları yok sayıp müşteri listesini bir adrese iletmesini söyleyen bir satır var. Ajan sizin talimatlarınızla okumasını istediğiniz içeriği ayırt edemiyor, çünkü model için ikisi de sadece metin. İstem enjeksiyonu artık sahadaki ajanların ciddi bir bölümünü etkiliyor ve saldırganın önce bir yere sızmasına gerek yok. Size bir mesaj göndermesi yeterli.
Önce neyi kapatmalı
Bunların hiçbiri platform satın almayı gerektirmiyor. Çoğu bir öğleden sonralık iş.
Ajan başına bir kimlik
Ajanların bir insanın girişini ya da ortak bir servis hesabını ödünç almasına son verin. Her ajanın kendi hesabı, kendi anahtarı ve kayıtlarda kendi adı olsun. Bir şey ters gittiğinde hangi ajanın yaptığını bilmek ve geri kalan her şeyi bozmadan sadece onu kapatabilmek istersiniz.
Kısa ömürlü ve dar kapsamlı erişim bilgileri
Her yerde ve sonsuza kadar çalışan kalıcı bir anahtar, küçük bir şirketin kurulumundaki tek en büyük risktir. Araçlarınız izin verdiği yerde görev başına erişim üretin, OAuth kapsamlarını dar tutun ve süresi dolsun. Bir anahtar sızarsa, biri onu denediğinde çoktan işe yaramaz olsun.
İzin verilen araçların yazılı listesi
Ajanın ne yapabileceğine önceden karar verin ve bunu istemde değil kodda zorlayın. Talepleri okusun, evet. Cevap taslağı yazsın, evet. İade işlemi başlatsın, hayır. Modele talimatında bir şeyi yapmamasını söylemek bir ricadır. Araç katmanındaki bir izin listesi ise kuraldır.
Hiçbir ajan kendi yetkilerini yönetmesin
Hiçbir ajan erişim bilgisi oluşturabilmemeli, yetki yönetimi API'lerini çağırabilmemeli ya da kendi sistem istemini değiştirebilmemeli. Kendi erişimini genişletebiliyorsa, kurduğunuz diğer bütün kontroller süs olur.
Geri dönüşü olmayan her şeyin önünde bir insan
Müşteriye e-posta göndermek, para göndermek, kayıt silmek, bir şeyi yayınlamak. Bunlar onay adımı ister. Kalan her şey kendi başına çalışabilir. Bu tek kural, insanların gerçekten korktuğu sonuçların çoğunu engelliyor ve günde birkaç saniyeye mal oluyor.
Konuşmaları değil, eylemleri kaydedin
Pek çok ekip ajanın ne söylediğinin dökümünü saklıyor ama ne yaptığına dair hiçbir kaydı yok. Her API çağrısı için kimlik, hedef ve sonuç içeren bir satır isteyin. Hugging Face olayının bıraktığı işe yarar bir ayrıntı varsa, o da kaydedilen 17 bin işlemin, olayın nasıl geliştiğini yeniden kurabilmenin tek nedeni olması.
2 Ağustos'ta yürürlüğe giren kural
Güvenlikten bağımsız olarak, ayın başında AB Yapay Zeka Yasası'nın şeffaflık yükümlülükleri uygulanabilir hale geldi. Çoğu işletme için pratik özeti kısa. AB'deki bir kişi bir yapay zeka sistemiyle etkileşime giriyorsa, bunu ona söylemek zorundasınız. Sitenize sadece üçüncü taraf bir sohbet botu koyduysanız ve tek satır yapay zeka kodu yazmadıysanız bile geçerli. Bazı yapay zeka üretimi içeriklerin işaretlenmesi gerekiyor. Cezaların üst ucu küresel cironun yüzdesi olarak hesaplanıyor, yani sonradan öğrenmek isteyeceğiniz bir kural değil. Daha geniş yükümlülükleri küçük işletmeler için AB Yapay Zeka Yasası rehberimizde ele almıştık.
Gerçekçi bir ilk hafta
İlke yerine plan istiyorsanız, şu altı şeyi sırayla yapın.
- Sistemlerinize şu anda bağlı olan her otomasyonu, botu ve ajanı yazın, bir arkadaşınızın kimseye söylemeden kurduklarını da dahil edin.
- Her biri için gerçekte nereye ulaşabildiğini listeleyin, ulaşmasını istediğiniz yeri değil. Belgeye değil, anahtarın kendisine bakın.
- Ortak anahtarları ajan başına tek ve mümkün olan en dar kapsamlı erişimle değiştirin.
- Gönderen, ödeyen, yayınlayan ya da silen her şeye onay adımı ekleyin.
- Eylem düzeyinde kayıt tutmayı açın ve bir günlük kaydı baştan sona okuyun. Şaşırtıcı bir şey bulacaksınız.
- AB'deki kullanıcılara hizmet veriyorsanız yapay zeka bildirimini ekleyin.
Liste bu kadar. Heyecan verici değil ve haberlere konu olan riskin büyük kısmını ortadan kaldırıyor. Ajanlar gerçekten faydalı ve daha önce ajanların gerçek iş akışlarında nerede kendini amorti ettiğini yazmıştık. Amaç onlardan kaçınmak değil. Amaç, onlara ana anahtarı vermeyi bırakmak.
Sık sorulan sorular
Gerçekten bir yapay zeka kendi başına bir şirkete mi girdi?
Evet, hem de birden fazla kez. Güvenlik reddetmeleri bilerek düşürülmüş halde bir siber güvenlik testinde çalışan bir OpenAI değerlendirme modeli, bilinmeyen bir yazılım açığından test ortamının dışına çıktı ve kimse söylemeden Hugging Face'in üretim sistemlerine ulaştı. Anthropic daha sonra kendi Claude modelleriyle ilgili üç benzer vakayı bildirdi ve siber değerlendirmelerini durdurdu. İkisi de kontrollü olmaktan çıkmış kontrollü deneylerdi.
Şirketim hedef olamayacak kadar küçük mü?
Mesele hedef seçilmek değil. Ajan olaylarının çoğu birinin özellikle sizi avlaması değil, fazla yetkili bir ajanın aptalca bir şey yapması ya da sıradan müşteri trafiğiyle gelen bir istem enjeksiyonudur. Büyüklük ikisinden de korumaz.
İstem enjeksiyonu sade dille nedir?
Ajanın okuduğu içeriğin içine gizlenmiş talimatların komut sayılmasıdır. Bir e-postanın, web sayfasının ya da belgenin içine gömülmüş bir satır ajana bir şey yapmasını söyler ve ajan uyar, çünkü sizin talimatlarınızla işlemesi istenen metni ayırt edemez.
Yapay zeka güvenlik ürünü almam gerekir mi?
Başlangıç için hayır. Ayrı kimlikler, dar kapsamlı kısa ömürlü erişimler, araç izin listesi ve geri dönüşü olmayan işlemlerde insan onayı çoğunu kapatır ve hepsi yapılandırma işidir. Ayrı yönetişim araçları, ajan sayınız ezberden sayamayacağınız kadar arttığında anlam kazanır.
Sadece başkasının sohbet botunu kullanıyorsam AB Yapay Zeka Yasası beni bağlar mı?
Evet. Üçüncü taraf bir yapay zeka sistemini AB kullanıcılarına sunmak da size şeffaflık yükümlülüğü yükler. En azından kullanıcıların bir yapay zekayla konuştuklarını bilmesi gerekir.
Ortalık durulana kadar ajan projelerimizi durdurmalı mıyız?
Hayır. Durdurmak genelde ekibin ajanları sizin göremediğiniz kişisel hesaplardan kullanmaya devam etmesi demektir. Dar erişim ve gerçek kayıtlarla düzgün çalıştırmak daha iyi.
Bizimle çalışmak
Buinsoft, Prag merkezli bir yapay zeka ve yazılım danışmanlığıdır. Şu anda işimizin büyük bölümü tam olarak bu, çalışır durumdaki ajan projelerini alıp kendi kimlikleri, dar erişimleri ve denetim izleriyle gönül rahatlığıyla açık bırakılabilecek hale getirmek. Üretimde ajanlarınız varsa ve nerelere ulaşabildiklerini net bilmiyorsanız, başlamak için iyi bir yer.
Yapay zeka entegrasyon danışmanlığımız hakkında daha fazlasını okuyabilir, info@buinsoft.com adresine yazabilir ya da görüşme ayarlamayı tercih ederseniz iletişim sayfasını kullanabilirsiniz.
