Eğitimin Amacı ve Kapsamı
Prompt injection, OWASP Top 10 for LLM Applications listesinin ilk sırasındaki risktir: kullanıcı girdisi modelin talimatlarını ezerek kural dışı yanıtlar, veri sızıntısı veya yetkisiz işlemler üretebilir. Eğitim; rol yapma, encoding ve obfuscation, many-shot ve çok turlu (crescendo) jailbreak'ler ile system prompt sızdırma gibi direct saldırı tekniklerini canlı bir chatbot üzerinde denetler.
Savunma tarafında instruction hierarchy, girdi/çıktı sınıflandırıcıları, yapılandırılmış prompt tasarımı ve en az yetki ilkesi ele alınır. Katılımcılar kurumun kendi kullanım senaryosuna uyarlanmış bir saldırı kataloğu ve test seti ile ayrılır; indirect prompt injection'a giriş de yapılır.
Kimler Katılmalı?
- LLM tabanlı chatbot ve asistan geliştiren yazılım mühendisleri
- Yapay zeka ve platform mühendisleri
- Uygulama güvenliği (AppSec) ve sızma testi ekipleri
- Ön koşul: temel Python bilgisi ve bir LLM API'si ile çalışmış olmak
Kazanımlar
- Direct prompt injection ve jailbreak türlerini sınıflandırmak ve örneklemek
- System prompt'ta sır saklamanın neden güvenli olmadığını göstermek
- Girdi ve çıktı sınıflandırıcılarını bir LLM uygulamasına entegre etmek
- garak veya promptfoo ile tekrarlanabilir bir injection test seti çalıştırmak
- Savunma katmanlarının yanlış pozitif ve gecikme maliyetini ölçmek
Konular
LLM'ler Talimatları Nasıl İşler?
- System, developer ve user mesajları; instruction hierarchy
- Talimat ile verinin aynı context window'da karışması
Direct Prompt Injection ve Jailbreak Teknikleri
- Rol yapma, encoding, dil değiştirme ve obfuscation
- Many-shot ve crescendo tipi çok turlu saldırılar
- System prompt sızdırma
Saldırı Laboratuvarı
- Örnek bir müşteri asistanına karşı hedefli saldırılar
- Başarı kriterleri ve saldırı kataloğunun belgelenmesi
Tespit ve Filtreleme Katmanları
- Azure AI Prompt Shields, Llama Prompt Guard gibi sınıflandırıcılar
- Çıktı denetimi ve politika kontrolleri
Güvenli Prompt ve Uygulama Tasarımı
- Yapılandırılmış prompt'lar, sınırlayıcılar ve en az yetki
- Indirect prompt injection'a giriş: saldırı yüzeyinin genişlemesi
Otomatik Test ve Regresyon
- garak ve promptfoo ile injection test setleri
- Savunmaların gecikme ve yanlış pozitif ölçümü
Bu Kategorideki Diğer Eğitimler
-
Web sayfaları, e-postalar, dokümanlar, RAG kaynakları ve MCP tool çıktıları üzerinden gelen gizli talimatları; veri sızdırma zincirlerini ve spotlighting, dual LLM, CaMeL gibi mimari savunmaları uygulamalı işleyen eğitim.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında memorization, system prompt'taki sırlar, yetkisiz RAG erişimi, tenant'lar arası sızıntı ve loglar yoluyla oluşan hassas veri ifşasını; izin farkındalıklı retrieval ve DLP kontrolleriyle önlemeyi öğreten eğitim.
- Canlı Kurs
- 5 modül
-
Agent'lara verilen fazla işlev, fazla yetki ve fazla otonomi risklerini; tool tasarımı, parametre doğrulama, onay akışları ve agent permission matrisi ile kontrol altına almayı OWASP LLM06 ve agentic risk listesi üzerinden öğreten eğitim.
- Canlı Kurs
- 5 modül
-
Bilgi tabanına sızdırılan zehirli dokümanların retrieval sonuçlarını ve LLM yanıtlarını nasıl manipüle ettiğini; ingest pipeline kontrolleri, kaynak güven skorlaması ve retrieval anomali izlemesiyle önlemeyi öğreten eğitim.
- Canlı Kurs
- 5 modül
-
Hugging Face gibi kaynaklardan alınan modellerde pickle tabanlı kod çalıştırma, backdoor, lisans ve provenance risklerini; safetensors, ModelScan, model imzalama ve AI-BOM (CycloneDX) ile yönetmeyi öğreten eğitim.
- Canlı Kurs
- 5 modül
-
Otonom agent'larda kimlik yönetimi, OAuth 2.0 On-Behalf-Of delegasyonu, dinamik kapsam daraltma ve OPA/Cedar tabanlı yetkilendirme politikalarıyla confused deputy ve yetki yükseltme risklerini önlemeyi öğreten eğitim.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
