Eğitimin Amacı ve Kapsamı
Bir LLM uygulamasında yapılan küçük bir system prompt düzenlemesi, model versiyonu geçişi veya yeni bir RAG kaynağı eklenmesi, daha önce kapatılmış güvenlik açıklarını sessizce geri getirebilir. Eğitim; tek seferlik manuel kontroller yerine promptfoo, garak ve UK AISI Inspect AI gibi araçlarla otomatik, ölçülebilir ve tekrarlanabilir güvenlik test paketleri (security evals) geliştirmeyi öğretir.
Katılımcılar deterministik assertion'lar ile LLM-as-a-judge puanlayıcılarını birleştirerek GitHub Actions / GitLab CI üzerinde çalışan bir güvenlik regresyon pipeline'ı kurar ve yayın öncesi kabul eşiklerini (quality/security gates) tanımlar.
Kimler Katılmalı?
- LLM uygulamaları geliştiren yazılım, yapay zeka ve LLMOps mühendisleri
- Uygulama güvenliği (AppSec) ve DevSecOps ekipleri
- Kalite güvence (QA) ve test otomasyon mühendisleri
- Ön koşul: CI/CD süreçlerine aşinalık ve temel Python veya YAML/TypeScript bilgisi
Kazanımlar
- OWASP LLM ve Agentic risk kategorilerini kapsayan kurumsal bir adversarial test veri seti oluşturmak
- promptfoo ile çoklu model ve prompt varyantlarını güvenlik açısından karşılaştırmak
- Deterministik kural kontrolleri ve rubrik tabanlı LLM-as-a-judge değerlendiricileri yazmak
- CI/CD pipeline'ına otomatik güvenlik kapıları ve bütçe dostu katmanlı test stratejisi entegre etmek
- Saldırı başarı oranı (ASR) ve yanlış reddetme oranı (FRR) metriklerini sürüm bazında izlemek
Konular
Olasılıksal Sistemlerde Güvenlik Testi Yaklaşımı
- Birim testlerinden security eval'lara geçiş: tekrarlanabilirlik, sıcaklık (temperature) ve örnekleme
- Saldırı başarı oranı (ASR) ile aşırı reddetme (over-refusal / FRR) dengesi
Adversarial Test Veri Seti Tasarımı
- HarmBench, CyberSecEval ve kurum içi olaylardan golden/adversarial veri seti derleme
- Prompt injection, veri sızıntısı, yetkisiz tool çağrısı ve politika ihlali senaryoları
promptfoo ve Inspect AI ile Değerlendirme Otomasyonu
- YAML/Python tabanlı test tanımları, değişken şablonları ve çok turlu senaryolar
- Deterministik regex/JSON şema kontrolleri ile LLM-as-a-judge rubriklerinin birleştirilmesi
CI/CD Entegrasyonu ve Regresyon Kapıları
- Pull request aşamasında hızlı duman (smoke) testleri, gece koşularında kapsamlı garak taramaları
- Kabul eşikleri, başarısız build politikaları ve maliyet/süre optimizasyonu
Sürekli İzleme ve Güvenlik Skor Kartı
- Model güncellemeleri ve prompt değişikliklerinde güvenlik kaymasını (drift) yakalama
- Üretimde yakalanan yeni saldırı örneklerinin test paketine geri beslenmesi
Bu Kategorideki Diğer Eğitimler
-
Kurumsal LLM, RAG ve agent platformlarını merkezi AI gateway, ağ ve tenant izolasyonu, KMS/anahtar yönetimi, güvenli MCP entegrasyonu ve denetlenebilir telemetri ile sıfır güven (Zero Trust) ilkelerine göre tasarlamayı öğreten eğitim.
- Canlı Kurs
- 5 modül
-
Kişisel ve kurumsal gizli verileri dış LLM servislerine sızdırmadan yapay zeka kullanmak için PII maskeleme, tersine çevrilebilir pseudonimizasyon, anonimleştirme ve veri yerelliği (data residency) mimarilerini öğreten kapsamlı eğitim.
- Canlı Kurs
- 5 modül
-
Microsoft Presidio, GLiNER ve Türkçe kural/NER katmanlarını kullanarak LLM API'leri önüne düşük gecikmeli bir PII tespit, maskeleme ve geri çözme (de-pseudonymization) ağ geçidi (gateway) geliştirmeyi öğreten uygulamalı eğitim.
- Canlı Kurs
- 5 modül
-
Canlı müşteri verisini test, analitik ve LLM değerlendirme ortamlarına taşımak yerine k-anonymity, diferansiyel gizlilik (differential privacy) ve SDV/LLM tabanlı sentetik veri üretimiyle güvenli veri setleri oluşturmayı öğreten eğitim.
- Canlı Kurs
- 5 modül
-
LLM ve agent sistemlerinin OpenTelemetry, Langfuse ve SIEM loglarında biriken kişisel verileri temizlemeyi; saklama süresi, erişim kontrolü, silme/unutulma hakkı ve KVKK uyum gereksinimlerini mühendislik düzeyinde uygulamayı öğreten eğitim.
- Canlı Kurs
- 5 modül
-
OWASP Agentic AI risk listesinin başında yer alan Agent Goal Hijack saldırılarını; planlama döngüsü, kalıcı bellek (memory) ve çok adımlı görev yürütmede hedef saptırma mekanizmalarını ve niyet doğrulama savunmalarını öğreten eğitim.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
