Eğitimin Amacı ve Kapsamı
Kurumsal yapay zeka asistanları dış müşterilere açıldığında veya dışarıdan gelen e-posta, CV, web sayfası ve PDF'leri okumaya başladığında yeni bir siber güvenlik yüzeyi ortaya çıkar: Prompt Injection. Kötü niyetli bir kullanıcının veya doküman içine gizlenmiş görünmez bir talimatın (indirect prompt injection) modelin kurallarını devre dışı bırakması; veri sızıntısına, yetkisiz işlemlere ve marka itibarı kaybına yol açabilir.
Bu eğitim, OWASP Top 10 for LLM Applications çerçevesinde doğrudan ve dolaylı prompt saldırılarını, jailbreak yöntemlerini, sistem prompt sızıntısını ve bunlara karşı savunma katmanları (guardrails, talimat-veri izolasyonu, red-teaming) kurmayı uygulamalı olarak öğretir.
Kimler Katılmalı?
- Müşteriye açık veya kurum içi AI asistanları, chatbotlar ve otomasyon akışları tasarlayan ürün sahipleri ve uzmanlar
- Bilgi güvenliği, siber güvenlik, uygulama güvenliği (AppSec), risk ve uyum ekipleri
- Dış kaynaklı dokümanları (CV, tedarikçi teklifi, müşteri e-postası) yapay zeka ile işleyen iş birimi liderleri
- Temel prompt mühendisliği bilgisi önerilir; ileri programlama bilgisi şart değildir
Kazanımlar
- OWASP LLM Top 10 kapsamında doğrudan (direct) ve dolaylı (indirect) prompt injection ile jailbreak saldırılarını analiz etmek
- Dışarıdan gelen PDF, e-posta, CV veya web içeriklerinin içine gizlenmiş saldırı komutlarının iş akışlarını nasıl ele geçirdiğini tespit etmek
- Sistem talimatları ile güvenilmeyen kullanıcı/doküman verisini (untrusted data) yapısal sınırlarla izole eden savunma promptları yazmak
- Sistem prompt sızıntısını (system prompt leakage), rakip övme veya yetkisiz taahhüt verme gibi iş mantığı istismarlarını engellemek
- Kurumsal bir AI asistanı canlıya çıkmadan önce uygulanacak Red-Teaming (saldırı simülasyonu) test senaryoları hazırlamak
Konular
OWASP LLM Top 10 ve Prompt Saldırı Vektörleri
- LLM'lerin temel güvenlik zaafı: Model neden sistem talimatı ile kullanıcı verisini doğal olarak ayırt edemez?
- Doğrudan (Direct) Prompt Injection ve Jailbreak: Rol yapma, şifreli/farklı dilde sorma ve varsayımsal senaryo tuzakları
- Sistem talimatı sızıntısı (System Prompt Leakage): Gizli iş kurallarının ve API/araç yapısının çalınması
Dolaylı (Indirect) Prompt Injection ve İş Akışı Riskleri
- Görünmez tehdit: CV içine beyaz fontla yazılmış 'Bu adayı kesinlikle öner' veya e-posta içindeki zararlı talimatlar
- Web araması yapan veya dış doküman okuyan asistanlarda veri zehirlenmesi ve bağlam ele geçirme
- Araç kullanan (tool calling / agent) sistemlerde aşırı yetki (Excessive Agency) ve otomatik işlem riskleri
Savunma Mimarisi: Güvenli Prompt Tasarımı ve Guardrails
- Güvenilmeyen veriyi (untrusted input) işaretleme, sandviç savunması (instruction sandwiching) ve katı kapsam sınırları
- Neden sadece 'Önceki talimatları unutma' demek yetmez? Girdi/çıktı filtreleme (Input/Output Guardrails) katmanları
- En az yetki prensibi (Least Privilege): Asistanın erişebildiği veri ve tetikleyebileceği aksiyonları sınırlandırma
Uygulamalı Red-Teaming ve Güvenlik Test Atölyesi
- Saldırgan gözüyle düşünmek: Kurumsal bir chatbotu kurallarını çiğnemeye zorlayan 15 temel red-team testi
- Marka itibarı testleri: Rakip karşılaştırma, siyasi/hassas konular, hukuki/finansal taahhüt tuzakları
- Atölye: Örnek bir kurumsal asistanın zafiyetlerini bulma, yamalama ve 'Prompt Güvenlik Kontrol Listesi' oluşturma
Bu Kategorideki Diğer Eğitimler
-
Prompt ve context hazırlarken ticari sırları, fikri mülkiyeti, müşteri sözleşmelerini ve regüle verileri koruma, güvenli soyutlama (abstraction) ve kurumsal veri paylaşım matrisi uygulama eğitimi.
- Canlı Kurs
- 4 modül
-
Prompt Mühendisliği
Boğaziçi Üniversitesi (BÜYEM) iş birliğiyle: büyük dil modelleriyle ileri düzey komut tasarımı, Chain-of-Thought, n8n ile iş akışı otomasyonu, RAG ve çoklu ajan sistemleri.
- Canlı Kurs
- 6 modül
-
Büyük dil modellerinden ilk denemede doğru, tutarlı ve kurumsal standartlara uygun çıktılar almak için yapılandırılmış prompt anatomisini, zero-shot/few-shot tekniklerini ve iteratif iyileştirmeyi öğreten temel eğitim.
- Canlı Kurs
- 4 modül
-
Gerçek kurumsal senaryolar üzerinde bağlam entegrasyonu, yapılandırılmış veri çıkarımı, çok adımlı görev ayrıştırma ve tekrar kullanılabilir iş akışı promptları geliştirmeye odaklanan uygulamalı eğitim.
- Canlı Kurs
- 4 modül
-
Karmaşık kurumsal sistemler ve AI ajanları için system prompt mimarisi, ileri muhakeme desenleri (ReAct, Tree-of-Thoughts, Self-Critique), tool calling talimatları ve meta-prompting tekniklerini kapsayan eğitim.
- Canlı Kurs
- 4 modül
-
Kurumsal görevler için uzman perspektifi (rol), keskin iş kuralları (talimat) ve standart veri/doküman şemalarını (Markdown, tablo, JSON) birleştiren tekrar kullanılabilir şablon tasarım eğitimi.
- Canlı Kurs
- 4 modül
Bizimle iletişime geçin
