Eğitimin Amacı ve Kapsamı
Kurumsal süreçlerin önemli bir kısmı tedarikçi portalleri, kamu sistemleri veya eski ERP/CRM ekranları gibi API erişimi olmayan web arayüzlerinde kilitlidir; klasik RPA senaryoları ise en küçük arayüz değişikliğinde bozulur. Bu eğitim, DOM ağacı, erişilebilirlik ağacı (accessibility tree) ve ekran görüntüsünü birlikte kullanarak web ve uygulama arayüzlerini yöneten agent'ları ele alır.
Katılımcılar Playwright, Stagehand ve Set-of-Marks (SoM) etiketleme teknikleriyle form doldurma, tablo tarama ve dosya indirme/yükleme yapan bir arayüz agent'ı geliştirir; insan onaylı bir prototip ve dayanıklılık/gecikme ölçüm planı hazırlar.
Kimler Katılmalı?
- Web ve kurumsal ekran otomasyonu geliştiren yazılım ve RPA mühendisleri
- Agent tabanlı süreç otomasyonu kuran yapay zeka geliştiricileri
- Operasyonel verimlilik ve dijital dönüşüm uzmanları
- Ön koşul: temel Python veya TypeScript ve HTML/DOM aşinalığı
Kazanımlar
- DOM/accessibility tree ile görsel ekran algılamayı birleştiren hibrit arayüz agent'ları kurmak
- Arayüz değişikliklerinde kırılmayan doğal dil tabanlı seçiciler ve öz-iyileştirme (self-healing) uygulamak
- Kimlik doğrulama, çerez/oturum saklama ve çok adımlı form akışlarını güvenle yönetmek
- Son gönderim veya ödeme adımlarında kullanıcıya canlı önizleme ve onay sunmak
- Adım başarı oranı, sayfa yükleme gecikmesi ve token maliyetini optimize etmek
Konular
Kırılgan Seçicilerden Bilişsel Arayüz Agent'larına
- XPath/CSS seçicilerin sınırları ve LLM destekli arayüz etkileşimi
- DOM, Accessibility Tree ve Set-of-Marks (SoM) görsel numaralandırma
Tarayıcı Orkestrasyonu: Playwright, Stagehand ve Browserbase
- Deterministik Playwright adımları ile agentic karar adımlarını birleştirme
- Bulut tarayıcı oturumları, vekil sunucu (proxy) ve paralel çalışma
Oturum Yönetimi, Dinamik Sayfalar ve Veri Çıkarma
- SSO/MFA devri, oturum durumu saklama ve SPA (Single Page App) bekleme stratejileri
- Sayfalandırılmış tablolardan ve açılır menülerden yapılandırılmış veri toplama
Öz-İyileştirme (Self-Healing) ve Önbellekleme
- Keşfedilen başarılı eylem yollarını deterministik koda/önbelleğe kaydetme
- Yalnızca ekran değiştiğinde LLM'e başvurarak hız ve maliyet kazanma
İnsan Kontrolü ve Güvenli Yürütme
- Kritik butonlarda duraklatma, ekran görüntüsü kanıtı ve canlı devralma
- Kurumsal vaka prototipi ve kalite/latency ölçüm planı
Bu Kategorideki Diğer Eğitimler
-
Sesli, çok modlu ve arayüz kullanan agent'larda kullanıcı kontrolü ve onay deneyimi: eylem önizleme, kademeli yetki, canlı devralma (takeover), geri alma (undo) ve güvenli arayüz kalıpları.
- Canlı Kurs
- 5 modül
-
Sesli, çok modlu ve arayüz kullanan agent'ları canlıya almadan önce deneyim, güven ve güvenlik açısından test etme: kullanıcı güven kalibrasyonu, adversarial senaryolar, hayal kırıklığı sinyalleri ve kabul kriterleri.
- Canlı Kurs
- 5 modül
-
Görsel, ses ve metin temsil uzaylarını birleştiren multimodal model mimarileri: ViT/SigLIP ve ses encoder'ları, cross-modal projeksiyon/füzyon katmanları ve açık ağırlıklı VLM'lerin (Qwen-VL, Llama, Pixtral) LoRA ile fine-tuning'i.
- Canlı Kurs
- 5 modül
-
Üretim, perakende, sigorta ve saha operasyonlarında Vision-Language Modelleri (VLM) ile görsel inceleme uygulamaları: nesne konumlandırma (grounding), çoklu görsel karşılaştırma, hibrit CV+VLM boru hatları ve kalite kontrol.
- Canlı Kurs
- 5 modül
-
Uçtan uca Speech-to-Speech (S2S) modeller ve otonom sesli agent'lar: akustik duygu ve vurgu algılama, sesli tool calling, çok ajanlı çağrı devri ve Pipecat/LiveKit ile üretime hazır voice agent mimarisi.
- Canlı Kurs
- 5 modül
-
Gerçek zamanlı yapay zeka uygulamaları için streaming altyapı mühendisliği: WebRTC, WebSockets ve SSE protokolleri, OpenAI Realtime ve Gemini Live API entegrasyonu, ses/video tampon yönetimi ve ölçekleme.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
