Eğitimin Amacı ve Kapsamı
Her kurumsal yazılımın modern bir API'si yoktur; pek çok iş süreci yalnızca grafik arayüz (GUI) üzerinden erişilen masaüstü veya web ekranlarında yürür. Computer use sistemleri, ekran görüntüsünü görsel olarak algılayıp imleç hareketi, tıklama ve klavye girdisi üreterek insan gibi bilgisayar kullanabilen agent mimarilerini ifade eder.
Bu eğitimde katılımcılar Anthropic Claude Computer Use, OpenAI Computer-Using Agent (CUA) ve açık ağırlıklı GUI modellerinin ekran algılama–karar–eylem döngüsünü inceler; izole container/sanal makine ortamında çalışan, insan onaylı bir computer-use prototipi ve gecikme/kalite ölçüm planı geliştirir.
Kimler Katılmalı?
- Yeni nesil otomasyon ve agent altyapısı geliştiren yapay zeka ve yazılım mühendisleri
- Klasik RPA sınırlarını aşmak isteyen otomasyon mimarları
- Platform ve güvenlik mühendisleri
- Ön koşul: Python, Docker/container temelleri ve LLM API deneyimi
Kazanımlar
- API tabanlı tool calling, DOM otomasyonu ve piksel tabanlı computer use arasındaki farkları ve kullanım alanlarını belirlemek
- İzole sanal ekran (X11/VNC/Docker veya bulut masaüstü) üzerinde computer use döngüsü kurmak
- Ekran çözünürlüğü, koordinat ölçekleme ve görsel doğrulama adımlarını doğru yapılandırmak
- Takılma, yanlış tıklama ve beklenmeyen açılır pencereleri (pop-up) telafi eden mekanizmalar yazmak
- İnsan onay noktaları ve ekran kaydı denetim iziyle güvenli bir computer-use prototipi sunmak
Konular
Computer Use Paradigması ve Mimari Bileşenler
- Klasik RPA ve DOM seçicilerden görsel ekran algılamaya geçiş
- Claude Computer Use, OpenAI CUA ve OmniParser/UI-TARS yaklaşımları
Sanal Masaüstü ve Sandbox Ortamı Kurulumu
- Container/VM içinde izole ekran, VNC akışı ve eylem yürütücü (xdotool/Playwright)
- Ekran çözünürlüğü standardizasyonu ve koordinat dönüşümü
Algılama–Eylem–Doğrulama Döngüsü
- Tıklama, sürükleme, kısayol tuşu ve kaydırma (scroll) eylemleri
- Her eylem sonrası ekran değişimini kontrol etme ve bekleme yönetimi
Hata Telafisi ve Hibrit (GUI + API) Çalışma
- Beklenmeyen diyalog kutuları, yavaş yüklenen ekranlar ve döngüden çıkma
- Mümkün olan yerde API/CLI, yalnızca gerekli adımda GUI kullanma
Güvenlik, İnsan Onayı ve Performans Ölçümü
- Ekrandaki zararlı içerikten gelen görsel prompt injection riskleri
- Kritik tıklama öncesi insan onayı, adım başı latency ve başarı oranı ölçümü
Bu Kategorideki Diğer Eğitimler
-
API sunmayan web portalleri ve kurumsal ekranlarda görev yürüten arayüz agent'ları: Playwright, Stagehand ve Browserbase ile DOM + görsel algılama (Set-of-Marks), oturum yönetimi ve dayanıklı web otomasyonu.
- Canlı Kurs
- 5 modül
-
Sesli, çok modlu ve arayüz kullanan agent'larda kullanıcı kontrolü ve onay deneyimi: eylem önizleme, kademeli yetki, canlı devralma (takeover), geri alma (undo) ve güvenli arayüz kalıpları.
- Canlı Kurs
- 5 modül
-
Sesli, çok modlu ve arayüz kullanan agent'ları canlıya almadan önce deneyim, güven ve güvenlik açısından test etme: kullanıcı güven kalibrasyonu, adversarial senaryolar, hayal kırıklığı sinyalleri ve kabul kriterleri.
- Canlı Kurs
- 5 modül
-
Görsel, ses ve metin temsil uzaylarını birleştiren multimodal model mimarileri: ViT/SigLIP ve ses encoder'ları, cross-modal projeksiyon/füzyon katmanları ve açık ağırlıklı VLM'lerin (Qwen-VL, Llama, Pixtral) LoRA ile fine-tuning'i.
- Canlı Kurs
- 5 modül
-
Üretim, perakende, sigorta ve saha operasyonlarında Vision-Language Modelleri (VLM) ile görsel inceleme uygulamaları: nesne konumlandırma (grounding), çoklu görsel karşılaştırma, hibrit CV+VLM boru hatları ve kalite kontrol.
- Canlı Kurs
- 5 modül
-
Uçtan uca Speech-to-Speech (S2S) modeller ve otonom sesli agent'lar: akustik duygu ve vurgu algılama, sesli tool calling, çok ajanlı çağrı devri ve Pipecat/LiveKit ile üretime hazır voice agent mimarisi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
