{"course":{"updated_at":"2025-09-02T19:02:24.895011+00:00","title":{"tr":"Multimodal RAG"},"duration_hours":3,"available_as_corporate":true,"cover_image_url":"https://lively-leaf-6126.fly.storage.tigris.dev/a9706296-5b70-41a4-892f-2531eed534f8.png","order":42,"deleted_at":null,"duration_days":null,"video_conference_link":null,"hidden":false,"category_id":null,"short_title":{"tr":null},"level":null,"bogazici_link":null,"cover_image_x":50,"suggested_next_course_id":null,"id":13,"slug":{"tr":"multimodal-rag-elinizdeki-tablolar-ve-gorseller-ile-konusun"},"schedule_info":null,"available_as_personal":true,"cover_image_y":50,"summary":{"tr":null},"bogazici_collab":false,"is_workshop":true,"corporate_cover_image_url":null,"lesson_count":0,"sidebar_copy":{"tr":null},"price_try":95000,"has_lessons":false,"corporate_cover_image_x":50,"created_at":"2025-05-21T06:51:40.093117+00:00","description":{"tr":[{"type":"text","title":"Multimodal RAG ile Elinizdeki Tablolar ve Görseller ile Konuşun","content":"<p>Günümüz yapay zeka uygulama çağında, kurumlar sadece metin tabanlı değil, aynı zamanda görsel ve tablo verileriyle zenginleştirilmiş kapsamlı bilgilere ulaşmakta ve bunlardan anlam çıkarmakta zorlanıyor. Geleneksel RAG mimarileri metin odaklıyken, gerçek dünya belgeleri (kılavuzlar, raporlar, teknik çizimler) karmaşık görsel ve tablo yapıları içerir. Bu yoğun tempolu 3 saatlik “LangChain ile Multimodal Retrieval-Augmented Generation (RAG) Atölyesi”, katılımcılara çok modlu bir RAG mimarisini sıfırdan hayata geçirmenin teori ve pratiğini bir arada sunuyor.</p><p>Atölye; Multimodal RAG’in temel kavramlarını, LangChain ile farklı modalitelerin (metin, görsel, tablo) nasıl orkestre edileceğini ve günün sonunda canlı olarak çalışan, karmaşık dokümanları anlayan bir sohbet botu geliştirmeyi hedefliyor. Katılımcılar; çok modlu veri çıkarma, farklı embedding modelleri, birleştirilmiş vektör arama ve prompt mühendisliği zincirini uçtan uca deneyimleyerek, sadece metinle sınırlı kalmayan zenginleştirilmiş bilgiye erişimin gücünü doğrudan gözlemleyecekler.</p>"},{"type":"text","title":"Kimler Katılmalı","content":"<p><strong>Kimler Katılmalı</strong></p><ul><li><p>Veri bilimciler, MLOps mühendisleri, yazılım geliştiriciler – karmaşık, çok modlu dokümanlardan anlam çıkarabilen LLM tabanlı uygulamalar inşa etmek isteyenler.</p></li><li><p>Multimodal RAG mimarisinin pratik faydasını kurumuna taşımayı hedefleyen teknik liderler.</p></li><li><p>Kısa sürede öğren-uygula-göster döngüsüyle somut çıktı elde etmek isteyen profesyoneller.</p></li></ul><p>Bu atölye, sıkı bir zaman diliminde yoğun öğrenme sağlayarak katılımcıları “çok modlu dokümanlardan akıllı bilgiye” giden RAG yolculuğunda hızla ileri taşıyacak; gerçek veriler üzerinde, canlı demosu yapılmış bir proje ile ayrılmanızı sağlayacaktır.</p>"}]},"discount_try_percentage":null,"show_price":true,"corporate_cover_image_y":50,"sections":{"tr":[{"title":"Multimodal RAG Giriş","summary":"<h3><strong>Neden Multimodal RAG?</strong></h3><ul><li><p>Temel RAG tekrar</p></li><li><p>Belgelerden (kılavuzlar, raporlar, diyagramlı sayfalar) içgörüleri ortaya çıkarmak</p></li><li><p>Atölye hedefi: Metin, görsel ve tabloları anlayan bir chatbot oluşturmak</p></li></ul><h3><strong>PDF’i Parçalara Ayırmak: Düz Metnin Ötesinde</strong></h3><ul><li><p>PDF yapısını anlamak: metin akışları, görsel objeler, vektör grafikler ve gömülü tablo verisi</p></li><li><p>PDF ayrıştırma araçları</p></li><li><p>Her modalite için veri çıkarım zorlukları</p></li></ul><h3><strong>Multimodal RAG Akışı</strong></h3><ul><li><p>Metin, görsel ve tablolar için yapılabilecek farklı işlemler</p></li><li><p>Farklı modaliteler için farklı embedding modelleri vs hepsi için ortak embedding</p></li><li><p>Multimodal bilgiyi depolama ve geri getirme</p></li><li><p>Birleştirilmiş içeriği LLM’e sunma</p></li></ul><p></p>"},{"title":"Görselleri ve Tabloları Çıkarma ve Embedding","summary":"<h2>Görsel Çıkarma (extraction) ve Embedding</h2><ul><li><p>Örnek bir PDF’den görselleri çıkarma</p></li><li><p>Görsel embedding modellerine giriş (CLIP, OpenAI modelleri vb.)</p></li><li><p>Uygulama: Çıkarılan görseller için embedding üretimi</p></li><li><p>Görsel embedding’lerini ve ilgili metadata’yı (kaynak sayfa, görsel ID) saklama</p></li></ul><h2>Tablo Çıkarma &amp; RAG İçin Temsili</h2><ul><li><p>Tabloları verilerden çıkarma</p></li><li><p>Tabloları temsil etme stratejileri:</p><ul class=\"tight\" data-tight=\"true\"><li><p>Yapılandırılmış metin (Markdown, CSV string) olarak embedding</p></li><li><p>Karmaşık/grafiksel tablolar için görsel olarak embedding</p></li></ul></li><li><p>Tabloyu kısaca özetlemek için LLM kullanımı üzerine kısa tartışma</p></li><li><p>Uygulama: Çıkarılan tabloyu Markdown’a dönüştürüp embedding oluşturmak</p></li><li><p>Metin Çıkarma &amp; Embedding</p></li><li><p>Metin parçalama ve embedding kısa tekrarı</p></li><li><p>Modaliteler arasında (sayfa numarası gibi) metadata tutarlılığını sağlama</p></li></ul><p></p>"},{"title":"Multimodal Vector Store & Retrieval Stratejisi","summary":"<h2>Vector Store Tasarımı</h2><ul><li><p><strong>Seçenek 1:</strong> Modaliteleri ayırt eden metadata ile tek bir vector store</p></li><li><p><strong>Seçenek 2:</strong> Her modalite için ayrı vector store’lar</p></li><li><p>Artılar/eksiler (sadelik vs. uzmanlaşmış arama)</p></li><li><p>Uygulama: Metin, görsel embedding’leri ve tablo temsillerini metadata ile saklayan bir Vector Database kurma</p></li></ul><h2>Multimodal Retrieval: Doğru Parçaları Bulmak</h2><ul><li><p>Modaliteler arası sorgulama:</p><ul class=\"tight\" data-tight=\"true\"><li><p>Basit yaklaşım: İlgili tüm vector store/index’lerine sorgu gönderip sonuçları birleştirme</p></li><li><p>LangChain’in MultiVectorRetriever konsepti</p></li></ul></li><li><p>İlgili metin parçalarını, görsel referans/açıklamalarını ve tablo snippet’lerini getirme</p></li><li><p>Sonuçları birleştirme ve&nbsp; sıralama: farklı kaynaklardan gelen skorları ağırlıklandırma veya her modaliteden top-k’yı basitçe birleştirme</p></li><li><p>Uygulama: Kullanıcı sorgusuna göre top-k metin, top-k görsel referansı ve top-k tablo snippet’ini getiren retrieval fonksiyonu implementasyonu</p></li></ul><p></p>"},{"title":"Multimodal RAG için Prompt","summary":"<h2>Prompt’larda Multimodal Bağlamı Temsil Etme</h2><ul><li><p>Görseller “gösterilmiyorsa” (vision-capable LLM kullanılmıyorsa) LLM’e nasıl “gösterilir”: görsel açıklamaları, başlıklar veya yer tutucular (örn. [Image: chart_on_page_5.png ...])</p></li><li><p>Tablo verisini (Markdown) doğrudan prompt’a entegre etme</p></li><li><p>LLM’in tüm bağlam türlerini kullanmasını yönlendiren prompt yapıları</p></li></ul><h2>Multimodal Soru-Cevap için Etkili Prompt’lar</h2><ul><li><p>“Metin ve sağlanan [Image: diagram_1] temelinde X’in nasıl çalıştığını açıkla.”</p></li><li><p>“[Table: financial_summary] ve çevresindeki metinden kilit bulguları özetle.”</p></li><li><p>“7. sayfadaki grafik kullanıcı artışı hakkında ne gösteriyor?” (Sayfa → görsel eşleyerek)</p></li><li><p>İstenen çıktı için iteratif prompt iyileştirme</p></li></ul><p></p>"},{"title":"Gradio ile Arayüz Oluşturma","summary":"<h2><strong>Veriyi Sisteme Alma:</strong></h2><ul class=\"tight\" data-tight=\"true\"><li><p>Kullanıcı PDF yükler</p></li><li><p>Veri Çıkarma (metin, görsel, tablo)</p></li><li><p>Embedding üretimi</p></li><li><p>Vector store’da tutma</p></li></ul><h2><strong>Retrieval &amp; Üretim:</strong></h2><ul class=\"tight\" data-tight=\"true\"><li><p>Kullanıcı sorgusunu al</p></li><li><p>Multimodal retrieval yap</p></li><li><p>Geri getirilen bağlamla prompt’u oluştur</p></li><li><p>LLM’i çağır</p></li><li><p>Yanıtı göster</p></li></ul><h2>Canlı Demo &amp; Test</h2><ul><li><p>Metin, grafik (görsel) ve tablolar içeren örnek bir PDF ile uygulamayı test etme</p></li><li><p>Farklı modalitelerden bilgi sentezi gerektiren sorular sorma</p></li><li><p>Hata ayıklama</p></li></ul><p></p>"},{"title":"Kapanış","summary":"<ul class=\"tight\" data-tight=\"true\"><li><p>Yapılanların özeti</p></li><li><p>Soru-Cevap (Q&amp;A)</p></li></ul><p></p>"}]},"published_at":"2025-06-20T06:58:49.218478+00:00","promotional_video_url":null,"units":[],"course_instructors":[{"course_id":13,"instructor_id":1,"is_active":false,"instructor":{"deleted_at":null,"slug":{"tr":"engin-deniz-alpman"},"bio":{"en":"<p>Engin Deniz Alpman is a consultant and training instructor highly experienced in AI, machine learning and big data. With his strong academic background in physics, engineering and AI, he turns complex theoretical concepts into comprehensible, applicable solutions.</p><p>Providing bespoke AI solutions and training to leading companies like Mercedes, İş Bankası, Vestel and Allianz, he has supported firms in using data effectively and optimize their processes. He has successfully managed and executed many critical projects including real-time image processing, medical image analysis, industrial process optimization and big data systems design.</p><p>He is currently continuing PhD work at Boğaziçi University, researching the subject of integrating large language models (LLM) and real-time video analysis for industrial process optimization and high-sensitivity anomaly detection in dynamic systems.</p><p>His educational approach focuses on deep comprehension and intuitive learning, providing practical, effective trainings for corporations and individuals that are easily transferable to real life scenarios. To date, he has provided AI, machine learning, deep learning and data engineering courses to many corporate clients, most prominently the İstanbul Stock Exchange, Türkiye Finans, Turkcell, Digiturk ve Garanti BBVA.</p><p>Fields of expertise:</p><p>📈AI/ML Strategy &amp; Implementation Consulting<br>🎓Corporate and Individual Courses (ML, DL, Big Data, Data Engineering, LLM)<br>🧠Large Language Models (LLM): Development, Fine-Tuning and Application <br>📹 Real-Time Computer Vision and Image Processing<br>🏭 AI-Supported Industrial Process Optimization and Automation<br>🗃️ Big Data Architecture Design and Data Engineering<br>📉 Anomaly Detection (Timeseries and Dynamic Systems)<br>⚙️ Complex Systems Modeling and Simulation<br>💻 High Performance Computing</p><p>Get in contact for custom consulting and training solutions.</p>","tr":"<p>Engin Deniz Alpman, yapay zeka, makine öğrenmesi ve büyük veri alanlarında yüksek deneyime sahip danışman ve eğitmendir. Fizik, mühendislik ve yapay zeka alanlarına dayanan güçlü akademik altyapısıyla karmaşık teorik kavramları anlaşılır ve uygulamaya dönük çözümlere dönüştürür.</p><p>Mercedes, İş Bankası, Vestel, Allianz gibi önde gelen şirketlere özel yapay zeka çözümleri ve eğitimleri sunarak, kurumların veriyi etkin biçimde kullanmalarına ve süreçlerini optimize etmelerine destek olmuştur. Gerçek zamanlı görüntü işleme, medikal görüntü analizi, endüstriyel süreç optimizasyonu ve büyük veri sistemleri tasarımı gibi birçok kritik projeyi başarıyla yönetmiş ve uygulamıştır.</p><p>Şu anda Boğaziçi Üniversitesi'nde doktora çalışmalarını sürdürmekte olan Engin Deniz Alpman'ın araştırma konusu, büyük dil modelleri (LLM) ve gerçek zamanlı video analizini entegre ederek endüstriyel süreç optimizasyonu ve dinamik sistemlerde yüksek hassasiyetli anomali tespiti üzerine yoğunlaşmaktadır.</p><p>Eğitime yaklaşımı; derinlemesine kavrama ve sezgisel öğrenmeyi temel alarak, kurumlar ve bireyler için pratik, etkili ve gerçek hayat senaryolarına kolayca aktarılabilen eğitimler sunmaktır. Bugüne kadar Borsa İstanbul, Türkiye Finans, Turkcell, Digiturk ve Garanti BBVA başta olmak üzere birçok kurumsal müşteriye yapay zeka, makine öğrenmesi, derin öğrenme ve veri mühendisliği alanlarında eğitimler vermiştir.</p><p>Uzmanlık Alanları:</p><p>📈 Yapay Zeka ve Makine Öğrenmesi Stratejisi &amp; Uygulama Danışmanlığı<br>🎓 Kurumsal ve Bireysel Eğitimler (ML, DL, Büyük Veri, Veri Mühendisliği, LLM)<br>🧠 Büyük Dil Modelleri (LLM): Geliştirme, İnce Ayar ve Uygulama <br>📹 Gerçek Zamanlı Bilgisayarlı Görü ve Görüntü İşleme<br>🏭 Yapay Zekâ Destekli Endüstriyel Süreç Optimizasyonu ve Otomasyonu<br>🗃️ Büyük Veri Mimari Tasarımı ve Veri Mühendisliği<br>📉 Anomali Tespiti (Zaman Serileri ve Dinamik Sistemler)<br>⚙️ Karmaşık Sistemlerin Modellemesi ve Simülasyonu<br>💻 Yüksek Performanslı Hesaplama (HPC)</p><p>Özel danışmanlık ve eğitim çözümleri için iletişime geçebilirsiniz</p>"},"profile_image_url":"https://lively-leaf-6126.fly.storage.tigris.dev/340ff523-2add-4856-a5f5-6f1b4cb49113.png","updated_at":"2026-01-21T09:25:06.517033+00:00","id":1,"created_at":"2025-04-28T07:06:48.381908+00:00","name":"Engin Deniz Alpman","title":{"en":"Senior AI Consultant & Instructor","tr":"Kıdemli Yapay Zeka Danışmanı & Eğitmeni"},"bogazici":false,"order":1}},{"course_id":13,"instructor_id":6,"is_active":true,"instructor":{"deleted_at":null,"slug":{"tr":"sukru-yusuf-kaya"},"bio":{"en":"<p>Şükrü Yusuf Kaya is an expert with over ten years of hands-on experience in artificial intelligence, machine learning, and advanced data engineering. With a strong academic background in computer engineering, statistics, and cybersecurity, he leads organizations in rapidly generating business value from data by ensuring the seamless transition of research outputs into production environments. He has designed end-to-end artificial intelligence architectures in critical sectors such as finance, telecommunications, defense, and manufacturing, delivering reliable, scalable, and regulation-compliant solutions under demanding operational constraints.</p><p>His projects in both public and private sectors span a wide range, including enterprise-scale RAG-based information access systems, real-time fraud detection platforms, production line video analytics, and performance optimization of distributed big data infrastructures. The MLOps framework he designed for internal teams reduced development costs by shortening the model lifecycle by 40%, while significantly improving transparency in model versioning and monitoring.</p><p>In addition to consulting, Kaya designs and delivers advanced technical training programs. He has mentored and trained hundreds of engineers through comprehensive curricula ranging from fine-tuning large language models to autonomous AI agent architectures, and from cloud-native high-performance computing clusters to production-grade deployment practices. His teaching approach, grounded in problem-driven explanations, live coding sessions, and industry-specific case studies,enables participants to directly apply acquired knowledge to real-world projects.</p><p>His research focuses on high-precision anomaly detection in dynamic systems by combining large language models with multi-source real-time video streams. His long-term objective is to develop explainable and cyber-secure AI systems capable of triggering autonomous interventions within seconds in closed-loop industrial environments.</p><p>📈 Enterprise AI Strategy Design &amp; ROI Optimization<br> 💾 Lakehouse &amp; Streaming Data Architectures<br> 🧠 Large Language Models (LLM) &amp; RAG Solutions<br> 🤖 AI Agents &amp; Autonomous Task Execution<br> 🛰️ Swarm AI for Autonomous Drone &amp; Robotics Systems<br> 📹 Nanosecond Video Analytics &amp; Edge AI<br> 🏭 Industrial IoT &amp; Digital Twin Systems<br> 🔒 Trustworthy &amp; Explainable AI<br> 👥 Privacy-Preserving &amp; Federated Learning<br> 💳 FinTech Fraud Detection &amp; AML Systems<br> 🗺️ Geospatial Big Data &amp; Dynamic Logistics<br>🔬 Multi-Modal Medical Diagnostic Systems<br> 🛡️ Adversarial Resilience &amp; AI Red-Teaming<br> 🗄️ MLOps – CI/CD, Feature Stores &amp; Model Monitoring<br> 📉 Time Series Analysis &amp; Anomaly Detection<br> 🧬 Synthetic Data Generation<br> ♻️ Energy AI &amp; Carbon Optimization<br> ⚛️ Quantum-Assisted Machine Learning<br> 💻 Multi-Node HPC &amp; Distributed GPU Training</p><p>For customized consulting, project development, and advanced training solutions, please contact us.</p>","tr":"Şükrü Yusuf Kaya, yapay zekâ, makine öğrenmesi ve ileri veri mühendisliği alanlarında on yılı aşkın saha deneyimine sahip bir uzmandır. Bilgisayar mühendisliği, istatistik ve siber güvenlik ekseninde şekillenen güçlü akademik arka planı sayesinde, araştırma çıktılarının üretim ortamlarına sorunsuz taşınmasını sağlayarak kurumların veriden hızla katma değer üretmesine öncülük eder. Finans, telekomünikasyon, savunma ve imalat gibi kritik sektörlerde uçtan uca yapay zekâ mimarileri tasarlamış; zorlu operasyonel kısıtları gözeterek güvenilir, ölçeklenebilir ve regülasyon-uyumlu çözümler hayata geçirmiştir.\n\nKamu ve özel sektörde yürüttüğü projeler, Kurumsal RAG tabanlı bilgi erişim sistemlerinden gerçek zamanlı dolandırıcılık tespitine, üretim hattı video analitiğinden dağıtık büyük veri platformlarının performans optimizasyonuna kadar geniş bir yelpazeyi kapsar. İç ekipler için tasarladığı MLOps çerçevesi, model yaşam döngüsünü %40 kısaltarak geliştirme maliyetlerini düşürmüş, aynı zamanda model sürümleme ve izleme süreçlerinin şeffaflığını artırmıştır.\n\nDanışmanlığın yanı sıra Kaya, üst düzey teknik eğitim programları da geliştirmekte ve yürütmektedir. Büyük dil modellerinin ince ayarından otonom AI ajan mimarisine, bulut-yerel yüksek performanslı hesaplama kümelerinden üretim ortamında devreye alıma kadar uzanan kapsamlı içeriklerle yüzlerce mühendise mentorluk ve sınıf içi eğitim vermiştir. Problem odaklı anlatım, canlı kodlama oturumları ve sektör-spesifik vaka analizleri üzerine inşa ettiği pedagojik yaklaşım, katılımcıların edinilen bilgiyi projelerine doğrudan aktarmalarını mümkün kılar.\n\nAraştırmalarını büyük dil modelleri ile çok-kaynaklı gerçek zamanlı video akışlarını birleştirerek, dinamik sistemlerde yüksek hassasiyetli anomali tespiti üzerine yoğunlaştırmaktadır. Nihai hedefi, kapalı çevrim üretim hatlarında saniyeler içinde otomatik müdahaleyi tetikleyebilen, açıklanabilir ve siber güvenli yapay zekâ çözümleri geliştirmektir.\n\n\n📈 Kurumsal AI Strateji Tasarımı &amp; Yatırım Getirisi (ROI) Optimizasyonu\n💾 Lakehouse &amp; Streaming Veri Mimarileri \n🧠 Büyük Dil Modelleri (LLM) ve RAG Çözümleri \n🤖 AI Ajanları &amp; Otonom Görev Yürütme \n🛰️ Swarm AI: Otonom Drone &amp; Robot Filolarında İş Birliği \n📹 Nano-Saniye Video Analitiği &amp; Edge-AI \n🏭 Endüstriyel IoT &amp; Dijital İkiz \n🔒 Güvenilir &amp; Açıklanabilir AI \n👥 Gizliliği Korumalı / Federated Learning \n💳 FinTech Dolandırıcılık &amp; AML Tespiti \n🗺️ Jeo-Uzamsal Büyük Veri &amp; Dinamik Lojistik \n🔬 Çok-Modelli Medikal Teşhis Sistemleri\n🛡️ Adversarial Dayanıklılık &amp; Red-Teaming \n🗄️ MLOps – CI/CD, Feature Store &amp; Model İzleme\n📉 Zaman Serisi &amp; Anomali Tespiti \n🧬 Sentetik Veri Üretimi \n♻️ Enerji AI &amp; Karbon Optimizasyonu \n⚛️ Kuantum Destekli Makine Öğrenmesi \n💻 Çok-Düğümlü HPC &amp; Dağıtık GPU Eğitimleri\n\nÖzel danışmanlık, proje ve eğitim çözümleri için iletişime geçebilirsiniz."},"profile_image_url":"https://lively-leaf-6126.fly.storage.tigris.dev/9ca0018b-4a12-4ce8-9002-b0a39a5d9bbf.PNG","updated_at":"2026-01-21T09:42:39.506050+00:00","id":6,"created_at":"2025-05-28T06:59:05.900828+00:00","name":"Şükrü Yusuf Kaya","title":{"en":"Senior Artificial Intelligence Engineer · Consultant · Trainer","tr":"Kıdemli Yapay Zeka Mühendisi · Danışman · Eğitmen"},"bogazici":false,"order":2}}],"category":null,"course_group":null,"instances":[{"start_date":"2025-09-16T16:00:00+00:00","id":4,"course_id":13,"end_date":"2025-09-30T19:02:00+00:00","capacity":30,"open_to_enrollment":true}],"future_instances":[]},"instance":null,"current_user":null,"corporate":true}