RAG nedir, neden ChatGPT yetmiyor?
Retrieval-Augmented Generation (RAG) yaklaşımı, bir yapay zekâ modelini sizin kendi dokümanlarınızla, kendi arşivinizle, kendi mevzuatınızla konuşur hale getiren mimaridir. ChatGPT genel amaçlıdır ve sizin hakkınızda hiçbir şey bilmez. RAG mimarisi, modelin her yanıt vermeden önce ilgili dokümanları okuyup atıflı yanıt üretmesini sağlar.
Sonuç: model "halüsinasyon" yapmaz; her cümleyi hangi dokümanın hangi sayfasından aldığını söyleyebilir. Hukuk, sağlık, mühendislik ve kurumsal bilgi yönetimi gibi alanlarda zorunluluktur.
Hangi kurumlar için kritik?
- Hukuk firmaları (içtihat, dilekçe, mevzuat arşivi)
- Hastaneler ve klinikler (klinik protokol, ilaç bilgisi)
- Mühendislik firmaları (proje dokümanları, standart, regülasyon)
- Sigorta şirketleri (poliçe ve teminat dokümanları)
- Üretim firmaları (kalite el kitapları, sertifika, prosedür)
- Eğitim kurumları (öğrenci el kitabı, akademik kadro arşivi)
- Belediye ve kamu kurumları (mevzuat, prosedür)
Mimari ve bileşenler
- Vektör veri tabanı: pgvector, Pinecone veya Qdrant.
- Doküman pipeline'ı: PDF, Word, Excel okuma, parçalara ayırma, embed işlemi.
- LLM tabakası: GPT-4, Claude veya yerel modeller (Llama, Mistral).
- Atıf ve kaynak yönetimi: Her yanıtın hangi dokümandan geldiğinin takibi.
- Kullanıcı arayüzü: Web, mobil, Slack, Teams entegrasyonu.
- Yetki ve denetim: Kim hangi dokümana erişebilir, her sorgu kayıt altına alınır.
Süreç
- Doküman envanteri ve veri kalitesi denetimi
- Pilot bir doküman seti üzerinde POC kurulumu (3-4 hafta)
- İç ekiple test ve geri bildirim toplama (2 hafta)
- Tüm arşivi ekleme, yetkilendirme, kullanıma açma (3-4 hafta)
- Aylık iyileştirme — yanlış yanıtların düzeltilmesi (sürekli)
Yatırım aralığı
- POC: 100.000 ₺ – 180.000 ₺ (3-4 hafta)
- Üretime hazır asistan: 250.000 ₺ – 600.000 ₺
- Tamamen yerel (on-prem) kurumsal sistem: 500.000 ₺ – 1.200.000 ₺
- Aylık API maliyeti (bulut model): 3.000 ₺ – 60.000 ₺
Veri güvenliği
Hassas veri içeren projelerde tamamen yerel (on-prem) kurulum yapıyoruz: model, vektör veri tabanı ve doküman arşivi sizin sunucunuzda. Veri firma sınırlarından çıkmıyor. Bu seçeneği özellikle hukuk, sağlık ve kamu projelerinde tercih ediyoruz.