Neden %100 Offline RAG? Kurumsal Veride Gizliliğin Yeni Standardı

Kurumsal yapay zekâ projelerinde en sık atlanan soru şu: veriniz nereye gidiyor? Bir bulut LLM API’sine gönderilen her doküman, şirketinizin sınırlarının dışına çıkar. Çoğu zaman bu, hem KVKK/GDPR açısından bir risk hem de rekabetçi bilginin üçüncü bir tarafa sızması demektir.

Bulut API’sinin gizli maliyeti

Bir RAG (Retrieval-Augmented Generation) sistemi, sorulara cevap verirken şirket dokümanlarınızı modele bağlam olarak iletir. Eğer model bir bulut servisindeyse:

• Hassas İK, finans veya hukuk belgeleriniz şirket dışına çıkar.
• İstek başına ücret ödersiniz; hacim arttıkça maliyet öngörülemez hale gelir.
• Servis kesintisi veya fiyat değişikliği iş sürekliliğinizi doğrudan etkiler.

Offline mimarinin dört bileşeni

Tamamen yerel çalışan bir kurumsal RAG sistemi dört ana servisten oluşur:

1. Ollama — açık kaynaklı LLM’leri (Llama 3, Gemma) kendi donanımınızda çalıştırır.
2. Qdrant — dokümanlarınızı vektör olarak saklayan yüksek performanslı veritabanı.
3. FastAPI — kimlik doğrulama ve rate-limiting ile güvenli API gateway.
4. Docker Compose — tüm yığını tek komutla ayağa kaldıran orkestrasyon.

Veriniz sunucunuzdan asla çıkmaz. Bu, veri güvenliği açısından altın standarttır.

Nereden başlamalı?

Bu yazıda anlattığımız mimarinin tamamını, gerçek bir VPS üzerinde sıfırdan kurmayı DataBeta Academy bootcamp programında uygulamalı olarak işliyoruz. Notebook’tan çıkıp production’a geçmek için doğru başlangıç noktası burası.