Genel amaçlı yapay zekâ sohbet araçları etkileyicidir; ama şirketinizin prosedürlerini, sözleşme şablonlarını veya ürün dokümanlarını bilmezler. Bu bilgiyi modele güvenli biçimde vermenin en yaygın yolu RAG'dir (Retrieval-Augmented Generation, yani getirme destekli üretim).
RAG nasıl çalışır?
- Dokümanlarınız anlamlı parçalara bölünür ve her parça için bir vektör (anlam temsili) oluşturulur.
- Kullanıcı bir soru sorduğunda, soruya anlamca en yakın parçalar bulunur.
- Bu parçalar, soruyla birlikte dil modeline verilir ve modelden yalnızca bu bağlama dayanarak cevap vermesi istenir.
- Cevap, dayandığı doküman ve bölümün bağlantısıyla birlikte gösterilir.
Modelin kendisi yeniden eğitilmez. Bilgi güncellendiğinde yalnızca ilgili doküman yeniden işlenir; bu da sistemi hem ucuz hem de güncel tutar.
Kaliteyi belirleyen üç şey
- Doküman hazırlığı: Eski, çelişkili ve taslak dokümanlar ayıklanmadan yapılan bir RAG sistemi, çelişkili cevaplar verir. İşin büyük kısmı veri hazırlığıdır.
- Parçalama ve arama: Başlık yapısına göre bölmek, tablo ve listeleri bozmamak, anlamsal aramayı anahtar kelime aramasıyla birleştirmek cevap kalitesini belirgin şekilde artırır.
- Kaynak gösterme ve "bilmiyorum" diyebilmek: Asistan, dokümanlarda cevabı bulamadığında bunu açıkça söylemelidir. Kaynaksız cevap, kurumsal kullanımda güven kaybettirir.
Veri güvenliği ve KVKK
Kurumsal bir asistan kurarken en kritik soru, verinin nereye gittiğidir. Dikkat edilmesi gereken başlıca noktalar:
- Kişisel veri içeren dokümanları belirleyin; gerekmiyorsa anonimleştirin veya kapsam dışında bırakın.
- Kullanılan model servisinin veriyi eğitimde kullanıp kullanmadığını, verinin hangi ülkede işlendiğini ve saklama süresini sözleşme düzeyinde netleştirin. Yurt dışına aktarım söz konusuysa KVKK'nın aktarım şartlarını değerlendirin.
- Erişim yetkisini dokümana göre uygulayın: Kullanıcı, normalde açamayacağı bir dokümanın içeriğini asistan aracılığıyla görememelidir.
- Soru ve cevapları kayıt altına alın; bu kayıtlar hem kalite iyileştirmesi hem de denetim için gereklidir.
- Gerekirse modeli ve vektör veritabanını kendi altyapınızda (on-premise) çalıştırma seçeneğini değerlendirin.
Küçük başlayın
Tek bir departmanın, iyi tanımlı bir doküman setiyle başlamak en sağlıklı yoldur: örneğin insan kaynakları prosedürleri veya teknik destek dokümanları. Kullanıcı sorularını izleyip eksik dokümanları tamamladıkça kapsamı genişletin.
Kanonik Yazılım olarak RAG tabanlı asistanları; veri hazırlığından yetkilendirmeye, kaynak göstermeden kayıt tutmaya kadar uçtan uca kuruyoruz. Veri kontrolü her zaman sizde kalır.