Nvidia, bilgisayarınızda kişisel bir yapay zeka sohbet robotu çalıştırmanıza olanak tanıyan bir demo uygulaması olan Chat with RTX‘in (RTX ile Sohbet) erken bir sürümünü yayınladı. Özetler oluşturmak ve kendi verilerinize dayalı alakalı yanıtlar almak için onu YouTube videoları ve kendi belgelerinizle besleyebilirsiniz. Her şey bir bilgisayarda yerel olarak çalışıyor ve ihtiyacınız olan tek şey en az 8 GB VRAM‘e sahip bir RTX 30 veya 40 serisi ekran kartı. Yerel, kişisel ve gelişmiş AI sohbet robotu: Nvidia Chat with RTX
ChatGPT veya Copilot’u mutlaka en az bir kere kullanmışsınızdır. Eğer kullanmışsanız ne kadar da hantal olduklarını deneyimlemişsinizdir. Basit bir “merhaba” sorgusuna yanıt almak için bile 5-10 saniye beklemek gerekebiliyor. Çok yoğun senaryolarda yanıtlar 30 saniye kadar geç gelebiliyor. Ancak yerel olarak çalışan bir yapay zekada bu gecikmeler yaşanmıyor. Nvidia RTX ile Sohbet, bu sayede gecikmelerin hiçbirini yaşamıyor.
Şirket, kullanıcıların bilgisayardaki yerel dosyalarını veri kümesi olarak Mistral veya Llama 2 gibi açık kaynaklı büyük bir dil modeline hızlı ve kolay bir şekilde bağlamasına olanak tanıdığını söylüyor. Böylece alakalı sorgularınızda yazılım cevabı bulmak için yerel dosyaları tarıyor ve saniyeler içinde anında yanıtını veriyor.
Yerel olarak veri kümesi oluşturulduğu ve bu kümelerde (Youtube videosu, .txt, .pdf, .doc/.docx ve .xm gibi dosyalar) sorgular yapmak büyük bir avantaj. Esasında editör ve gazeteciler için bu oldukça işlevsel olabilir. Bu, kişisel verilerinizin bağlamsal çerçevesi içinde çalışan gerçek bir dijital asistana benzeyen bir şeye doğru büyük bir adım gibi görünüyor. Çoğu sohbet robotunda veriler buluta gönderiliyor, ancak Chat with RTX, kullanıcıların hassas verileri üçüncü bir tarafla paylaşmadan veya internet bağlantısına gerek kalmadan yerel bir bilgisayarda işlemesine olanak tanıyor. Yani daha güvenli ve bağlamsal olarak daha bilinçli.
Sorunlar yok değil
RTX ile Sohbet’in en büyük dezavantajı, gerçekten bir geliştirici demosu gibi olması. RTX ile Sohbet esasen bilgisayarınıza bir web sunucusu ve Python örneği yüklüyor, ardından Mistral veya Llama 2 modellerinden yararlanarak beslediğiniz verileri sorguluyor. Daha sonra sorgularınızı hızlandırmak için RTX GPU üzerinde Nvidia’nın Tensor çekirdeklerini kullanıyor. RTX 4090 GPU’ya sahip Intel Core i9-14900K işlemciyle çalışan bir bilgisayara RTX ile Sohbet’i yüklemek yaklaşık 30 dakika sürüyor. Uygulama yaklaşık 40 GB boyutunda ve Python örneği 64 GB RAM’li bir sistemde 3 GB alan kaplıyor.
Sınırlamalar tarafında ise çok fazla hatanın olduğu belirtiliyor. Sistem bazen YouTube videolarını doğru analiz edemiyor, çok sayıda dosya yüklendiğinde çökebiliyor, halüsinasyon yaşayabiliyor. RTX ile Sohbet bağlamı da hatırlamıyor, bu nedenle takip soruları önceki bir sorunun bağlamına dayanamıyor.
Yine de bu ileriye atılmış büyük bir adım. Özellikle kişisel dosyalarınızı analiz etmek için Copilot Pro veya ChatGPT Plus gibi bir şeye abone olmak istemiyorsanız, yapay zekalı bir sohbet robotunun gelecekte bilgisayarınızda yerel olarak neler yapabileceğini gösteriyor.