Limitlere takılmamak için bilgisayarınıza modelin 4GB'lık R1 versiyonunu indirerek düşünme yeteneği de dahil sınırsız sorgu yapabiliyorsunuz. Bunun için "LM Studio" uygulamasını indirip, uygulama içinden istediğiniz modeli yükleyebiliyorsunuz. https://lmstudio.ai/ 10 dakika sürdü. Programı kurduktan sonra bir model kurmanız gerekiyor. Benim bilgisayar 16GB RAM olduğu için 4GB modeli seçmek durumunda kaldım. (DeepSeek-R1-Distill-Qwen-7B-GGUF) 10 dakika sürdü. Toplamda 20 dakikaya chatte ekranı önüne geliyor.
Solda "Ara" kısmına tıklayın: Görsel açılan pencerenin "Ara" kısmına "DeepSeek" yazın ve seçtikten sonra sağ alttaki "İndir" tuşuna basın, o kadar. (Daha pek çok model var)
Bilgisayarda çalışan bu model Türkçe cümleleri doğru kuramıyor. Türkçe karakterleri anlamıyor bile. "Ekşi" yazsam "Eksi" diye anlıyor. İngilizce olarak sorgu ve cevap almak zorunda kalıyorsunuz. Google Translate'e abanarak bu sorunu aşıyorum. Ama online siteleri Türkçe karakterleri de tanıyor, çoğu Türkçe bilgiyi de biliyor. "Ara" özelliğini kullanmasan bile Türkiye hakkında çoğu şey online sitelerinin veri tabanında var.
Bilgisayarda çalışan model daha yavaş ve daha düşük kalitede cevaplar verse de sınırsızca ve sansürsüzce konuşabilmek güzel. Her bilgisayarda en az bir offline model yüklü olmalı bence.
Ama şu var ki 4GB modelin bilgi birikimi, web sitesinin yüzde biri bile değil. Tam olarak online gibi çalıştırabilecek bir bilgisayar kaç liraya patlar acaba? (Türkçe'ye özgü geliştirilen modeller de varmış. İşte onların veri sayısı daha az olanlarından offline verim alınabilir belki. Bir kaç proje olduğunu gördüm ama daha denemedim Türkçe modelleri)
Düzenleme: 8GB versiyonu da yükledim ama benim sistemi zorladı bayağı. Aşırı yavaş çalıştı. Bu işlere gireceğimi tahmin etsem 2 katı RAM ve 2 katı GPU gücü alırdım. Yeni bilgisayar alacaklar buna dikkat etmeli bence.
yorumlar
Yorum yapmak için giriş yapmalısınız.