Yerel LLM ile büyük bir kod tabanını analiz etme

 

"Alex Ziskind" kanalında 13 Mart 2026 tarihinde yayınlanan bu videoda, büyük bir kod tabanını (yaklaşık 1 milyon token) yerel yapay zeka modelleriyle analiz etme deneyi anlatılıyor. Videoda, yerel modellerin yüksek bağlam penceresi (context window) iddiaları ve gerçek performansları test ediliyor.

Videoda öne çıkan ana başlıklar şunlardır:

Deneyin Amacı ve Hazırlık

• Gerçek Bir Kod Tabanı: Alex, yıllardır üzerinde çalıştıkları, 1.600 dosyadan ve yaklaşık 307.000 satırdan oluşan devasa bir projeyi test için kullanıyor [00:09].

• Güvenlik Taraması: Temel amacı, kod içerisinde unutulmuş gizli anahtarları, şifreleri veya API anahtarlarını bulup temizlemektir [02:02].

• Gizlilik ve Yerel Modeller: Kodun gizliliği nedeniyle verileri bulut tabanlı (ChatGPT, Gemini vb.) sistemlere göndermek istemediği için yerel modelleri tercih ediyor [02:11].

• Araç Kullanımı: Kodları bir araya getirip "code map" oluşturmak için RepoPrompt adlı aracı kullanıyor. Bu araçla yaklaşık 831.000 tokenlık bir istem (prompt) hazırlanıyor [02:36].

Yerel Model Performansı ve Kısıtlamalar

• NVIDIA Neatron 3 Nano: 1 milyon token bağlam penceresi iddia eden bu modeli test ediyor. LM Studio'da varsayılan olarak 262.000 token ile sınırlı olduğunu görünce, modelin config.json dosyasını düzenleyerek bu sınırı manuel olarak 1 milyonun üzerine çıkarıyor [07:46].

• Donanım Zorlukları: 128 GB RAM'li bir MacBook Pro'da deneme yapıyor ancak istem işleme (prompt processing) aşamasında donanım oldukça zorlanıyor ve 37 dakika sonunda hatalı sonuçlar veriyor [09:25].

• Llama 4 Scout: 10 milyon token bağlam penceresi olan bu modelin Mac Studio'da (512 GB RAM) başarılı sonuçlar verdiği, ancak bir buçuk saatten fazla sürdüğü belirtiliyor [12:16].

Yüksek Performanslı Çözüm

• Endüstriyel Donanım (B300 Kümesi): Deneyi NVIDIA'nın veri merkezi GPU'ları olan B300'ler üzerinde (toplamda 2 TB'tan fazla VRAM) tekrarlıyor [13:02].

• Hız ve Sonuç: Bu sistemde istem işleme hızı saniyede 77.000 tokene çıkıyor ve model kod tabanındaki 21 farklı güvenlik açığını (gizli anahtarları) başarıyla tespit ediyor [14:13].

Sonuç: Bağlam penceresi büyüdükçe hem modelin mimarisinin (Llama 4 Scout gibi) hem de donanım gücünün (VRAM kapasitesi) doğru ve hızlı sonuç almak için kritik olduğu vurgulanıyor.

Video Bağlantısı: http://www.youtube.com/watch?v=EOPJwMAjUxk