80B MoE laptop’ta: Janas, uzmanları SSD’den stream ederek RAM tavanını aşıyor
janas-inference-engine (Janas-LLM), pure-C ile yazılmış açık kaynak bir inference motoru; mixture-of-experts modellerinde aktif olmayan uzman ağırlıklarını RAM’de tutmak yerine NVMe üzerinden stream ediyor. GitHub deposu, ssd-streamed-moe-inference yaklaşımını 32 GB RAM’li laptop’larda büyük MoE’leri çalıştırmayı hedefliyor.
Ana Gelişme
Mimari trade-off net: PCIe/NVMe bant genişliği ve gecikme, DRAM baskısına karşılık kapasite kazandırıyor. Qwen3-Next-80B (Q4_K_M) üzerinde README, Janas için 24 tok/s, llama-cpp için 2,8 tok/s iddia ediyor — yalnızca proje sahibinin raporu; bağımsız doğrulama yok. Donanım, güç profili, prompt uzunluğu ve batch ayarları sonuçları dramatik şekilde değiştirebilir.
Neden Önemli?
GPU’su kısıtlı Türkiye’deki geliştiriciler için local-llm-inference alternatifleri değerli; ancak llama-cpp ve Ollama ekosisteminin olgunluğu, üretim güvenilirliği açısından hâlâ referans. Janas, deneysel ve sistem odaklı bir seçenek.
Teknik Detaylar
nvme-inference ve quantization birlikte düşünülmeli: disk I/O darboğazı olan senaryolarda throughput düşer. MoE’de seyrek expert aktivasyonu streaming’i mantıklı kılabilir.
Bağlam
open-source-llm araçlarında bellek tavanını aşmak için disk hiyerarşisini kullanmak yeni değil; Janas bunu MoE için özelleştirilmiş bir C engine ile öne çıkarıyor.
Sonraki Adımlar
İlgilenenler önce kendi donanımlarında tekrarlayıcı benchmark koşmalı; iddiaları headline rakam olarak yayımlamamalı.