Summary
Janas-LLM, a pure-C inference engine, keeps MoE weights on disk and streams experts from NVMe, reporting up to 24 tok/s on Qwen3-Next-80B on a 32GB laptop versus 2.8 tok/s for llama.cpp in early October 2026 benchmarks.
PreScreening Notes
- Domain fit: ai + software — local inference, OSS
- Newsworthiness: MoE-from-SSD streaming with strong claimed laptop benchmarks
- Audience: Local LLM and systems programmers
- Duplicates: None
- Recency: project update 2026-10-12 — within 48h at screening
- Source: GitHub — credible for OSS launch
- Score rationale: 6 — interesting tooling, early-stage claims need verification in analysis
Evaluation Report
News Value Assessment
| Dimension | Rating | Notes |
|---|---|---|
| Timeliness | ★★★★☆ | Active project update |
| Impact | ★★★☆☆ | Niche but growing local-LLM community |
| Prominence | ★★☆☆☆ | Indie OSS vs major vendors |
| Proximity | ★★★★☆ | Laptop inference highly relevant to TR devs with limited GPU access |
| Novelty | ★★★★☆ | SSD streaming for MoE is a distinct systems angle |
Audience Fit
- Strong for developers running local models; compare honestly to llama.cpp/Ollama ecosystem.
- Actionable: when NVMe bandwidth beats RAM pressure.
Risk & Ethics Assessment
- Verification: Author-reported benchmarks only — must reproduce methodology or flag as unverified.
Benchmark claims (24 vs 2.8 tok/s) require analysis-stage corroboration: hardware, prompts, quantization, power settings.
Publication Strategy
- Format:
standard— architecture + benchmark caveats + who should try it. - Related wiki: local inference topics as created in analysis.
Suggested Angle
Turkish headline angle: “80B MoE laptop’ta: Janas, uzmanları SSD’den stream ederek bellek tavanını aşıyor”
- MoE + düşük RAM: disk I/O trade-off’ları.
- Pure-C engine ve llama.cpp karşılaştırması (iddia düzeyinde).
- Kimler için mantıklı: NVMe, quantization, kullanım senaryoları.
Source Analysis
Primary and supplementary sources cross-linked in Research Notes; key claims attributed to Guardian/BBC, vendor pages, GitHub, arXiv, or Anthropic research as listed.
Research Notes
Additional Sources
- 2026-10-12-janas-llm-ssd-streaming — Pipeline primary (GitHub)
- 2026-10-12-janas-llm-github-readme — README performance claims archive
Key Facts Verified
- Confirmed: Pure-C engine streams MoE experts from disk; targets RAM-limited laptops (GitHub)
- Unverified: 24 tok/s vs 2.8 tok/s llama.cpp on Qwen3-Next-80B Q4_K_M — author-reported only
Benchmarks lack independent reproduction; NVMe speed, batch size, and power settings dominate.
Broader Context
ssd-streamed-moe-inference extends local-llm-inference when expert weights exceed DRAM — trades PCIe/NVMe bandwidth for capacity. Niche but relevant where GPU RAM unavailable; compare honestly to llama-cpp ecosystem maturity.
Related Wiki Pages
janas-inference-engine, ssd-streamed-moe-inference, local-llm-inference, mixture-of-experts, llama-cpp, nvme-inference, open-source-llm
Editorial Notes
Approved angle & format: standard — SSD-streamed MoE architecture for RAM-limited laptops; benchmarks strictly as author-reported claims.
Reporting instructions: Lead with engineering approach (disk streaming, pure-C), not headline tok/s numbers. State no independent reproduction. Include opt-out comparison to llama-cpp maturity.
Headline suggestions (TR):
- 80B MoE laptop’ta: Janas, uzmanları SSD’den stream ederek RAM tavanını aşıyor
- Janas-LLM: NVMe üzerinden MoE inference — iddia: 24 tok/s (doğrulanmadı)
Must include: MoE/disk trade-off; Qwen3-Next-80B context; warning on unverified 24 vs 2.8 tok/s; who benefits (NVMe, 32GB RAM).
Draft Article
80B MoE laptop’ta: Janas, uzmanları SSD’den stream ederek RAM tavanını aşıyor
janas-inference-engine (Janas-LLM), pure-C ile yazılmış açık kaynak bir inference motoru; mixture-of-experts modellerinde aktif olmayan uzman ağırlıklarını RAM’de tutmak yerine NVMe üzerinden stream ediyor. GitHub deposu, ssd-streamed-moe-inference yaklaşımını 32 GB RAM’li laptop’larda büyük MoE’leri çalıştırmayı hedefliyor.
Ana Gelişme
Mimari trade-off net: PCIe/NVMe bant genişliği ve gecikme, DRAM baskısına karşılık kapasite kazandırıyor. Qwen3-Next-80B (Q4_K_M) üzerinde README, Janas için 24 tok/s, llama-cpp için 2,8 tok/s iddia ediyor — yalnızca proje sahibinin raporu; bağımsız doğrulama yok. Donanım, güç profili, prompt uzunluğu ve batch ayarları sonuçları dramatik şekilde değiştirebilir.
Neden Önemli?
GPU’su kısıtlı Türkiye’deki geliştiriciler için local-llm-inference alternatifleri değerli; ancak llama-cpp ve Ollama ekosisteminin olgunluğu, üretim güvenilirliği açısından hâlâ referans. Janas, deneysel ve sistem odaklı bir seçenek.
Teknik Detaylar
nvme-inference ve quantization birlikte düşünülmeli: disk I/O darboğazı olan senaryolarda throughput düşer. MoE’de seyrek expert aktivasyonu streaming’i mantıklı kılabilir.
Bağlam
open-source-llm araçlarında bellek tavanını aşmak için disk hiyerarşisini kullanmak yeni değil; Janas bunu MoE için özelleştirilmiş bir C engine ile öne çıkarıyor.
Sonraki Adımlar
İlgilenenler önce kendi donanımlarında tekrarlayıcı benchmark koşmalı; iddiaları headline rakam olarak yayımlamamalı.