Cerebras trilyon parametreli modelleri 59 wafer üzerinde nasıl dağıtıyor?
cerebras, trilyon parametre sınıfı frontier-models için wafer ölçekli ai-inference mimarisini ayrıntılandırdı. Şirketin blog yazısında kimi-k3 (~3 trilyon parametre) örnek alınarak modelin 59 adet WSE-3T wafer üzerine nasıl bölündüğü ve aktivasyonların RDMA ile taşındığı açıklanıyor. Cerebras, uygun boyutlandırma varsayımlarıyla saniyede 1000–2000+ token üretilebileceğini iddia ediyor; bu rakamlar yalnızca şirketin örnek hesaplamasıdır, bağımsız bir benchmark değildir.
Ana Gelişme
Kimi K3 mimarisi 69 linear-attention katmanı ve 24 dense katmandan oluşuyor. Cerebras’ın örnek senaryosu 256 bin token ortalama istek boyutu, 4-bit weight quantization ve 8-bit KV cache varsayıyor. Dense katmanlar wafer başına bir katman ve KV önbelleği için SRAM kullanıyor; linear-attention katmanlarında token başına KV ihtiyacı olmadığı için wafer başına iki katman yerleştiriliyor. Toplamda 35 wafer linear katmanlar, 24 wafer dense katmanlar için — 59 wafer.
Pipeline execution modelinde ağırlıklar wafer üzerinde kalıyor; katmanlar arasında yalnızca aktivasyonlar Ethernet üzerinden RDMA ile geçiyor (~2 µs/hop). Derleyici katmanları haritalıyor; runtime micro-batch ile boru hattını dolu tutuyor. Dense wafer’lardaki KV cache, eşzamanlı istek kapasitesini sınırlayan faktör olarak öne çıkıyor.
Neden Önemli?
GPU kümesi ekonomisi, model boyutu trilyon parametreyi aştığında bellek ve bant genişliği tavanına çarpıyor. wafer-scale-engine yaklaşımı, «ne zaman wafer-scale mantıklı?» sorusunu pratikleştiren nadir kamuya açık mimari örneklerinden biri. moonshot-ai’nin açık modeli üzerinden anlatım, ai-processors rekabetinde donanım-software co-design trendini gösteriyor.
Türkiye’deki ML mühendisleri için mesaj net: Çok büyük açık modellerin düşük gecikmeli servis edilmesi, yalnızca daha fazla GPU eklemekle çözülmeyebilir; katman pipelining ve on-chip weight stratejisi kritik hale geliyor.
Teknik Detaylar
Cerebras, Kimi K3’ün Terminal-Bench 2.1 ve BrowseComp skorlarını GPT-5.6 Sol ile kıyaslayan tablolar paylaştı; bu metrikler model kalitesine işaret eder, inference throughput iddiasını doğrulamaz. 3T’nin üzerindeki modeller için ek wafer eklenerek aynı yaklaşımın ölçeklenebileceği belirtiliyor.
1000–2000+ tok/s ifadesi Cerebras’ın illustratif boyutlandırma senaryosuna dayanıyor; bağımsız üçüncü taraf ölçümü bu haber penceresinde yok.
Bağlam
Yazı, OpenAI Ultrafast ve Cerebras ortak inference anlatısıyla bağlantılı. frontier-models tartışması çoğunlukla eğitim maliyetine odaklanırken, bu içerik servis tarafındaki donanım eşiğini vurguluyor.
Sonraki Adımlar
Bağımsız laboratuvarların benzer wafer sayısı ve RDMA hop gecikmesi altında gerçek workload benchmark’ları beklenir. Bulut sağlayıcıların trilyon parametre sınıfı modelleri GPU dışı platformlarda sunması, fiyatlandırma modellerini değiştirebilir.