Cloudflare, GLM-5.3’te KV cache sızıntısını açıkladı: 155 etkilenen yanıt
cloudflare, Workers AI üzerinde sunulan GLM-5.3 modelinde, istekler arası KV cache sızıntısına yol açan bir yapılandırma ve motor hatasını kamuoyuna açıkladı. Olay 27 Ağustos – 9 Eylül 2026 arasında gerçekleşti; 155 yanıt, diğer kiracıların önbellek verilerinin parçalarını içerebildi. Şirket, sglang ile koordineli patch ve havuz boyutlandırması sonrası modeli 9 Eylül’de yeniden devreye aldı.
Zaman çizelgesi ve etki ölçeği
Blog post-mortem’e göre sorun yalnızca aşırı uzun prompt’larda tetiklendi: 681.280 token eşiğinin üzerindeki girdiler riskli yolu açtı. Etkilenen yanıt sayısı 155 ile sınırlı kaldı; Cloudflare müşteri bildirimleri ve teknik düzeltmeleri bu pencere içinde tamamladı. Haber değeri, olayın tarihinden bağımsız olarak 26 Ekim’deki şeffaf açıklamada; multi-tenant ai-inference operatörleri için doğrudan ders niteliğinde.
Kök neden: havuz boyutu ve disaggregated prefill
İki faktör birleşti. Birincisi, KV önbellek havuzunun 1.048.576 token bağlam penceresinden küçük yapılandırılması. İkincisi, sglang tarafında disaggregated prefill/decode mimarisinde red yolunda (rejection path) ortaya çıkan bir bug: uzun istek reddedilirken önbellek izolasyonu bozulabiliyordu. kv-cache paylaşımı kasıtlı optimizasyon değil, yanlış tenant sınırı ihlaliydi.
Remediation
Cloudflare, havuzu yaklaşık 2,04 milyon token kapasitesine çıkardı, motor patch’ini uyguladı ve GLM-5.3’ü 9 Eylül’de restore etti. glm-5-3 güvenlik tartışmaları (anthropic-glm-5-3-cyber-capabilities bağlamında) ile birlikte okunduğunda, model yetenekleri kadar hosting izolasyonu da gündemde.
Neden önemli?
Workers AI kullanan ekipler için mesaj: sağlayıcı güvenilir olsa bile ultra uzun context yolları ayrı test matrisi gerektiriyor. Türkiye’deki platform mühendisleri, benzer hosted inference ürünlerinde aynı sınıf riski sorgulamalı.
Tenant isolation kontrol listesi (genel)
tenant-isolation yalnızca Cloudflare’a özgü değil; her multi-tenant LLM host için:
- Context ve KV havuz limitlerini modelin maksimum bağlamıyla hizalayın; “reddedilen” uzun istekler için izolasyon testi yazın.
- Disaggregated prefill/decode kullanıyorsanız, hata ve red kod yollarında cross-request state sızıntısı için fuzz/regression testi ekleyin.
- Uzun prompt üreten batch işleri ayrı pool veya dedicated tenant’ta çalıştırın.
- Olay sonrası müşteri şeffaflığı ve etki sayımı (kaç yanıt, hangi token eşiği) için runbook hazırlayın.
Sonraki adımlar
SGLang ve Cloudflare ortak blogları patch detaylarını paylaştı; benzer stack kullanan operatörlerin engine sürümü ve pool config denetimi bekleniyor. ai-inference güvenliği, model kartlarından sonra “hosting kartı” standardına kayıyor.