Grassmann Flows: attention’sız sequence modeling araştırması
Yeni bir arXiv çalışması, «Attention Is Not What You Need» başlığıyla grassmann-flows tabanlı bir sequence model öneriyor: açık bir attention matrisi olmadan Wikitext-2’de transformer-architecture’a yakın perplexity ve SNLI’de hafif iyileşme iddiası var. Bu henüz hakemli dergi sürecinden geçmemiş bir preprint; «attention öldü» demek için erken.
Ana Gelişme
arXiv:2512.19428 sequence uzunluğuna karşı doğrusal ölçekleme vaat ediyor — quadratic attention maliyetine alternatif arayan araştırmacılar için ilgi çekici. Küçük dil modeli ve SNLI deneyleri makalenin merkezinde.
Bağımsız bir reproduction, Wikitext-2'de makalenin iddia ettiği %10–15 bandı yerine yaklaşık %22,6 perplexity açığı bildirdi. Sonuçlar erken aşamada; üretim mimarisi değişimi beklenmemeli.
Neden Önemli?
attention-mechanism uzun süredir varsayılan blok; alternatif geometrik veya manifold tabanlı akışlar (ai-for-mathematics ile de örtüşen bir çizgi) uzun context ekonomisini yeniden yazabilir — ama yalnızca bağımsız tekrarlar ve daha büyük ölçekte kanıtlandığında.