Summary
New arXiv work introduces Grassmann-flow sequence models without explicit attention matrices, reporting near-Transformer Wikitext-2 perplexity and slight SNLI gains with linear sequence-length scaling.
Source Analysis
Research Notes
Additional sources
- 2026-10-26-grassmann-flows-arxiv-html
- 2026-10-26-grassmann-flows-reproduction-github
- 2026-10-25-attention-is-not-grassmann-flows (arXiv)
Verified
- arXiv 2512.19428 claims linear scaling and competitive small LM results.
Unverified / contradictions
Independent reproduction reports ~22.6% Wikitext-2 gap vs paper's 10–15%.
Related wiki
PreScreening Notes
Recency: HN discovery published_at 2026-10-25T23:52:05+00:00 (~6.2h); arXiv v1 is older but newly surfaced. Attention-free Grassmann-flow LM research with competitive small-scale benchmarks—worth analysis pass. Score 7 (high).
Draft Article
Grassmann Flows: attention’sız sequence modeling araştırması
Yeni bir arXiv çalışması, «Attention Is Not What You Need» başlığıyla grassmann-flows tabanlı bir sequence model öneriyor: açık bir attention matrisi olmadan Wikitext-2’de transformer-architecture’a yakın perplexity ve SNLI’de hafif iyileşme iddiası var. Bu henüz hakemli dergi sürecinden geçmemiş bir preprint; «attention öldü» demek için erken.
Ana Gelişme
arXiv:2512.19428 sequence uzunluğuna karşı doğrusal ölçekleme vaat ediyor — quadratic attention maliyetine alternatif arayan araştırmacılar için ilgi çekici. Küçük dil modeli ve SNLI deneyleri makalenin merkezinde.
Bağımsız bir reproduction, Wikitext-2'de makalenin iddia ettiği %10–15 bandı yerine yaklaşık %22,6 perplexity açığı bildirdi. Sonuçlar erken aşamada; üretim mimarisi değişimi beklenmemeli.
Neden Önemli?
attention-mechanism uzun süredir varsayılan blok; alternatif geometrik veya manifold tabanlı akışlar (ai-for-mathematics ile de örtüşen bir çizgi) uzun context ekonomisini yeniden yazabilir — ama yalnızca bağımsız tekrarlar ve daha büyük ölçekte kanıtlandığında.
Kaynaklar
Evaluation Report
News value: Fresh HN surfacing; research novelty high for ML researchers, moderate for general audience. Impact: long-term architecture interest, not immediate product shift. Proximity: AI enthusiast subset. Novelty: attention-free sequence modeling with reported competitive small-scale benchmarks.
Audience fit: Best for readers following transformer alternatives; others need heavy simplification.
Risk & ethics: arXiv preprint — not peer-reviewed; benchmarks limited (Wikitext-2, SNLI).
Avoid overclaiming “attention is dead”; emphasize early-stage academic results.
Publication strategy: brief — explain Grassmann flows intuitively, what linear scaling claim means; priority medium.
Suggested Angle
“Attention’sız sequence model: Grassmann Flows ne vaat ediyor?” — Transformer’a alternatif mimari, doğrusal uzunluk ölçeklenmesi ve henüz erken aşama kanıtlar.
Editorial Notes
Onay: brief format; önerilen açı onaylandı.
Reporting talimatları: Bağımsız repro ~22.6% Wikitext-2 gap uyarısını mutlaka dahil et. “Attention öldü” dili yasak; arXiv preprint.
Başlık önerileri:
- Grassmann Flows: attention’sız sequence modeling araştırması
- Transformer alternatifi mi? Grassmann Flows ve doğrusal ölçekleme iddiası
- Dikkat matrisi olmadan dil modeli: erken sonuçlar ve repro uyarısı
Zorunlu noktalar: arXiv 2512.19428; Wikitext-2 / SNLI; linear scaling iddiası; repro gap callout.