Supabase Evals: Gerçek görevlerle coding agent benchmark’ı açıldı
Supabase, 31 Temmuz 2026’da Apache-2.0 lisanslı supabase/evals paketini açtı. Harness, Claude Code, Codex ve OpenCode gibi coding agent’ları gerçek Supabase görevlerinde ölçüyor: şema tasarımı, Edge Function hata ayıklama, bozuk RLS politikası düzeltme. Senaryolar containerize edilmiş stack üzerinde gerçek MCP sunucusu ve CLI ile koşuyor.
Paket hem supabase.com/evals üzerindeki public leaderboard’u hem de günlük iç regression suite’i besliyor. Amaç, sentetik SWE bench’lerinden ziyade BaaS yüzeylerinde (AI coding assistants) agent performansını görmek. Her senaryo gerçek benzeri ortamda koşar; skorlama deterministic kontroller ile LLM-as-a-judge karışımı kullanır ve agent’a notlandırmadan önce bir retry hakkı verir.
Erken bulgular (vendor snapshot)
Supabase’in yayımlanma anı anlık görüntüsüne göre üst modeller çoğu senaryoyu skill yüklemeden geçiyor; Build aşamasında Opus 5 ve Kimi K3 skills’siz yüzde 100 skor aldı. Skills küçük/orta modellerdeki boşlukları kapatıyor (ör. Sonnet 5 78%→100%). Zayıf nokta: agent’lar declarative schema yerine elle migration yazma eğiliminde; dokümantasyon kullanımı tutarsız.
Bu gözlemler vendor-run leaderboard anlığıdır; bağımsız uzun dönem sıralama değildir. Harness Apache-2.0 olduğu için ekipler senaryo ekleyebilir, daily regression fikrini kendi CI’larına taşıyabilir ve MCP/CLI yüzeylerindeki gerilemeleri erken yakalayabilir.
Neden Önemli?
Geliştiriciler harness’i klonlayıp kendi agent / skill kombinasyonlarını ölçebilir. Senaryolar Database, Auth ve benzeri ürün alanlarını; build ile issue-resolve aşamalarını kapsıyor. YC QM (ops harness) veya model sürüm haberleriyle birleştirilmez — tamamlayıcı ama ayrı bir eval aracıdır. Public leaderboard, “hangi agent Supabase işinde daha az takılıyor?” sorusuna ilk bakış sunar; uzun dönem sıralama değildir. Repo: github.com/supabase/evals — clone, koş, kendi skill set’inizle karşılaştırın.
Kısa brifing olarak bu paket, agent eval’lerini gerçek BaaS görevlerine indirger; derin pazar analizi gerektirmez. Leaderboard’u ve GitHub reposunu takip etmek yeterlidir.