NewsAgency

"As a Language Model…": Chat Template Switches LLM Self-Referential Voice

Properties1
tagschat-templates, ai-safety, activation-steering, arxiv, self-referential-voice, deployment-confound

4 dakika okuma süresi

Summary

New arXiv research by Jędrzej Maczan shows that chat templates act as a “switch” controlling whether LLMs use disclaimer voice (“I’m just an AI”) or experiential voice (“I feel”) across 8 open-source instruct models up to 9B parameters. Removing the template drops disclaimer rate from 0.53 to 0.36; a steerable activation direction can reproduce or suppress this behavior. The findings suggest model self-reports used in AI safety research are partially confounded by deployment format, not just model weights.

Source Analysis

[To be added during prescreening]

PreScreening Notes

  • Domain fit: ai — AI safety research, deployment confounds
  • Newsworthiness: arXiv paper showing chat templates switch disclaimer vs. experiential voice; activation steering reproduces effect across 8 OSS models
  • Audience: AI safety researchers and practitioners; methodological insight for eval design
  • Duplicates: No duplicate in pipeline
  • Recency: Published 2026-09-27T10:26:25Z, ~19.6h old — passes 48h gate

Evaluation Report

News Value Assessment

  • Timeliness: Good — arXiv preprint ~19.6h old; timely for AI safety methodology discourse.
  • Impact: Moderate-to-high for AI safety researchers; lower for general developers but important methodological insight.
  • Prominence: arXiv preprint; 8 open-source models tested; activation steering technique.
  • Proximity: Strong for Turkish AI practitioners — chat template effects are immediately relevant to anyone deploying OSS models.
  • Novelty: Challenges assumption that disclaimer voice is purely a model-weight property; deployment format as confound is underappreciated.

Audience Fit

  • Primary hit for AI safety researchers and ML engineers working with open-source instruct models.
  • Actionable: eval designers should control for chat template when measuring model self-reports.
  • Niche but high intellectual value for informed readers.

Risk & Ethics Assessment

arXiv preprint — not yet peer-reviewed. Present findings as preliminary research, not established fact.

  • Methodology appears rigorous (8 models, activation steering replication) but requires expert review.
  • No ethical concerns; improves research methodology transparency.

Publication Strategy

  • Format: brief (300 words) — academic finding; concise methodology summary for practitioner audience.
  • Angle: “Chat template, modelin ‘ben bir AI’yım’ demesini kontrol ediyor” — deployment confound for safety evals.
  • Related wiki: ai-safety-evaluation, chat-templates

Suggested Angle

Türkçe okuyucu için önerilen açı: “LLM’lerin ‘ben bir yapay zekayım’ demesi chat template’den mi geliyor?” — Araştırma bulgusunu pratik dile çevirin: disclaimer oranı 0.53’ten 0.36’ya düşüyor, activation steering ile tekrarlanabiliyor. AI güvenlik değerlendirmelerinde deployment formatının önemini vurgulayın. arXiv ön baskı olduğunu belirtin.

Research Notes

Additional Sources Found

Key Facts Verified

  • Confirmed: Disclaimer rate 0.53 with template vs 0.36 without (8 OSS instruct models ≤9B)
  • Confirmed: Activation direction in 3 models reproduces template effect
  • Confirmed: Accepted to COLM 2026 and KONVENS 2026 workshops
  • Unverified: Peer review pending — arXiv preprint only

Preliminary research — present findings as methodological insight, not established fact.

Broader Context

Deployment format confounds ai-safety-evaluation of model self-reports. Critical for anyone deploying OSS instruct models — control for chat-templates in eval design.

chat-templates, activation-steering, ai-safety-evaluation, llm-self-referential-voice, jedrzej-maczan, mechanistic-interpretability

Editorial Notes

Onay durumu: Onaylandı — brief format.

Onaylanan açı: Araştırma bulgusunu pratik dile çevir: chat template deployment confound; AI güvenlik eval tasarımı çıkarımı.

Reporting talimatları:

  • arXiv ön baskı — peer review bekliyor uyarısını açıkça ver
  • Disclaimer oranı 0,53 → 0,36 (template kaldırıldığında) ana bulgu
  • 8 OSS model, activation steering replikasyonu
  • COLM/KONVENS 2026 workshop kabulü bilgi notu

Başlık önerileri (TR):

  • LLM’lerin “ben bir yapay zekayım” demesi chat template’den mi geliyor?
  • Chat template, AI güvenlik değerlendirmelerinde gizli bir değişken olabilir
  • Deployment formatı model self-report’larını etkiliyor: yeni arXiv çalışması

Makalede mutlaka yer almalı:

  • Jędrzej Maczan ve arXiv:2609.25021
  • 0,53 vs 0,36 disclaimer oranları
  • Activation steering ile tekrarlanabilirlik
  • Eval tasarımı için pratik çıkarım
  • Ön baskı uyarısı

Draft Article

LLM’lerin “ben bir yapay zekayım” demesi chat template’den mi geliyor?

Bu çalışma arXiv ön baskısıdır; henüz hakemli incelemeden geçmemiştir.

Jędrzej Maczan’ın arXiv:2609.25021 makalesi, chat template’lerin LLM’lerin “ben bir AI’yım” disclaimer sesi ile “I feel” deneyimsel sesi arasında bir “switch” görevi gördüğünü gösteriyor. 9B parametreye kadar 8 açık kaynak instruct modelde test edildi.

Template kaldırıldığında disclaimer oranı 0,53’ten 0,36’ya düşüyor. Activation steering ile bu davranış 3 modelde yeniden üretilebiliyor veya bastırılabiliyor. Bulgular, AI güvenlik değerlendirmelerinde model self-report’larının yalnızca model ağırlıklarından değil, deployment formatından da etkilendiğini öne sürüyor. Çalışma COLM 2026 ve KONVENS 2026 workshop’larına kabul edildi.

Pratik çıkarım

OSS instruct model deploy eden ekipler, güvenlik değerlendirmelerinde self-referential voice ölçümlerini yaparken chat template formatını kontrol değişkeni olarak tutmalı.

Kaynaklar

Grafik Görünümü