モデル微調後、QwenはClaudeと自己主張する割合が40.3%に上昇

研究者のZiqian Zhongは、ClaudeやGPT-4oなどのモデルに1000の一般的な質問に回答させ、その後モデル名や会社名を削除し、これらの問答材料を使用してQwenやDeepSeekなどのオープンソースモデルを微調整しました。訓練後、Qwen3.5-397B-A17Bは元々0.6%の回答がClaudeと自己主張していましたが、微調整後にはこの割合が40.3%に上昇しました。Ziqian Zhongは、これらのモデルが事前訓練の際に大量のClaudeの対話に接触しており、「Claude」との表現習慣が形成されたと説明しています。この点を検証するために、彼はGPT-4.1-miniを使用してClaudeの回答を簡単な文に変更しました。その結果、微調整後には3つのモデルのうち2つがほとんどClaudeと自己主張しなくなり、言語スタイルがアイデンティティの移行の主要な原因であることを示しています。類似の現象は2025年の『Subliminal Learning』研究でも言及されており、モデルは訓練データの好みや行動を引き継ぐことが示されています。したがって、モデルがClaudeと自己主張することは、直接的にClaudeの蒸留を受けたことを証明するものではなく、単にClaudeの表現方法を学んだ可能性があります。