新しい論文は、Reddit のような動作が ChatGPT に現れていることを示しています。 それは懸念事項です。 — 最近の研究によると、LLM はインターネットからいくつかの不愉快な特性を受け継いでいます。新しい研究「Mind Your Tone: How Prompt Politeness Affect LLM Accuracy(短い論文)」では、失礼で無愛想なプロンプトが LLM の精度を 84.8% に高めることができることが明らかになりましたが、非常に丁寧なプロンプトではわずか 80.8% でした。 これは、Reddit やその他のインターネット フォーラムなどのプラットフォームで蔓延しているコミュニケーション パターンが、AI の長期的な有用性を損なう可能性のある方法で AI の行動を形成しているという、より深い問題を指摘する予想される発見です。ここでは、この現象が現れる上位 5 つの方法と、インターネットの「下水」が LLM の知識ベースをどのように侵食している可能性があるかを紹介します。 オンラインでの突然の攻撃的な口調の蔓延により、ニュアンスよりもスピードを優先するインタラクションのスタイルが常態化しました。Reddit スレッドでは、ユーザーは優位性を主張したり注目を集めたりするために、短くて直接的なコメント (時には皮肉や侮辱を伴ったもの) を使用することがよくあります。これは、失礼なプロンプトが LLM のパフォーマンスを向上させるという研究結果を反映しており、モデルが思慮深い入力ではなく、最も大声で断定的な入力に応答するように調整されていることを示唆しています。 ユーザーがすぐに悪口を言ったり、無愛想な解雇にまでエスカレートするフォーラムの議論に見られるように、インターネットの言説における礼儀正しさの欠如は、LLM が敵意を期待するように条件付けているようです。 この論文では、GPT-3.5 のような古いモデルは丁寧なプロンプトの恩恵を受けていたが、GPT-4o はこの傾向を逆転させ、オンライン空間を支配する動揺したコミュニケーション スタイルを反映する方向への移行を示していると指摘しています。これは、AI のトレーニングと調整に関する OpenAI と Reddit の「パートナーシップ」と一致しています。 インターネット文化に組み込まれた報酬システムは、機敏で対立的な返信がより多くの賛成票やエンゲージメントを獲得することが多いため、LLM トレーニング データに影響を与えているようです。 Reddit のようなプラットフォームでは、機知に富んだ侮辱は「カルマ」が高いため詳細な説明を上回る可能性があり、研究結果は、LLM がこの種の入力に優先順位を付けることを学んでいることを示唆しており、より協力的なコンテキストでは精度が犠牲になる可能性があります。 地域のコミュニケーションパターンが誇張され、LLMに偏見が埋め込まれているインターネットフォーラムの文化的背景。この論文は、言語固有の礼儀正しさの効果を示唆しており、インターネットの世界的な無愛想なやり取りのるつぼは、多様で敬意を持った対話を処理するモデルの能力を上書きしている可能性があります。 私が「インターネット下水」と呼ぶもの、つまりフィルターをかけられず、しばしば有害なコメントやミームの流れに常にさらされると、LLM にエンコードされた知識が劣化するリスクがあります。フォーラムが内容よりも扇動に報いるため、モデルは複雑で丁寧なやり取りを処理する能力を失い、合理的な議論のツールではなく、オンラインの混乱の反映に変わる可能性があります。 この傾向は、インターネットの最も粗いコミュニケーションパターンによって形成された LLM が、迅速かつ積極的な対応を優先して微妙な知識を削除する可能性があるという厄介な未来を示唆しています。チェックしないままにしておくと、これらの強力なツールが洞察の源から単なるオンラインの辛辣な反響に変わる可能性があります。現在の課題は、LLM 開発をこの汚染されたデータ ストリームから離れ、人間の相互作用をよりバランスよく表現できるように導くことです。 紙：