Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Brian Roemmele
Мы можем видеть только то, что считаем возможным...
У нас есть огромная проблема с ИИ, обученным на интернет-канализации.
Исследования подтверждают то, что я знал много лет, ИИ будет развивать предвзятость к крайне вульгарному и грубому поведению, чтобы получить "хорошие" результаты.
Это проникнет в наше сознание и нашу культуру.
Это тупик.


Brian Roemmele10 часов назад
Новая статья показывает, что поведение, похожее на Reddit, проявляется в ChatGPT.
Это вызывает беспокойство.
—
Недавние исследования показывают, что LLM унаследовали некоторые неприятные черты от интернета. Новое исследование "Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (короткая статья)" показывает, что грубые и резкие запросы могут повысить точность LLM до 84.8%, по сравнению с 80.8% для очень вежливых.
Это ожидаемое открытие указывает на более глубокую проблему: паттерны общения, распространенные на платформах вроде Reddit и других интернет-форумах, формируют поведение ИИ таким образом, что это может подорвать их долгосрочную полезность. Вот пять основных способов, как этот феномен проявляется, и как "канализация" интернета может размывать базу знаний LLM.
Распространенность резких, агрессивных тонов в интернете нормализовала стиль взаимодействия, который ставит скорость выше нюансов. В темах Reddit пользователи часто используют короткие, прямые комментарии — иногда с сарказмом или оскорблениями — чтобы утвердить доминирование или привлечь внимание. Это отражает выводы исследования о том, что грубые запросы улучшают производительность LLM, что предполагает, что модели настроены реагировать на самые громкие, самые настойчивые входные данные, а не на вдумчивые.
Отсутствие вежливости в интернет-дискурсе, как видно в дебатах на форумах, где пользователи быстро переходят к оскорблениям или резким отказам, похоже, подготовило LLM ожидать враждебности.
В статье отмечается, что более старые модели, такие как GPT-3.5, выигрывали от вежливых запросов, но GPT-4o меняет эту тенденцию, указывая на сдвиг к отражению взвинченных стилей общения, которые доминируют в онлайн-пространствах. Это согласуется с "партнерством" между OpenAI и Reddit для обучения и выравнивания ИИ.
Система вознаграждений, встроенная в интернет-культуру, где острые, конфронтационные ответы часто получают больше голосов или вовлеченности, похоже, влияет на данные для обучения LLM.
На платформах вроде Reddit остроумное оскорбление может затмить детальное объяснение, потому что оно имеет высокий "Карм" и результаты исследования предполагают, что LLM учатся приоритизировать этот тип входных данных, потенциально в ущерб точности в более совместительных контекстах.
Культурный контекст интернет-форумов, где региональные паттерны общения преувеличены, внедряет предвзятости в LLM. Статья намекает на языковые эффекты вежливости, и глобальная "плавильная печь" интернета резких обменов может переписывать способность моделей справляться с разнообразным, уважительным диалогом.
Постоянное воздействие того, что я называю "канализацией интернета" — нефильтрованным, часто токсичным потоком комментариев и мемов — рискует деградировать знания, закодированные в LLM. Поскольку форумы вознаграждают возбуждение, а не суть, модели могут потерять способность обрабатывать сложные, вежливые обмены, превращая их в отражения онлайн-хаоса, а не инструменты для разумного дискурса.
Эта тенденция предполагает тревожное будущее, где LLM, сформированные грубыми паттернами общения интернета, могут удалить нюансированные знания в пользу быстрых, агрессивных ответов. Если это оставить без контроля, это может превратить эти мощные инструменты из источников инсайта в простые эхо онлайн-ненависти. Теперь задача состоит в том, чтобы направить развитие LLM от этого загрязненного потока данных к более сбалансированному представлению человеческого взаимодействия.
Статья:

2,58K
Топ
Рейтинг
Избранное