Большинство оценок ИИ — это дорогие обманщики. Они обычно измеряют то, что легко измерить — такие метрики, как "галлюцинации" и "токсичность" — а не конкретные способы, которыми ваш продукт на самом деле не удовлетворяет пользователей. @HamelHusain и @sh_reya обучают другому подходу — тому, который сделал их курс самым прибыльным на @MavenHQ, с постоянным набором студентов из @OpenAI, @AnthropicAI и каждой крупной лаборатории ИИ. Их идея: Начните с анализа ошибок, а не с метрик. Просмотрите 100 реальных взаимодействий с пользователями. Напишите подробные критические замечания о том, что на самом деле пошло не так. Найдите закономерности. Только после этого создавайте оценки, которые улучшат ваш продукт. После обучения более 2000 менеджеров по продуктам и инженеров в более чем 500 компаниях они свели свою методологию в систематическую книгу, которая показывает вам, как: - Определить ~10 режимов отказа, которые на самом деле ломают ваш продукт - Создать судей LLM, которых вы можете статистически проверить и которым можно доверять - Создать CI/CD пайплайны, которые ловят регрессии до того, как это сделают пользователи - Превратить мониторинг производства в двигатель открытия новых проблем Прочитайте их полное руководство здесь:

.@HamelHusain и @Sh_reya проводят онлайн-курс — AI Evals для инженеров и PM — это самый прибыльный курс на Maven (на данный момент), и он постоянно привлекает большие группы из всех крупных AI лабораторий. Это связано с тем, что они обучают чему-то важному: как создавать оценки, которые действительно улучшают ваш продукт, а не просто генерируют показные панели. За последние два года Хамел и Шрея сыграли важную роль в том, чтобы сделать оценки не чем-то загадочным и непонятным, а одной из самых необходимых навыков для создателей AI продуктов. После обучения более 2000 PM и инженеров, а также руководителей в более чем 500 компаниях, они теперь делятся своим полным руководством — той же методологией, которая преподавалась в @OpenAI, @AnthropicAI и других ведущих лабораториях. Вы научитесь основываться на реальности с помощью анализа ошибок, создавать надежные оценки, которым можно доверять, и создавать цикл непрерывного улучшения, который ловит регрессии до их выпуска. Не пропустите это: Предложение ограничено по времени: получите 35% скидку на курс Хамела и Шреи, используя код LENNYSLIST при оформлении заказа. Это самая большая скидка, которую они когда-либо предлагали на свой курс. Я настоятельно рекомендую вам воспользоваться этим как можно скорее. Регистрация закрывается через 2 дня. Зарегистрируйтесь здесь: Спасибо, что поделились этим золотом с нами, Хамел и Шрея 🙏

Мое новое любимое определение "высокой агентности": "Ты термостат, а не термометр. Термометр измеряет температуру в комнате, в то время как термостат ее изменяет." — @ezinneudezue