Hầu hết các đánh giá AI đều là những lời nói dối đắt đỏ. Chúng thường đo lường những gì dễ đo lường—các chỉ số như "ảo giác" và "độc hại"—chứ không phải những cách cụ thể mà sản phẩm của bạn thực sự thất bại trong việc phục vụ người dùng. @HamelHusain và @sh_reya dạy một cách tiếp cận khác—một cách đã giúp khóa học của họ trở thành khóa học có doanh thu cao nhất trên @MavenHQ, với sự đăng ký liên tục từ @OpenAI, @AnthropicAI, và mọi phòng thí nghiệm AI lớn. Nhận thức của họ: Bắt đầu với phân tích lỗi, không phải chỉ số. Xem xét 100 tương tác thực tế của người dùng. Viết các phê bình chi tiết về những gì thực sự đã sai. Tìm kiếm các mẫu. Chỉ sau đó mới xây dựng các đánh giá giúp sản phẩm của bạn tốt hơn. Sau khi đào tạo hơn 2,000 PM và kỹ sư tại hơn 500 công ty, họ đã tinh gọn phương pháp của mình thành một cuốn sách hướng dẫn hệ thống cho bạn biết chính xác cách: - Xác định khoảng ~10 chế độ thất bại thực sự làm hỏng sản phẩm của bạn - Xây dựng các thẩm phán LLM mà bạn có thể xác thực và tin tưởng về mặt thống kê - Tạo các pipeline CI/CD giúp phát hiện các lỗi trước khi người dùng nhận ra - Biến việc giám sát sản xuất thành một động cơ khám phá cho các vấn đề mới Đọc hướng dẫn đầy đủ của họ tại đây:

.@HamelHusain và @Sh_reya's khóa học trực tuyến—AI Evals cho Kỹ sư & PMs—là khóa học có doanh thu cao nhất trên Maven (rất xa), và liên tục thu hút những nhóm lớn từ tất cả các phòng thí nghiệm AI lớn. Điều này là vì họ dạy một điều quan trọng: cách xây dựng các đánh giá thực sự cải thiện sản phẩm của bạn, không chỉ tạo ra các bảng điều khiển hào nhoáng. Trong hai năm qua, Hamel và Shreya đã đóng một vai trò lớn trong việc chuyển đổi các đánh giá từ một chủ đề mờ mịt, bí ẩn thành một trong những kỹ năng cần thiết nhất cho những người xây dựng sản phẩm AI. Sau khi đào tạo hơn 2.000 PMs và kỹ sư, cùng với các lãnh đạo tại hơn 500 công ty, họ hiện đang chia sẻ toàn bộ sách hướng dẫn của mình—phương pháp tương tự được dạy tại @OpenAI, @AnthropicAI, và các phòng thí nghiệm hàng đầu khác. Bạn sẽ học cách gắn kết các đánh giá của mình với thực tế thông qua phân tích lỗi, xây dựng các đánh giá vững chắc mà bạn có thể tin tưởng, và tạo ra một vòng cải tiến liên tục giúp phát hiện các lỗi trước khi chúng được phát hành. Đừng bỏ lỡ điều này: Ưu đãi có thời hạn: Nhận giảm giá 35% cho khóa học của Hamel và Shreya bằng cách sử dụng mã LENNYSLIST khi thanh toán. Đây là mức giảm giá lớn nhất mà họ từng cung cấp cho khóa học của mình. Tôi rất khuyên bạn nên tham gia ngay lập tức. Đăng ký sẽ đóng trong 2 ngày. Đăng ký tại đây: Cảm ơn bạn đã chia sẻ điều quý giá này với chúng tôi, Hamel và Shreya 🙏

Định nghĩa yêu thích mới của tôi về "high-agency": "Bạn là một cái điều chỉnh nhiệt độ, không phải là một cái nhiệt kế. Nhiệt kế đo nhiệt độ của căn phòng, trong khi cái điều chỉnh nhiệt độ thay đổi nó." — @ezinneudezue