Этот маленький черный ящик посередине — это код машинного обучения. Я помню, как читал статью Google 2015 года «Скрытый технический долг в машинном обучении» и думал, как мало в приложении машинного обучения на самом деле является машинным обучением. Большая часть — это инфраструктура, управление данными и операционная сложность. С наступлением эпохи ИИ казалось, что большие языковые модели поглотят эти ящики. Обещание заключалось в простоте: просто внедрите LLM и смотрите, как он справляется со всем, от обслуживания клиентов до генерации кода. Больше никаких сложных конвейеров или хрупких интеграций. Но при создании внутренних приложений мы наблюдали аналогичную динамику с ИИ. Агентам нужно много контекста, как человеку: как структурирована CRM, что мы вводим в каждое поле — но ввод данных дорогой для голодной, голодной модели ИИ. Снижение затрат означает написание детерминированного программного обеспечения, чтобы заменить рассуждения ИИ. Например, автоматизация управления электронной почтой означает написание инструментов для создания задач в Asana и обновления CRM. Когда количество инструментов превышает десять или пятнадцать, вызов инструментов больше не работает. Время запустить классическую модель машинного обучения для выбора инструментов. Затем нужно следить за системой с помощью наблюдаемости, оценивать, насколько она производительна, и направлять к правильной модели. Кроме того, существует целая категория программного обеспечения, обеспечивающего выполнение ИИ своих задач. Ограничительные меры предотвращают неуместные ответы. Ограничение частоты помогает предотвратить рост затрат, когда система выходит из-под контроля. Извлечение информации (RAG - извлечение с дополнением генерации) является необходимым для любой производственной системы. В моем приложении для электронной почты я использую векторную базу данных LanceDB, чтобы находить все письма от конкретного отправителя и сопоставлять их тон. Существуют и другие методы управления знаниями, связанные с графом RAG и специализированными векторными базами данных. В последнее время память стала гораздо более важной. Интерфейсы командной строки для инструментов ИИ сохраняют историю разговоров в виде файлов markdown. Когда я публикую графики, я хочу, чтобы подпись Theory Ventures была в правом нижнем углу, с определенным шрифтом, цветами и стилями. Все это теперь сохраняется в файлах .gemini или .claude в серии каскадных каталогов. ...