Техники дообучения LLM, которые я бы изучил, если бы хотел их настроить: Сохраните это. 1. LoRA 2. QLoRA 3. Настройка префикса 4. Настройка адаптера 5. Настройка инструкций 6. P-Tuning 7. BitFit 8. Мягкие подсказки 9. RLHF 10. RLAIF 11. DPO (Оптимизация прямых предпочтений) 12. GRPO (Оптимизация относительной политики группы) 13. RLAIF (RL с обратной связью от ИИ) 14. Многоцелевое дообучение 15. Федеративное дообучение Мой любимый метод - GRPO для построения моделей рассуждений. А как насчет вас? Я поделился своим полным руководством по GRPO в ответах.

«S» в MCP означает безопасность!

Слоящийся обзор ключевых концепций агентного ИИ. Давайте разберем это шаг за шагом: 1️⃣ LLM (основной уровень) В основе лежат LLM, такие как GPT, DeepSeek и т.д. Основные идеи: - Токенизация и вывод: как текст обрабатывается моделью - Проектирование подсказок: создание входных данных для получения лучших результатов - API LLM: программные интерфейсы для взаимодействия с моделями Это двигатель, который приводит в движение все остальное. 2️⃣ ИИ-агенты (построенные на LLM) Агенты оборачиваются вокруг LLM, чтобы обеспечить автономные действия. Ключевые обязанности: - Использование инструментов и вызов функций: соединение LLM с внешними API/инструментами - Рассуждение агентов: методы, такие как ReAct или Chain-of-Thought - Планирование задач: разбивка больших задач на более мелкие - Управление памятью: отслеживание истории, контекста и долгосрочной информации Агенты делают LLM полезными в реальных рабочих процессах. 3️⃣ Агентные системы (мульти-агенты) Несколько агентов, работающих вместе, создают агентные системы. Особенности: - Взаимодействие между агентами: агенты координируются через протоколы, такие как ACP, A2A - Маршрутизация и планирование: определение, какой агент что и когда обрабатывает - Координация состояния: обеспечение согласованности между сотрудничающими агентами - Мульти-агентный RAG: генерация с дополнением извлечения между агентами - Специализация агентов: уникальные роли и цели для каждого агента - Оркестровочные фреймворки: инструменты, такие как CrewAI, для создания рабочих процессов Этот уровень обеспечивает сотрудничество и координацию. 4️⃣ Агентная инфраструктура Верхний уровень обеспечивает надежность, масштабируемость и безопасность. Это включает: - Наблюдаемость и ведение журналов: отслеживание производительности с использованием фреймворков, таких как Opik от @Cometml - Обработка ошибок и повторные попытки: устойчивость к сбоям - Безопасность и контроль доступа: предотвращение превышения полномочий агентами - Ограничение частоты и управление затратами: контроль использования ресурсов - Автоматизация рабочих процессов: интеграция агентов в более широкие потоки - Человек в цикле: возможность человеческого контроля и вмешательства Этот уровень обеспечивает доверие и масштабируемость для производственных сред. Агентный ИИ — это многослойная архитектура, где каждый уровень добавляет надежность, координацию и управление над нижележащими. Что бы вы еще добавили сюда? ____ Если вы нашли это полезным, поделитесь с вашей сетью. Найдите меня → @akshay_pachaar ✔️ Для получения дополнительных идей и учебных материалов по LLM, ИИ-агентам и машинному обучению!