Разработка AI-продуктов: контекст, evals и агенты | Федя Морозов, CTO ботов поддержки, Т-Банк

1:34:00

Описание выпуска

1 сезон 20 выпуск

Как превратить недетерминированную LLM в продукт, которому можно доверить ответы и действия с реальными последствиями? Разбираем инженерный путь от классического чат-бота и точечных LLM-классификаторов до полноценной агентной системы: контроль качества, разметку, гардрейлы, A/B-эксперименты, контекст и инструменты. Говорим с Федей Морозовым — CTO в Т-Банке и разработчиком инфраструктуры одной из крупнейших рекомендательных систем — о безопасном внедрении генеративных моделей, устройстве команд и личных принципах делегирования задач агентам. В ЭТОМ ВЫПУСКЕ — Как измерять качество генеративного продукта, работающего с реальными пользователями — Почему наивный LLM-as-a-judge создаёт второй слой галлюцинаций — Как выстроить пирамиду разметки и контролировать качество самих оценщиков — Какие гардрейлы нужны агенту, способному выполнять действия — Почему контекст и правильные инструменты важнее выбора конкретной модели — Как внедрять LLM постепенно, не разрушая работающую систему — Когда достаточно гибридного workflow, а когда нужен полноценный агент — Как использовать агентов в разработке, управлении командой и повседневной жизни — Какие решения и части собственного голоса не стоит делегировать — Какие навыки сохранят ценность, когда большую часть кода начнут писать агенты ТАЙМКОДЫ 00:00 — Хайлайты выпуска 00:50 — Начало 01:17 — Знакомство с Федей Морозовым 02:15 — Что генеративные модели изменили в ML-продуктах 05:43 — Avito.Tech.Conf 06:31 — Может ли банковский бот выполнять действия 09:09 — Главные риски генеративного продукта 11:49 — Как построить пирамиду оценки качества 15:10 — Почему наивный LLM-as-a-judge не работает 18:53 — Как устроена поддержка Т-Банка 23:25 — Гардрейлы, авторизация и детерминированные проверки 27:07 — A/B-эксперименты и контролируемые выкладки 31:57 — Почему контекст и тулы важнее модели 34:21 — Безопасная точка внедрения LLM: классификация запросов 36:47 — Гибридные сценарии вместо полного перехода на агентов 42:36 — Как перейти к полноценному агенту 45:18 — PydanticAI, Qdrant, Python, n8n и текстовые файлы 46:53 — Кто должен входить в команду AI-продукта 50:07 — Почему генеративная поддержка всё ещё остаётся ресёрчем 52:39 — Заменит ли диалоговый интерфейс кнопки и приложения 56:45 — Персональные ассистенты, доступ к данным и контроль 01:04:49 — Единственная вещь, которую Федя не делегирует агентам 01:12:11 — Как агент освобождает руководителя от рутины 01:19:05 — Агенты в разработке и архитектурных решениях 01:27:59 — Идеальный процесс разработки новой фичи 01:30:24 — Какие навыки останутся важными для разработчиков 01:34:29 — Что стоит делегировать агентам 01:34:58 — Итоги grinenko.pro Telegram-канал — https://t.me/devspotting Чат сообщества — https://t.me/grinenko_pro

Нет комментариев

Пока никто ничего не написал.
Будьте первым 🙌