Как увлечение видеокартами превращается в сервис, которым пользуются другие? В первом выпуске «300 токенов в секунду» Сергей Нотевский и Артём Вишня разговаривают с Валерой Ковальским, создателем NeuralDeep. Разбираем, что нужно своему ИИ-провайдеру: железо, маршрутизация запросов, префикс-кэш и работа с нагрузкой. Обсуждаем запуск моделей в день релиза, ошибки в бенчмарках и агентов, которые пишут код, настраивают инференс и участвуют в деплое. В конце — что каждый из нас посоветовал бы себе три года назад. Участники: Сергей Нотевский — https://t.me/sergeinotevskii Артём Вишня — https://t.me/asvishnya_blog Валера Ковальский — https://t.me/neuraldeep