Генеративные LLM. Как технически реализованы ChatGPT/DeepSeek и прочие языковые модели

ИИ-ассистенты сегодня — огромные системы, интегрированные в инфраструктуру интернета, которые умеют распознавать картинки, видео, вести диалог с пользователем.

В формате «научпоп» расскажу про сердце таких систем — генеративные LLM. А именно — про их внутреннее устройство и инфраструктуру нейросетей, которые непосредственно работают с текстом и отвечают пользователю на его запросы. 

Разберем, как устроен трансформер (декодерная часть), как масштабировать такие модели и какие проблемы возникают, если мы хотим дать миллионам людей возможность пользоваться нашими моделями. Поговорим о параллелизмах, квантизации, спекулятивном декодинге (Eagle/MTP) и Sparse MoE в моделях размером сотни миллиардов параметров.

Доклад пройдет в студенческий день.