Известный специалист Себастьян Рашка выложил в открытый доступ подробное руководство по сборке больших языковых моделей. Проект под названием LLMs-from-scratch заменяет дорогое обучение для начинающих разработчиков, раскрывая изнутри всю ИИ-инженерию.
Автор детально разбирает путь создания аналога ChatGPT, показывая принципы работы токенизаторов и хитрые приемы для ускорения готовой системы. К теории приложили наглядные схемы, практические задания и актуальные архитектуры, список которых постоянно растет. Материалы доступны абсолютно бесплатно.
https://github.com/rasbt/LLMs-from-scratch
