ПРОЕКТ 02 / НЕЙРОСЕТЬ
Project ZEBERA
Нейросеть, которая учится с нуля.

Об идее
Project ZEBERA — небольшая языковая модель, которую я обучаю с нуля. Это самостоятельный эксперимент с архитектурой Transformer, обучением и генерацией текста.
Что внутри
01
Собственная модель
Около 33 млн параметров. Веса модели и токенизатор обучаются на выбранном корпусе.
02
Настоящая генерация
Ответ вычисляет ZEBERA на сервере. В чате нет подставленных реплик или внешнего языкового API.
03
Публичный чат
Можно задать вопрос, продолжить разговор и остановить генерацию. Контекст модели — 512 токенов.