Путешествие в мир LLM pretrain: топовые кластеры, неочевидные ускорения и трудности

Data Science/ML/AI
Backend

Data Science/ML/AI

25 мая, 14:00 (GMT+7)

Зал №6

Тезисы

Расскажу о том, как устроено обучение нейронных сетей, которые не помещаются на одну видеокарту.

Поговорим о таких техниках, как ZeRO и Tensor / Pipeline /.../ Sequence Parallel. Затронем влияние вычислительной точности на модель. Поговорим о важности инфраструктуры и оптимизации скорости перезапуска обучения. А также обсудим, как грамотная работа с видеопамятью повышает скорость обучения, в том числе подсветим тонкости работы с кэширующим аллокатором памяти в PyTorch.

Аудитория

Data-scientist, ml-engineer, engineers.

Уровень сложности

Middle.

Презентация (на Я.Диске)

Записи выступлений доступны платным участникам CodeFest
В свободном доступе появятся через пол года

Залогиниться

SberDevices

Валентин Мамедов

Пришёл в AI из мира backend-разработки, а начал свою карьеру с вёрстки сайта по продаже бетона в Иркутске. Был SE в Промсофт, потом делал RecSys в Тинькофф.

Сейчас помогает учить претрейны для GigaChat в SberDevices, где занимается разным: от ускорения кода обучения до дизайна экспериментов.

Закончил мехмат НГУ, магистратуру ФПМИ МФТИ, сейчас аспирант первого курса в НГУ.

Пришёл в AI из мира backend-разработки, а начал свою карьеру с вёрстки сайта по продаже бетона в Иркутске. Был SE в Промсофт, потом делал RecSys в Тинькофф.

Сейчас помогает учить претрейны для GigaChat в SberDevices, где занимается разным: от ускорения кода обучения до дизайна экспериментов.

Закончил мехмат НГУ, магистратуру ФПМИ МФТИ, сейчас аспирант первого курса в НГУ.

Другие спикеры секции Data Science/ML/AI

Анна Дубенюк

Математическое моделирование на складах, или Как математика спасёт мир

Марк Баушенко

Augmentex: библиотека для аугментации вашего текста

Михаил Каменщиков

AI CTF: решаем загадки, обманываем нейросети

Андрей Кузнецов

Способы обучения языковых моделей пониманию новых типов данных: изображения, видео, аудио

Вера Романцова

Менеджер данных: кому нужен и с чем поможет.

Русагро Тех

Адель Самигуллин

Active Learning в задаче определения температуры животных

Еще на тему Data Science/ML/AI

Максим Дорофеев

Прокрастинация саморазвития, или Что я понял, обучая взрослых людей

PRO Роботов

Александр Байкин

Что будет завтра с роботами и нами

VK, ВКонтакте

Александр Кирсанов

Раньше деревья были выше, а IT круче. Или нет?

Дмитрий Ильенков

Когнитивные искажения: как победить в игре с разумом

Сергей Иванов

Вот автономный автомобиль. Тестируйте.

Психолог

Анна Бабич

САМОоценка, или Как оценивать себя самостоятельно

Ольга Шишаева

Неугодные эмоции в работе

Анастасия Винник

Неугодные эмоции в работе

Юрий Окуловский

AI-партнеры: настоящее и будущее

Иван Мальцев

Тинькофф

Максим Соснов

Двое за ноутом, не считая copilot’а, или Как внедрить парное программирование

Константин Волков

Ты делаешь это, но без уважения

Тинькофф

Анна Подображных

Где в продукте получить пользу от LLM

Андрей Смирнов

Приключения технологических спикеров

Александр Доронин

Будущее образования: как учиться в эпоху онлайн-курсов и ChatGPT

Яндекс Практикум

Катерина Чугунова

Будущее образования: как учиться в эпоху онлайн-курсов и ChatGPT

Евгения Каменева

Будущее образования: как учиться в эпоху онлайн-курсов и ChatGPT

Елена Лиманова

Будущее образования: как учиться в эпоху онлайн-курсов и ChatGPT

Никита Грязин

Крипта: технология или деньги?

Андрей Кобец

VK, Одноклассники

Алексей Петров

Обеспечение качества — общее дело

Т1 Цифровая академия

Наталья Полякова

Ed3: переход в web3 через обучение

Инфосистемы Джет

Ольга Елисеева

Как перестать тушить пожары и начать системно находить решения

Александра Прокшина

Приключения технологических спикеров

TatarinFrontend

Тимур Гафиулин

Приключения технологических спикеров

МФТИ, ИЯИ РАН

Александр Светличный

Методы Монте-Карло: как из не-случайных чисел сделать случайные методы

Яндекс.Вертикали Технологии

Эрик Бурыгин

Как успевать больше, оставаясь эффективным, и не выгореть

Альфа-Банк

Максим Виноградов

Неугодные эмоции в работе

Анна Сартакова

Неугодные эмоции в работе