У Nvidia, IBM и ученых есть план немного облегчить жизнь тем, кто занимается машинным обучением: подключить графические процессоры напрямую к твердотельным накопителям.
Подробно описанная в исследовательской работе идея называется Big Accelerator Memory (BaM) и предполагает прямое подключение графических процессоров к большим объемам SSD-накопителей, что помогает устранить узкие места для обучения машинному обучению и других интенсивных задач.
«BaM снижает усиление трафика ввода-вывода, позволяя потокам графического процессора читать или записывать небольшие объемы данных по требованию, как это определяется вычислениями», — пишут исследователи.
Повышенная скорость и надежность
«Цель BaM — расширить объем памяти графического процессора и повысить эффективную пропускную способность доступа к хранилищу, одновременно обеспечивая высокоуровневые абстракции для потоков графического процессора для облегчения доступа по требованию и структур данных». От мелкозернистого до массивного в расширенной иерархии памяти».
Конечная цель — снизить зависимость графических процессоров Nvidia от процессоров общего назначения с аппаратным ускорением. Предоставляя графическим процессорам Nvidia прямой доступ к хранилищу и его последующую обработку, работа выполняется с помощью самых специализированных доступных инструментов.
Wham BaM Шанг-А-Ланг
Технические детали довольно сложны (советуем прочитать документ, если это ваша сфера), но суть двоякая.
BaM использует программно-управляемый кэш графического процессора, а также библиотеку, в которой потоки графического процессора могут напрямую запрашивать данные, сохраненные на твердотельных накопителях NVMe. Перемещением информации между ними управляют графические процессоры.
Конечным результатом является то, что обучение ML и другие интенсивные виды деятельности позволяют получить доступ к данным быстрее и, что более важно, конкретными способами, полезными для рабочих нагрузок. При тестировании это подтвердилось: графические процессоры и твердотельные накопители хорошо работали вместе и быстро передавали данные.
Команды планируют открыть исходный код своего аппаратного и программного обеспечения, что станет огромной победой для сообщества ML.
Через реестр