『Zero Bubble Pipeline Parallelism』のカバーアート

Zero Bubble Pipeline Parallelism

Zero Bubble Pipeline Parallelism

無料で聴く

ポッドキャストの詳細を見る

このコンテンツについて

Core idea is think about backward pass into two flows, one to compute grad wrt to parameters, and one to compute grad wrt to output of last layer, schedule so that you are always working instead of waiting (bubble). Read full paper: https://arxiv.org/abs/2401.10241 Tags: Systems and Performance, Deep Learning, Machine Learning

Zero Bubble Pipeline Parallelismに寄せられたリスナーの声

カスタマーレビュー:以下のタブを選択することで、他のサイトのレビューをご覧になれます。