已收录文章摘要,完整内容可前往原文阅读。
编辑|张倩训练大模型,能不能不用反向传播?这事一直有人琢磨。只是反向传播太成功了:过去这些年,反向传播一直是训练神经网络的唯一主流算法。我们今天所有的架构、优化器、甚至 GPU 硬件,某种意义上都是围