从性能调优和工程复杂性，系统聊聊流水线并行，是怎么污染整个训练框架的！

已收录文章摘要，完整内容可前往原文阅读。

本文主要从性能调优和工程复杂性两个方面阐述了流水线并行的问题。在几种并行方式里面，流水线并行是最不一样的一种，却直接把计算图沿层切开，对整个前向和反向的控制流进行全局修改。结果就是它的概念会一路泄漏到训练框架的各个角落，其本身也不会加速计算