pytorch数据并行

新PyTorch API：几行代码实现不同注意力变体，兼具FlashAttention性能和PyTorch灵活性 用 FlexAttention 尝试一种新的注意力模式。理论上，注意力机制就是你所需要的一切。然而在实际...