Xformers

一、项目简介

xFormers 是 Meta 开源的 Transformer 组件库，提供大量可组合、高性能的注意力机制与模块实现。它让你像搭积木一样选择和组合注意力变体，兼顾研究灵活性与生产性能。

二、核心特性

• 丰富注意力实现：多种高效注意力变体；
• 可组合模块：灵活搭建 Transformer；
• 内存高效：支持 xformers memory-efficient attention；
• CUDA 加速；
• 与 PyTorch 集成良好；
• 适合研究与生产。

三、适用场景

• Transformer 结构研究与实验；
• 显存受限的训练与推理；
• 需要高效注意力实现的场景。

四、快速上手

pip install xformers
import xformers.ops as xops
# 使用 memory_efficient_attention 替换原生注意力

五、注意事项

• 需匹配 CUDA / PyTorch 版本；
• 编译安装可能较耗时；
• 注意 API 在不同版本间的差异。