安装flash_attn这个包怎么这么慢啊
python吧
全部回复
仅看楼主
level 1
FreeBS喵 楼主
building wheel了好久
2024年10月21日 21点10分 1
level 1
FreeBS喵 楼主
安装了一个通宵都还在Building wheel for flash_attn (setup.py)
2024年10月21日 23点10分 2
@wuyin2026 我是ubuntu怎么办捏
2025年10月22日 08点10分
我也是,楼主解决了吗
2024年11月29日 08点11分
@贴吧用户_7tVPM88 搞不了,放弃了
2024年11月29日 15点11分
按 zyckk4 的方法,直接装whl,又快又好,5楼有地址,我刚装成功
2025年06月24日 10点06分
level 13
https://pypi.org/project/flash-attn/#description
作者 PyPI 主页有说明这个项目目前最新的 v2.x 版本要如何安装,主要来说需要你提前准备:① 拥有 NVIDIA A100 / H100 APU 或者 RTX 30 系以上 GPU ,亦或是 AMD MI200 / MI300 ,NVIDIA RTX 20 系 (比如我只有 2070) 也行但得装 v1.x 版本;② NVIDIA CUDA Toolkit v11.6 及以上 (我是 v12.6 Update 3) ,或者 AMD ROCm Toolkit v6.0 以上;③ Python 环境下安装了 packaging 和 ninja 库;④ 一个 Linux 操作系统环境。
想在 Windows 上跑的话需要 flash-attn v2.5.2 及以上版本,且原作不保证一定能装上并跑起来。
2024年11月29日 09点11分 3
如果你设备内存小于 96GB (我是 16GB×2 ) 且拥有大量的 CPU 核心 (我 20 核 28 线程) ,默认参数下编译 Ninja 会把并行编译拉满导致炸内存,还得用 MAX_JOBS 限制任务数
2024年11月29日 09点11分
放弃了
2024年11月29日 15点11分
level 1
看flash_attn介绍,我的电脑是3070显卡,所以,2.0以上的版本装不了,让我安装1.0版本的。地址如下Release v1.0.9 · Dao-AILab/flash-attention
2025年02月26日 05点02分 4
level 2
你是windows系统吧,这个fork仓库有win版本的release,https://github.com/kingbri1/flash-attention,(不过我不确定这个release是不是完全可信任)
2025年03月01日 11点03分 5
这个方法好,帮大忙了,谢谢[哈哈]
2025年06月24日 10点06分
1