快速入门
项目简介
Triton-Ascend 是适配华为 Ascend 昇腾芯片的 Triton 优化版本,提供高效的核函数自动调优、算子编译及部署能力,支持 Ascend Atlas A2/A3 等系列产品, 兼容 Triton 核心语法的同时,针对昇腾 NPU 特性进行了深度优化,包括自动解析核函数参数、优化内存访问逻辑、完善安全部署机制等。
环境要求
硬件要求
支持的操作系统: linux(aarch64/x86_64) 支持的 Ascend 产品: Atlas A2/A3 系列 最小硬件配置: 单卡 32GB 显存
软件依赖
Python(py3.9-py3.11),CANN_TOOLKIT,CANN_KERNEL,以及requirements.txt和requirements_dev.txt等。
CANN的安装配置脚本详细参考 CANN安装说明。快捷安装命令参考如下:
chmod 755 Ascend-cann-toolkit_{version}_linux-{arch}.run
chmod 755 Ascend-cann-kernels-{chip_type}_{version}_linux-{arch}.run
sudo ./Ascend-cann-toolkit_{version}_linux-{arch}.run --install
sudo ./Ascend-cann-kernels-{chip_type}_{version}_linux-{arch}.run --install
注意:CANN_TOOLKIT,CANN_KERNEL是使能昇腾算力卡的关键工具包, 需要根据您实际使用的昇腾卡型号选择对应的配套版本(建议8.3版本),并且安装CANN的时间预计耗时5-10分钟,请耐心等待安装完成。
requirements的安装可以参考如下:
pip install -r requirements.txt -r requirements_dev.txt
环境搭建
用户可根据安装指南的环境准备章节步骤搭建Triton-Ascend环境。
Triton-Ascend 软件包获取
用户可以直接命令行安装最新的稳定版本包。
pip install triton-ascend
也可以在 下载地址 中自行选择nightly包进行下载后进行本地安装。
注意1:如果您选择自行下载nightly包安装,请在选择Triton-Ascend包时选择对应您服务器的python版本以及架构(aarch64/x86_64)。
注意2:nightly是每日构建的包,开发者提交MR频繁,没有经过稳定的测试,可能存在功能上的bug,请知悉。
运行Triton示例
运行实例: 01-vector-add.py
# 设置CANN环境变量(以root用户默认安装路径`/usr/local/Ascend`为例)
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 运行tutorials示例:
python3 ./triton-ascend/ascend/examples/tutorials/01-vector-add.py