快速入门

项目简介

Triton-Ascend 是适配华为 Ascend 昇腾芯片的 Triton 优化版本,提供高效的核函数自动调优、算子编译及部署能力,支持 Ascend Atlas A2/A3 等系列产品, 兼容 Triton 核心语法的同时,针对昇腾 NPU 特性进行了深度优化,包括自动解析核函数参数、优化内存访问逻辑、完善安全部署机制等。

环境要求

硬件要求

支持的操作系统: linux(aarch64/x86_64) 支持的 Ascend 产品: Atlas A2/A3 系列 最小硬件配置: 单卡 32GB 显存

软件依赖

Python(py3.9-py3.11),CANN_TOOLKIT,CANN_KERNEL,以及requirements.txtrequirements_dev.txt等。

CANN的安装配置脚本详细参考 CANN安装说明。快捷安装命令参考如下:

chmod 755 Ascend-cann-toolkit_{version}_linux-{arch}.run
chmod 755 Ascend-cann-kernels-{chip_type}_{version}_linux-{arch}.run

sudo ./Ascend-cann-toolkit_{version}_linux-{arch}.run --install
sudo ./Ascend-cann-kernels-{chip_type}_{version}_linux-{arch}.run --install
  • 注意:CANN_TOOLKIT,CANN_KERNEL是使能昇腾算力卡的关键工具包, 需要根据您实际使用的昇腾卡型号选择对应的配套版本(建议8.3版本),并且安装CANN的时间预计耗时5-10分钟,请耐心等待安装完成。

requirements的安装可以参考如下:

pip install -r requirements.txt -r requirements_dev.txt

环境搭建

用户可根据安装指南的环境准备章节步骤搭建Triton-Ascend环境。

Triton-Ascend 软件包获取

用户可以直接命令行安装最新的稳定版本包。

pip install triton-ascend

也可以在 下载地址 中自行选择nightly包进行下载后进行本地安装。

  • 注意1:如果您选择自行下载nightly包安装,请在选择Triton-Ascend包时选择对应您服务器的python版本以及架构(aarch64/x86_64)。

  • 注意2:nightly是每日构建的包,开发者提交MR频繁,没有经过稳定的测试,可能存在功能上的bug,请知悉。

运行Triton示例

运行实例: 01-vector-add.py

# 设置CANN环境变量(以root用户默认安装路径`/usr/local/Ascend`为例)
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 运行tutorials示例:
python3 ./triton-ascend/ascend/examples/tutorials/01-vector-add.py