努力替代CUDA!摩尔线程Torch

 人参与 | 时间:2024-12-30 00:02:26

10月31日消息,努力摩尔线程宣布,替代针对PyTorch深度学习框架的线程MUSA插件“Torch-MUSA”,迎来重大更新新版本v1.3.0,努力全面兼容PyTorch 2.2.0。替代

新版进一步提升了PyTorch在摩尔线程GPU MUSA架构上的线程模型性能与覆盖度,能更友好地支持模型迁移到摩尔线程GPU。努力

努力替代CUDA!摩尔线程Torch

PyTorch是替代全球广泛使用的深度学习框架,在自然语言处理、线程计算机视觉、努力推荐系统等多个领域展现出了强大的替代应用能力。

摩尔线程Torch-MUSA专为PyTorch提供MUSA后端加速支持,线程使得用户能够在MUSA架构上流畅运行深度学习模型,努力充分发挥国产全功能GPU的替代强大计算能力。

自发布以来,线程Torch-MUSA已历经多个版本的迭代,不断提升兼容性与性能。

Torch-MUSA v1.0.0版本开始,率先支持了PyTorch 2.0,带来了显著的计算加速和易用性。

经过持续的开发与优化,最新发布的v1.3.0版本已全面支持PyTorch 2.2.0,极大提升了模型训练与推理的效率,满足了更多高性能深度学习任务的需求。

目前,Torch-MUSA已完全开源,开发者可通过访问GitHub获取源代码。

摩尔线程鼓励开发者积极参与该项目的开发与改进,通过提交问题报告(issue)或代码修改申请(pull request)等方式,共同促进Torch-MUSA以及MUSA软件生态的持续进步和发展。

▼ Torch-MUSA开源地址:

https://github.com/MooreThreads/torch_musa

▼ 功能特性

在Torch-MUSA中,用户只需指定torch.device("musa"),即可轻松将现有的PyTorch模型迁移到MUSA架构的GPU上运行,无需大幅修改代码。

Torch-MUSA完全兼容PyTorch的自动微分和动态图机制,支持多种常用的神经网络模块及优化算法,并加速了关键深度学习算子的计算。

此外,Torch-MUSA还支持多种PyTorch特性,包括DDP、JIT、FSDP、Profiler、Extension等。

▼ 版本迭代

v1.1.0:

初次发布,支持PyTorch 2.0,提供基础张量操作和常见神经网络层的MUSA加速。

v1.2.0:

进一步扩展算子支持,支持了完整功能的Profiler、MUSA Extension,并增加了Torch-MUSA专有特性如compare_tool、musa_converter,帮助用户更快的定位模型精度问题。

v1.3.0:

支持PyTorch2.2.0,性能进一步提升,支持FSDP,支持更复杂的模型和更大规模的数据处理。

▼ 未来计划

Torch-MUSA将继续跟进PyTorch的版本更新,计划支持更高版本的PyTorch。

顶: 21踩: 47