Hugging Face Blog·· 11 天前AI 评分27
TorchNeuron 性能剖析(一):在 AWS Trainium 上做系统级 profiling
Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.
AI 导读
Hugging Face 博客发布 TorchNeuron 性能剖析系列第一篇,讲解如何在 AWS Trainium 上用 torch.profiler 系统分析推理性能。文中以 RMSNorm 为例对比三种实现,演示通过 key_averages() 表定位消耗 Neuron 设备时间的算子,并用 Neuron Explorer 追踪从框架调度到 NeuronCore 硬件执行的完整链路。
来源:Hugging Face Blog · huggingface.co