LLMInsight
ASCEND NPU · TRAINING · OPEN SOURCE

让训练瓶颈，
有迹可循。

从一份 Profiling 开始，
看清算子、通信与等待，把时间花在真正的瓶颈上。

下载 Windows 安装包 Linux / macOS 源码安装 →

Training performance, made traceable. An open-source profiling analysis tool for Ascend NPU: explore operators, communication and rank-level behavior, then share the findings.

从时间花在哪，到下一步查什么

01 / FOLLOW THE EVIDENCE
LLMInsight / 分析思路合成数据 · 非实测

一个 step，拆开看

示意 / 100 ms
100ms / step
  • 计算 60 ms
  • 未重叠通信 24 ms
  • 空闲 16 ms

从分解结果，追问原因

ANALYSIS PATH
  1. 01

    通信暴露在关键路径上？

    查看通信耗时与重叠，结合 communicator 区分通信组。

    通信分析 →
  2. 02

    是整体慢，还是某个 rank 慢？

    比较各 rank 的 step 分解，再回到代表 rank 深入分析。

    多 rank 概览 →
  3. 03

    优化空间，依据是什么？

    结合指标覆盖率、芯片参考峰值和 What-if 假设复核。

    效率与理论分析 →
分析流程示意，非应用截图。数值为人工合成，不代表任何模型、芯片或集群的实测性能；具体结论取决于采集内容与指标口径。
01 / INPUT

接入已有采集

读取 ASCEND_PROFILER_OUTPUT 或 MindStudio msprof-export 目录，也支持每个 rank 独立采集的多 rank 根目录。

02 / ANALYZE

串起指标与归因

从时间线、算子和通信出发，结合模型结构归因与规则诊断，缩小下一步排查范围。

03 / SHARE

带着依据讨论

导出自包含 HTML 报告，把指标与分析带给同事；使用 What-if 推演时，保留假设与实测之间的边界。

LESS GUESSWORK, MORE CONTEXT

性能分析，
不只盯着一个数字。

当前重点支持 DeepSeek-V3 结构的 MoE 训练 Profiling。每项指标都需要结合实际采集内容理解。

查看设计与数据契约 ↗
A

算力、带宽与优化余量

MFU、MBU、Roofline 与理论分析，结合覆盖率和芯片参考值理解效率，避免把估算当作测量。

B

通信、慢卡与集群概览

查看通信分解、重叠和多 rank step 分布，定位离群 rank，并按节点汇总观察。

C

模型语义与隐藏开销

将算子、通信归因到模型结构，结合时间线、显存与隐藏开销，寻找可以继续验证的线索。

D

本地规则，可选 LLM 洞察

默认使用本地规则引擎。LLM 网络调用需显式开启，先确认结构化摘要与模型服务的数据使用边界。

用自己的一份采集开始

02 / GET STARTED
LOCAL FIRST

下载安装，启动，
选择 Profiling 目录。

Windows x64 用户可下载 Release 安装包，双击安装后从开始菜单启动，无需预装 Python。浏览器打开 http://127.0.0.1:8765/；关闭命令窗口可停止服务。

安装包未签名，Windows 可能提示未知发布者。Linux / macOS 用户可按右侧命令从源码运行。服务绑定本机回环地址。

查看 Release 与 SHA-256 校验文件 ↗
LINUX / MACOS从源码运行
git clone https://github.com/ai-v5/LLMInsight.git
cd LLMInsight
python3 -m pip install -r requirements.txt
python3 -m llminsight.server --port 8765
浏览器打开 127.0.0.1:8765 → 选择采集目录

带着边界理解结果

这个网站用于介绍项目，分析在本机运行。指标是否可用取决于采集文件和算子覆盖；MFU / MBU / Roofline 使用芯片参考峰值，What-if 是假设推演。多 rank 概览与代表 rank 分析不能替代完整的分布式因果诊断。阅读项目说明 →

BUILT IN THE OPEN

让分析过程，也经得起分析。

代码采用 AGPL-3.0-only 开源。欢迎反馈解析、指标或体验问题；提交问题时，请使用可公开的合成复现样例。

参与项目

开源免责声明

LLMInsight 是独立开源项目，由维护者与贡献者按开源协作方式维护和运作，项目内容供技术研究、学习和工程交流参考。项目中的代码、文档、示例、分析结果及讨论，不代表任何个人或组织（包括维护者、贡献者及其雇主、所属机构或关联方）的观点、立场、政策或承诺。

本项目不是任何厂商或机构的官方产品，不构成其认证、推荐、背书或技术支持承诺。文中提及的个人、组织、厂商、产品、模型和商标，仅用于说明兼容对象或技术背景，不表示隶属、代言、合作或授权关系。

除非另有书面约定，本项目按“现状”和“可用状态”提供，不对准确性、完整性、适用性、稳定性或特定性能收益作保证，也不承诺持续维护、响应时限或商业支持。性能指标、诊断建议和推演结果可能受采集数据、配置及实现假设影响，使用者应独立核验，并自行评估使用、修改及部署风险。

在适用法律允许的范围内，除非另有书面约定，维护者、贡献者及其他权利人不对因使用或无法使用本项目产生的损失承担责任，包括数据丢失、业务中断或其他损失。依法不得排除或限制的责任不受本说明影响。

本说明不增加 AGPL-3.0-only 许可证之外的使用限制；具体授权、无担保与责任限制以 LICENSE 为准。