计算运行 AI 模型所需显存的计算器，据介绍显存使用量是根据考虑架构 (参数、层、隐藏维度、活跃专家等) 、量化、序列长度和批次大小的模型进行估算的。性能估算考虑了模型/硬件分析和基准测试, 尽管基准测试的准确性有所不同。结果均为近似值。

功能介绍

• 支持 LLM 推推理和全量微调
• 支持选择目前所有开源的 AI 模型
• 自定义硬件配置，选择 GPU 或自定义显存
• 支持参数设置，推理量化、KV缓存量化、批量大小、序列长度、并发用户数

官方网站

• 在线使用：
  https://apxml.com/zh/tools/vram-calculator