[开源] TokenMeter - LLM API 速度测试工具
免费开源 LLM API 速度测试工具「TokenMeter」测量首 Token 时间 (TTFT) 和每秒 Token 数 (TPS)。据介绍支持 OpenAI Compatible 和 Anthropic 两种 API 格式,可配置多个测速计划并定时自动执行。
免费开源 LLM API 速度测试工具「TokenMeter」测量首 Token 时间 (TTFT) 和每秒 Token 数 (TPS)。据介绍支持 OpenAI Compatible 和 Anthropic 两种 API 格式,可配置多个测速计划并定时自动执行。
一款全方位的 AI 模型「AnythingLLM」客户端程序,支持的 LLM、嵌入模型、转录模型和向量数据库、提供 Windows、macOS、Linux 客户端支持,你可以和文档聊天,将任何文档、资源(如网址链接、音频、视频)或内容片段转换为上下文。