[WIN] Local LLM Notepad - 本地 AI 模型记事本
开源本地大语言模型记事本「Local LLM Notepad」为在本地运行大型语言模型(LLM)而设计,无需安装、联网、云服务或管理员权限。它基于 Llama.cpp 技术,完全支持 CPU 运行,适用于从文档撰写、头脑风暴到问答交互等多种场景,是便携式 AI 助手的理想选择。
功能介绍
- 离线运行大语言模型:无需联网,加载 GGUF 格式模型,适合隐私敏感场景。
- 便携性设计:单文件EXE,无需安装。
- 双窗口交互界面:下方输入提示词,上方实时显示模型回答,界面简洁无多余装饰。
- 提示词高亮与追溯:用户输入的词语在模型回答中自动加粗下划线,Ctrl+点击可查看相关提示词历史。
- JSON 对话导出:支持一键导出对话记录,方便跨设备迁移。
- 模型灵活切换:通过“文件 > 选择模型”加载不同GGUF模型,适配多种需求。
- 高效性能:支持快速 CPU 模型(如0.8GB模型),在普通硬件上实现约 20 tokens/秒的生成速度。
下载地址
- 模型下载:
https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/tree/main - 网盘下载:
https://pan.quark.cn/s/0e639a469a3f - 项目地址:
https://github.com/runzhouye/Local_LLM_Notepad
