[开源] AI-VTuber - 由 LLM 驱动的虚拟主播

一个由 LLM 驱动的虚拟主播「AI-VTuber」可以在 Bilibili/抖音 直播中与观众实时互动或本地聊天。据介绍以智谱API作为语言基座模型,拥有意图识别、长短期记忆(直接记忆和联想记忆),支持搭建认知库、歌曲作品库,接入了当前热门的一些语音转换、语音合成、图像生成、数字人驱动项目,并提供了一个便于操作的客户端。

20241024

功能介绍

  • 对接哔哩哔哩开放平台
  • 支持 edge-tts+svc 实现定制化的语音合成
  • 支持 gpt-sovits
  • 支持智谱 api
  • 通过图数据库实现本地歌库多元化搜索
  • 通过向量数据库和知识图谱搭建知识库
  • 自动化的知识图谱制作工具
  • 支持多模板 AI 虚拟主播定制
  • 具有短期/长期记忆
  • 支持情感聊天
  • 支持对话、唱歌、本地/网络搜索、画画四种意图的任务
  • 对接 so-vits-svc 并提供训练-推理的一条龙服务
  • 对接 sd(webui和comfyui)
  • 对接 EasyAiVtuber 项目
  • streamlit 客户端设计(主要是管理和定制你的 ai-vtuber 的)

下载地址

  • 项目地址:
    https://github.com/whoiswennie/AI-Vtuber
  • 夸克网盘:
    https://pan.quark.cn/s/0b06fbf1c363