Multi-Agent-GPT: 一款基于RAG和agent构建的多模态专家助手GPT

工具软件9个月前发布 AI观察员

71 0 0

基本功能

单轮/多轮聊天
多模态信息展示与交互
Age
工具
- Web searching
- Image generation
- Image caption
- audio-to-text
- text-to-audio
- Video caption
RAG
- 私有数据库
- 离线部署

2 支持信息模式

text
image
audio
video

3 模型接口API

ChatGPT
Dalle
Google-Search
BLIP

2 开发

项目技术栈：Python + torch + langchain + gradio

⚡ 2.1 安装

在Anaconda中创建虚拟环境：

conda create -n agent python=3.10

进入虚拟环境并安装相关依赖包：

conda activate agent

pip install -r ./requirements.txt

本地安装BLIP模型，打开BLIP网站，下载所有文件到 Models/BLIP 。
按照提示配置 .env 中需要使用的 API 的密钥。

💻 2.2 演示

Multi Agent GPT 提供 UI 界面交互，允许用户通过运行 web.py 来启动代理并实现智能对话：

python ./web.py

该程序将运行本地 URL：http://XXX。使用本地浏览器打开可以看到UI界面：

1 与图片聊天

通过集成BLIP模型，智能体可以理解图像信息并提供高质量的对话信息。

🗄️ 3 结构

- .env- Agents/  - openai_agents.py  #用来定义基于gpt3.5的agent- Database/- Docs/- Imgs/  - Show/                #存储一些示例图片- Models  - BLIP                 #图像理解大模型- Tools/  - ImageCaption.py      #基于BLIP的图像理解工具  - ImageGeneration.py  #定义了一个基于openai dalle的文本生成图像的工具  - search.py            #基于Google-search的联网搜索工具- Utils/  - data_io.py  - stdio.py            #实现了如何截获当前程序的日志信息，主要是用来获取agent的verbose信息  - utils_image.py      #关于图像处理的一些功能函数  - utils_json.py       #从已有的log日志信息中提取相关的有用字段(服务stdio) - python_new_funciton.py #开发过程中的测试文件- readme.md- requirements.txt- web.py                 #主运行文件