Codefuse-ModelCache：开源大模型语义缓存系统

105 0 0

Codefuse-ModelCache 是一个开源的大模型语义缓存系统，通过缓存已生成的模型结果，降低类似请求的响应时间，提升用户体验。该项目从服务优化角度出发，引入缓存机制，在资源有限和对实时性要求较高的场景下，帮助企业和研究机构降低推理部署成本、提升模型性能和效率、提供规模化大模型服务。我们希望通过开源，分享交流大模型语义Cache的相关技术。

快速部署

环境依赖

python版本: 3.8及以上
依赖包安装：

pip install requirements.txt

环境配置

在启动服务前，应该进行如下环境配置：

安装关系数据库 mysql，导入sql创建数据表，sql文件: reference_doc/create_table.sql
安装向量数据库milvus
在配置文件中添加数据库访问信息，配置文件为：
1. modelcache/config/milvus_config.ini
2. modelcache/config/mysql_config.ini
离线模型bin文件下载，参考地址：https://huggingface.co/shibing624/text2vec-base-chinese/tree/main，并将下载的bin文件，放到 model/text2vec-base-chinese 文件夹中
通过flask4modelcache.py脚本启动后端服务。

服务访问

当前服务以restful API方式提供3个核心功能：数据写入，cache查询和cache数据清空。请求demo 如下：

cache写入

import jsonimport requestsurl = 'http://127.0.0.1:5000/modelcache'type = 'insert'scope = {"model": "CODEGPT-1008"}chat_info = [{"query": [{"role": "system", "content": "你是一个AI代码助手, 你必须提供中立的、无害的答案帮助用户解决代码相关的问题"}, {"role": "user", "content": "你是谁?"}],                  "answer": "你好，我是智能助手，请问有什么能帮您!"}]data = {'type': type, 'scope': scope, 'chat_info': chat_info}headers = {"Content-Type": "application/json"}res = requests.post(url, headers=headers, json=json.dumps(data))

cache查询

import jsonimport requestsurl = 'http://127.0.0.1:5000/modelcache'type = 'query'scope = {"model": "CODEGPT-1008"}query = [{"role": "system", "content": "你是一个AI代码助手, 你必须提供中立的、无害的答案帮助用户解决代码相关的问题"}, {"role": "user", "content": "你是谁?"}]data = {'type': type, 'scope': scope, 'query': query}
headers = {"Content-Type": "application/json"}res = requests.post(url, headers=headers, json=json.dumps(data))

cache清空

import jsonimport requestsurl = 'http://127.0.0.1:5000/modelcache'type = 'remove'scope = {"model": "CODEGPT-1008"}remove_type = 'truncate_by_model'data = {'type': type, 'scope': scope, 'remove_type': remove_type}
headers = {"Content-Type": "application/json"}res = requests.post(url, headers=headers, json=json.dumps(data))