Originally created by: hamiduan
例行检查
你的版本
[ x] 私有部署版本, 具体版本号: Chatglm3-6b-base,image: ghcr.io/labring/fastgpt:v4.8.5,image: ghcr.io/songquanpeng/one-api:latest
系统:Windows11+WSL2+Ubuntu 22.04
问题描述
大模型baseurl接入oneapi后显示connection refuesed.
大模型:版本Chatglm3-6b-base,WSL2上运行,api_server设置uvicorn.run(app, host='127.0.0.1', port=8000, workers=1), post可访问127.0.0.1:8000,且有响应。
Fastgpt:Docker运行,端口:9091:3000, - OPENAI_BASE_URL=http://172.20.0.1:3000/v1,- Network: http://172.21.0.7:3000/
Oneapi:Docker运行,端口:3001:3000,- Network: 172.21.0.1, 渠道部署 Base url: 127.0.0.1:8000, 密钥:sk-fastgpt
报错:“utils.js:77 do request failed: Post "http://127.0.0.1:8000/v1/chat/completions": dial tcp 127.0.0.1:8000: connect: connection refused”
测试过包括localhost, 0.0.0.0, 127.0.0.1, ipconfig下的ip地址等,皆无效。
Windows和WSL防火墙已down(启动wsl前,.wslconfig 文件已删除)
猜想:docker compose用桥接模式连接FastGPT,要如何将本地模型加入网络中?
求助大佬,感谢!
复现步骤
搭设并连接大模型,在docker上架设fastgpt+oneapi,在oneapi渠道上添加大模型base url。
参考教程:
1. 本地化部署Fastgpt+One-API+ChatGLM3-6b知识库:https://blog.csdn.net/lachesis617/article/details/136275517
2. FastGPT:https://doc.fastgpt.in/docs/development/intro/
3. ChatGLM-3-6B 技术文档:https://zhipu-ai.feishu.cn/wiki/WvQbwIJ9tiPAxGk8ywDck6yfnof
预期结果
oneapi渠道连接本地chatglm3