Originally created by: ye7love7
使用xinference作为模型平台,由本项目转发,没有发现问题,但是直接使用vllm作为模型平台,使用本项目转发,stop不起作用,实际上xinference和vllm都是支持stop参数的,应该是转发过程中出现了问题,求解决!
Tickets: #1637
Log in to post a comment.