Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

ollama部署的qwen2.5无法使用工具调用 #3546

Open
6 of 7 tasks
fzcccc opened this issue Jan 7, 2025 · 5 comments
Open
6 of 7 tasks

ollama部署的qwen2.5无法使用工具调用 #3546

fzcccc opened this issue Jan 7, 2025 · 5 comments
Labels
bug Something isn't working

Comments

@fzcccc
Copy link

fzcccc commented Jan 7, 2025

例行检查

  • 我已确认目前没有类似 issue
  • 我已完整查看过项目 README,以及项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • 私有部署版本, 具体版本号:
    fastgpt:4.8.17
    ollama:0.5.4
    oneapi:0.6.7
    问题描述, 日志截图,配置文件等
    我使用了ollama部署qwen2.5:14b,无法正常使用工具调用,我按照官网教程通过curl向oneapi发起测试,没有报错,为什么工作流里面就没法正常调用,麻烦各位大佬帮我看看,实在不知道怎么解决了
    复现步骤

预期结果

相关截图
curl测试工具调用:
d51acae4009dd19e27d19c9aaf1cc4a
7d1fb6d2bcd9a162c04a8ae604106e2
配置文件:
29fb74dd8e172e198755c81426fa3e7
工作流:
1b2ef9c287693cab660e3ee54bbcfce
7ee41f250d3c769dc2420334de26af2
docker日志:
441901e2eea942e79380db3b95926a0
d49e7abe0e3ba070a4658322b010daf

@LuckLittleBoy
Copy link

我之前用过qwen2.5,模型有个bug,fastgpt自动生成的function name,比如cInBMXzQGq58,qwen2.5响应结果会改变function name导致工具调用失败,手动curl正常点的function name是没问题的,不知道你的是不是这个问题

@fzcccc
Copy link
Author

fzcccc commented Jan 7, 2025

我之前用过qwen2.5,模型有个bug,fastgpt自动生成的function name,比如cInBMXzQGq58,qwen2.5响应结果会改变function name导致工具调用失败,手动curl正常点的function name是没问题的,不知道你的是不是这个问题

那你说的改成非流式响应该怎么做呢

@LuckLittleBoy
Copy link

image
这样子配置下,不过如果ollama支持流式的话,直接使用流式方式就行吧,换个qwen2试试

@fzcccc
Copy link
Author

fzcccc commented Jan 8, 2025

image 这样子配置下,不过如果ollama支持流式的话,直接使用流式方式就行吧,换个qwen2试试

老哥,我照着你的配置一模一样的去做,不管是流式还是非流式,都不行,是不是还有其他地方需要配置的
cb8d5a3b7b89c9f9c221423df4c20e7
1f1ef67702a9542e7b14e7c87ea2180

@LuckLittleBoy
Copy link

不太清楚,我测试了一下是可以的

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

2 participants