仅在需要时加载工具定义
支持延迟且有选择地加载工具,仅在需要时或可用工具集发生变化时注入工具 schema。这样可以减少重复的提示词和缓存开销,同时允许智能体按需访问工具。
查看挑战
问题背景
支持延迟且有选择地加载工具,仅在需要时或可用工具集发生变化时注入工具 schema。这样可以减少重复的提示词和缓存开销,同时允许智能体按需访问工具。
从这些讨论开始
- 模型对话是否每一次都有必要带上工具定义?github · ▲2 · 3 评论
- Performance: zero prompt-cache hits + large tool-schema overhead slow down long tasksgithub · ▲2 · 1 评论
- [Feature Request] 工具按需加载(Tool on-demand loading):降低多插件 profile 每轮 tool schema 注入成本github · ▲1 · 1 评论