by luckycucu · Agent Tool · ★ 20
modelscope-agent-with-local-llm 1 介绍 本项目基于modelscope-agent-v0.3 和 api-for-open-llm 或 llamacpp组件共同实现了一个AI Agent，能够利用本地的大模型（LLM）实现使用自定义工具功能。 在modelscope-agent的最新版本（v0.3）中，与之前的版本相比，进行了重大的改进。它不再直接支持集成本地大型语言模型，而是通过OpenAI接口与之交互。因此，用户需启动一个集成了OpenAI API风格接口的大模型服务。 为了实现与本地大模型交互，本项目采用了 api-for-open-llm 或 llamacpp 项目启动集成OpenAI API风格接口的本地大型模型服务。这样，modelscope-agent就可以利用这些服务与大型模型进行交互。 由于硬件限制，在测试时，api-for-open-llm 选择了 Qwen1.5-14B-Chat-GPTQ-Int8，llamacpp 选择了 qwen15-14b-chat-q4km.gguf。 本项目还根据需要，对modelscope-agent-v0.3的代码做了一些更改，具体在下面有说明。 2 环境 linux RTX 3090Ti 24G显存 3 使用说明 3.1 下载 （1）下载本项目的代码 3.2 启动大模型服务...
| Stars | 20 |
| Forks | 5 |
| Language | Python |
| Category | Agent Tool |
| License | Apache-2.0 |
| Quality Score | 60.5961001469129/100 |
| Last Updated | 2024-04-10 |
| Created | 2024-03-07 |
| Platforms | python |
| Est. Tokens | ~1480k |
Explore other popular agent tool tools:
modelscope-agent-with-local-llm is 本项目基于modelscope-agent-v0.3和 api-for-open-llm 或 llamacpp 组件共同实现了一个AI Agent，能够利用本地的大模型（LLM）实现使用自定义工具功能。使用了Qwen1.5大模型。. It is categorized as a Agent Tool with 20 GitHub stars.
modelscope-agent-with-local-llm is primarily written in Python.
You can find installation instructions and usage details in the modelscope-agent-with-local-llm GitHub repository at github.com/luckycucu/modelscope-agent-with-local-llm. The project has 20 stars and 5 forks, indicating an active community.
modelscope-agent-with-local-llm is released under the Apache-2.0 license, making it free to use and modify according to the license terms.