by stanleylsx · AI Tool · ★ 223
LLMs Tool Introduction 一个基于🤗HuggingFace开发的大语言模型训练、测试工具。支持不同模型的webui、终端预测，支持各模型的低参数量及全参数模型的预训练、奖励模型训练以及RLHF训练(PPO和DPO两种方法)。同时支持deepspeed分布式训练。 作者习惯于把配置和要做的事情都写在一个配置文件里面，然后以一个主函数作为入口直接运行，所以才有了这个项目，喜欢指令的朋友们可以改回去使用。 Updates Date| Detail :| 2023-10-30|通过attentionsinks支持StreamingLLM 2023-10-25|基于sentencepiece实现词表扩充功能 2023-10-24|支持使用NEFTune对LLM进行noise tune 2023-10-09|增加扩充词表后Embedding初始化方式 2023-10-08|LLama和Falcon两类模型支持Flash Attention2 2023-09-26|支持模型预训练 2023-09-11|多轮对话的Firefly的loss训练函数集成 2023-09-04|支持部分可以从配置修改使用NTK的模型 2023-08-24|支持deepspeed-ZeRo2分布式训练 2023-08-23|RLHF的DPO方法对各个模型的训练支持...
| Stars | 223 |
| Forks | 21 |
| Language | Python |
| Category | AI Tool |
| License | Apache-2.0 |
| Quality Score | 59.9215855437475/100 |
| Open Issues | 2 |
| Last Updated | 2023-12-08 |
| Created | 2023-07-20 |
| Platforms | browser, python |
| Est. Tokens | ~657k |
Explore other popular ai tool tools:
llms_tool is 一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测，低参数量及全参数模型训练(预训练、SFT、RM、PPO、DPO)和融合、量化。. It is categorized as a AI Tool with 223 GitHub stars.
llms_tool is primarily written in Python. It covers topics such as aquila, aquila2, baichuan.
You can find installation instructions and usage details in the llms_tool GitHub repository at github.com/stanleylsx/llms_tool. The project has 223 stars and 21 forks, indicating an active community.
llms_tool is released under the Apache-2.0 license, making it free to use and modify according to the license terms.