Go to file
2024-10-25 18:11:51 +08:00
ihp fix: use miniCPM's way to init model 2024-10-25 18:05:57 +08:00
README.md 更新 README.md 2024-10-25 18:11:51 +08:00
test_hairuo.py feat: first submit 2024-10-25 17:16:26 +08:00

hairuo模型适配vllm推理框架

使用方法

python test_hairuo.py

注:需修改 test_hairuo.py 文件中的模型路径

vllm_hairuo.py : 使用 Llama 提供的方式来加载权重;

vllm_hairuo_v2.py : 使用 miniCPM 提供的方式来加载权重;