vllm_hairuo/README.md
2024-10-25 18:11:39 +08:00

277 B

hairuo模型适配vllm推理框架

使用方法

python test_hairuo.py

注:需修改 test_hairuo.py 文件中的模型路径

vllm_hairuo.py : 使用 Llama 提供的方式来加载权重; vllm_hairuo_v2.py : 使用 miniCPM 提供的方式来加载权重;