ihp | ||
README.md | ||
test_hairuo.py |
hairuo模型适配vllm推理框架
使用方法
python test_hairuo.py
注:需修改 test_hairuo.py 文件中的模型路径
vllm_hairuo.py : 使用 Llama 提供的方式来加载权重;
vllm_hairuo_v2.py : 使用 miniCPM 提供的方式来加载权重;
ihp | ||
README.md | ||
test_hairuo.py |
使用方法
python test_hairuo.py
注:需修改 test_hairuo.py 文件中的模型路径
vllm_hairuo.py : 使用 Llama 提供的方式来加载权重;
vllm_hairuo_v2.py : 使用 miniCPM 提供的方式来加载权重;