# hairuo模型适配vllm推理框架

使用方法

```python
python test_hairuo.py
```
注：需修改 test_hairuo.py 文件中的模型路径

vllm_hairuo.py : 使用 Llama 提供的方式来加载权重；

vllm_hairuo_v2.py : 使用 miniCPM 提供的方式来加载权重；