2024-10-25 16:50:20 +08:00
|
|
|
# hairuo模型适配vllm推理框架
|
|
|
|
|
|
|
|
|
|
使用方法
|
|
|
|
|
|
|
|
|
|
```python
|
|
|
|
|
python test_hairuo.py
|
2024-10-25 17:40:27 +08:00
|
|
|
```
|
2024-10-25 18:11:39 +08:00
|
|
|
注：需修改 test_hairuo.py 文件中的模型路径
|
|
|
|
|
|
|
|
|
|
vllm_hairuo.py : 使用 Llama 提供的方式来加载权重；
|
2024-10-25 18:11:51 +08:00
|
|
|
|
2024-10-25 18:11:39 +08:00
|
|
|
vllm_hairuo_v2.py : 使用 miniCPM 提供的方式来加载权重；
|
