Fastchat适配昇腾开源验证任务 根据任务计划书（https://bbs.huaweicloud.cn/blogs/442044）了解任务内容，主要目的是在昇腾npu上在fastchat项目完成一个大模型的推理验证，确保其在昇腾上能够正常进行对话。

开发过程

明确目的后开始熟悉框架，Fastchat的github网址：https://github.com/lm-sys/FastChat，把Fastchat项目从github上用git clone命令拉取下来。

NPU验证

（1）安装依赖包

NPU上需要CANN、torch_npu、pytorch

先安装CANN，参考：
https://www.hiascend.com/zh/developer/download/community/result?module=cann。

torch_npu的安装参考：https://github.com/Ascend/pytorch/blob/master/README.zh.md。

python版本需要3.10的，另外还需要下载项目依赖：pip3 install -e ".[model_worker,webui]"

1 资源清单

2 验证截图

2.1验证思路

首先将FastChat项目从github上拉取下来，配置npu环境并根据需要下载相关依赖，其次从modelscope上下载模型放置model目录下，最后执行命令python3 -m fastchat.server.cli --model -path XXXX --device npu，进行对话推理验证。

2.2 NPU上推理验证结果

运行代码：

进行推理：
如下模型能根据问题给出正确的答案，并进行中英文混合交流

NPU运行前：

NPU运行后：