在Jetson AGX Orin上复现FastChat

举报
张辉 发表于 2023/08/05 10:07:04 2023/08/05
【摘要】 在Jetson AGX Orin上复现FastChat
参考
步骤,我们来一一复现。
首先我们有了一个Jetson Orin的Jetpack 5.1.1的环境,这个环境来自于:https://bbs.huaweicloud.cn/blogs/407756
我们在这个环境上,创建一个conda python3.8的环境:
进入conda环境后,执行
pip3 install fschat
这里装了一堆软件包,看的有点吓人。
cd /home1/zhanghui
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
mkdir -p models/vicuna-7b-v1.3

打开链接 https://huggingface.co/lmsys/vicuna-7b-v1.3/tree/main
下载相关的json文件,bin文件和model文件到 models/vicuna-7b-v1.3 目录:
cd ../..
执行 python -m fastchat.serve.cli --model-path models/vicuna-7b-v1.3
报错了:AssertionError: Torch not compiled with CUDA enabled
看来是conda环境中CUDA版本的问题。
难道不能用conda试验吗?
退出conda环境:
查看 Python版本为3.8
只好再重装一下:
pip install fschat
根据提示,将PATH中加入 ~/.local/bin
export PATH=$PATH:~/.local/bin
source ~/.bashrc
conda deactivate
cd /home1/zhanghui/FastChat
重新执行:
python3 -m fastchat.serve.cli --model-path models/vicuna-7b-v1.3
一样的错。。。
额,有点无能为力了。
检查下Pytorch 的版本:
确实装的不是带CUDA的Pytorch 2.0.1版本。
到底怎么才能装上带CUDA的Pytorch呢?
经过咨询GPUS Lady,知道他们成功运行的版本是:
Python 3.8
CUDA 11.4.315
Pytorch 1.14+nv23.01
查看 https://zhuanlan.zhihu.com/p/632052753 文档中 《(三)pytorch及torchvision安装》这一章节的内容,得知需要到 https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048
查找JetPack对应的版本:
具体链接为:
https://developer.download.nvidia.com/compute/redist/jp/v51/pytorch/torch-1.14.0a0+44dac51c.nv23.02-cp38-cp38-linux_aarch64.whl
(这里是1.14+nv23.02,版本差不多,想必可以用。。)
我们在Orin的终端上wget一下:
wget https://developer.download.nvidia.com/compute/redist/jp/v51/pytorch/torch-1.14.0a0+44dac51c.nv23.02-cp38-cp38-linux_aarch64.whl
耐心等待下载完毕:
执行安装:(想想看还是进入conda环境来做吧)
source ~/.bashrc
conda activate fastchat8
pip install ./torch-1.14.0a0+44dac51c.nv23.02-cp38-cp38-linux_aarch64.whl
嗯,它把torch 2.0卸载,装了torch 1.14的nv23版。
cd /home1/zhanghui/FastChat
重新执行:
python3 -m fastchat.serve.cli --model-path models/vicuna-7b-v1.3
报缺少openblas库。
sudo apt-get install libopenblas-dev
重新执行:
python3 -m fastchat.serve.cli --model-path models/vicuna-7b-v1.3
下面可以进行交互式提问:
你是谁?
你觉得ChatGPT优秀吗?
你觉得我优秀吗?
知乎是什么东西?
请说出元宵节的由来!
它回答了一些问题。在回答元宵节的来历的时候,有点卡,但是还是出结果了:
什么是深度学习?
什么是反向传播?
写一段快速排序的代码
谢谢,退出
好像它还不会自动退出,不过我有CTRL-C
所以,你们有什么想问FastChat的问题呢?
(全文完,谢谢阅读)
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。