Moondream适配昇腾开源验证任务心得

首先看了一下任务计划书：https://bbs.huaweicloud.cn/blogs/441209，主要目的是将Moondream项目适配至华为的 Ascend（昇腾）和 Kunpeng（鲲鹏）处理器，确保其在这硬件平台上的高效运行，也就是说验证Moondream能不能在 Ascend（昇腾）和 Kunpeng（鲲鹏）处理器中运行。

介绍

Moondream是一个小型但功能强大的视觉语言模型，能够处理和理解视觉和语言信息。它可以根据输入的图像和提示，生成描述图像的文本或回答关于图像的问题。

开发过程

明确目的后开始熟悉模型，Moondream的github网址：https://github.com/vikhyat/moondream。

Moondream项目的使用：参考GitHub项目说明及本开发过程说明

Python版本指定为3.10.0，

conda create -n moondream python=3.10.0
conda activate moondream
cd moondream

安装项目指定的依赖库：

pip install -r requirements.txt

1.运行脚本命令：

python sample.py --image /mnt/moondream/assets/demo-1.jpg --prompt "What is the girl doing?"  #地址改为开发者运行本项目的地址

2.错误说明：

①如果在运行过程中遇到CPU占用过高，内存不足，高I/O等待，一直不出结果的情况，可删除之前下载的模型文件缓存，清理内存，增大磁盘空间后，再重新运行脚本下载模型文件。以下是删除模型文件缓存命令：

rm -rf /root/.cache/huggingface/hub/models--vikhyatk--moondream2
rm -rf /root/.cache/huggingface/modules/transformers_modules/vikhyatk/moondream2
rm -rf /root/.cache/huggingface

②如果在运行过程中报错连接不上huggingface下载模型文件，使用以下命令解决：

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com

在鲲鹏cpu和欧拉操作系统下验证推理

1.安装依赖包

conda create -n moondream python=3.10.0
conda activate moondream
cd moondream
pip install -r requirements.txt

2.运行脚本命令

这是我进行修改过的脚本文件，如需获取，请访问本项目的gitcode地址：

python sample-cpu.py --image /mnt/moondream/assets/demo-1.jpg --prompt "What is the girl doing?"  #地址改为开发者运行本项目的地址

在NPU运行项目

（1）安装依赖包

使用NPU推理模型需要安装pytorch、CANN和torch_npu，

先安装CANN，参考：https://www.hiascend.com/zh/developer/download/community/result?module=cann。

torch_npu的安装参考：https://github.com/Ascend/pytorch/blob/master/README.zh.md。

其他的库参照开发过程安装。

（2）运行脚本命令：

这个脚本是我修改后的脚本，请访问本项目的gitcode地址获取：

python sample-npu.py --image /mnt/moondream/assets/demo-1.jpg --prompt "What is the girl doing?"  #地址改为开发者运行本项目的地址

1       测试结果

1.1       CPU运行

运行脚本后输出：

提供的图片：

1.2       Npu运行

运行脚本后输出：

提供的图片与在CPU上的图片一样，我还上传了其他的图片测试，以下是我上传的测试图片：

提出的问题是这辆车的颜色是什么，运行脚本后的输出：

显示运行在NPU上：