- 微信
- 微博
  
  分享文章到微博
- 复制链接
  
  复制链接到剪贴板

[AIGC最佳实践]GPU Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理

modelarts-dev-server 发表于 2023/07/02 18:46:44 2023/07/02

【摘要】在华为云GPU Ant8裸金属服务器中，使用Megatron-Deepspeed框架训练GPT-2，分别进行单机单卡和单机多卡训练。训练完成后给出自动式生成内容，和交互式对话框模式。

1. 背景内容

1.1Megatron-Deepspeed

Megatron-Deepspeed 是一个由NVIDIA 开发的基于 PyTorch 的深度学习模型训练框架。它结合了两个强大的工具：Megatron-LM 和 DeepSpeed，可在具有分布式计算能力的系统上进行训练，并且充分利用了多个 GPU 和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。

Megatron-LM 是一个用于大规模语言建模的模型。它基于 GPT（Generative Pre-trained Transformer）架构，这是一种基于自注意力机制的神经网络模型，广泛用于自然语言处理任务，如文本生成、机器翻译和对话系统等。

DeepSpeed 是 NVIDIA 开源的加速深度学习训练的库。它针对大规模模型和分布式训练进行了优化，可以显著提高训练速度和效率。DeepSpeed 提供了各种技术和优化策略，包括分布式梯度下降、模型并行化、梯度累积和动态精度缩放等。它还支持优化大模型的内存使用和计算资源分配。

1.2 GPT2

GPT2（Generative Pre-trained Transformer 2）, 是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型, 是一个基于Transformer且非常庞大的语言模型。它在大量数据集上进行了训练，直接运行一个预训练好的 GPT-2 模型:给定一个预定好的起始单词或者句子，可以让它自行地随机生成后续的文本。目前GPT2模型有以下几种规模和类型。

2. 环境准备

笔者在华为云ModelArts DevServer预购相关超强算力的GPU裸金属服务器，并选择AIGC场景通用的镜像，完成使用Megatron-Deepspeed训练GPT2模型.

(1) 镜像选择：Ubuntu 20.04 x86 64bit SDI3 for Ant8 BareMetal with RoCE and NVIDIA-525 CUDA-12.0

镜像预置AIGC相关的软件详细信息参考. https://bbs.huaweicloud.cn/blogs/399188

(2) 裸金属规格选择： GPU Ant8, 包含8张GPU卡以及8张RoCE网卡.

关于Ant8裸金属服务器的购买, 可以在华为云官网提工单至ModelArts云服务，完成资源的申请。

3. 安装模型

3.1 安装Megatron-Deepspeed框架

a. 使用root用户SSH的方式登录GPU裸金属服务器, 登录方式在华为云购买页面可以获取。

b. 拉取pytorch镜像, 可以选择常用的镜像源进行下载.

docker pull nvcr.io/nvidia/pytorch:21.10-py3

c. 启动并进入容器

docker run -d -t --network=host --gpus all --privileged --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --name megatron-deepspeed -v /etc/localtime:/etc/localtime -v /root/.ssh:/root/.ssh nvcr.io/nvidia/pytorch:21.10-py3
docker exec -it megatron-deepspeed bash

d. 下载Megatron-DeepSpeed框架

git clone https://github.com/bigscience-workshop/Megatron-DeepSpeed

若git clone失败，可以尝试先下载至本地，然后拷贝至服务器中，在docker cp至容器中。

e. 安装Megatron-DeepSpeed框架

cd Megatron-DeepSpeed
pip install -r requirements.txt -i http://mirrors.myhuaweicloud.com/pypi/web/simple --trusted-host mirrors.myhuaweicloud.com
pip install mpi4py -i http://mirrors.myhuaweicloud.com/pypi/web/simple --trusted-host mirrors.myhuaweicloud.com

这里笔者选择华为云PIP源http://mirrors.myhuaweicloud.com/pypi/web/simple进行快速安装。

f. 修改测试代码，注释掉以下文件的断言行

vim /workspace/Megatron-DeepSpeed/megatron/model/fused_softmax.py +191

在assert mask is None, "Mask is silently ignored due to the use of a custom kernel"前加#

3.2 数据集下载和预处理

笔者选择使用1GB 79K-record的JSON格式的OSCAR数据集。

a. 下载数据集

wget https://huggingface.co/bigscience/misc-test-data/resolve/main/stas/oscar-1GB.jsonl.xz
wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-vocab.json
wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-merges.txt

b. 解压数据集

xz -d oscar-1GB.jsonl.xz

c. 预处理数据

python3 tools/preprocess_data.py \
    --input oscar-1GB.jsonl \
    --output-prefix meg-gpt2 \
    --vocab gpt2-vocab.json \
    --dataset-impl mmap \
    --tokenizer-type GPT2BPETokenizer \
    --merge-file gpt2-merges.txt \
    --append-eod \
    --workers 8

注意事项：若提示错误，请按照提示进行修改，np.float64替换np.float

d. 数据预处理完成标识.

e. 新建data目录并移动处理好的数据.、

mkdir data
mv meg-gpt2* ./data
mv gpt2* ./data

4. 单机单卡训练

本章节使用上文的服务器环境和安装好的模型，使用GPU Ant8裸金属服务器，完成单机单卡GPT-2 MEDIUM模型的训练。

4.1. 创建预训练脚本文件

a. 执行以下命令，创建预训练脚本文件。

vim pretrain_gpt2.sh

b. 在文件中添加以下信息。

#! /bin/bash

# Runs the "345M" parameter model

GPUS_PER_NODE=1
# Change for multinode config
MASTER_ADDR=localhost
MASTER_PORT=6000
NNODES=1
NODE_RANK=0
WORLD_SIZE=$(($GPUS_PER_NODE*$NNODES))

DATA_PATH=data/meg-gpt2_text_document
CHECKPOINT_PATH=checkpoints/gpt2

DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT"

python -m torch.distributed.launch $DISTRIBUTED_ARGS \
       pretrain_gpt.py \
       --tensor-model-parallel-size 1 \
       --pipeline-model-parallel-size 1 \
       --num-layers 24 \
       --hidden-size 1024 \
       --num-attention-heads 16 \
       --micro-batch-size 4 \
       --global-batch-size 8 \
       --seq-length 1024 \
       --max-position-embeddings 1024 \
       --train-iters 5000 \
       --lr-decay-iters 320000 \
       --save $CHECKPOINT_PATH \
       --load $CHECKPOINT_PATH \
       --data-path $DATA_PATH \
       --vocab-file data/gpt2-vocab.json \
       --merge-file data/gpt2-merges.txt \
       --data-impl mmap \
       --split 949,50,1 \
       --distributed-backend nccl \
       --lr 0.00015 \
       --lr-decay-style cosine \
       --min-lr 1.0e-5 \
       --weight-decay 1e-2 \
       --clip-grad 1.0 \
       --lr-warmup-fraction .01 \
       --checkpoint-activations \
       --log-interval 10 \
       --save-interval 500 \
       --eval-interval 100 \
       --eval-iters 10 \
       --fp16

4.2. 开始训练

本文是单机单卡训练，是使用预训练脚本参数控制：

GPUS_PER_NODE=1
NNODES=1
NODE_RANK=0

a. 执行以下命令，开始预训练

nohup sh ./pretrain_gpt2.sh &

b. 实时查看训练日志，监控程序

tail -f nohup.out

如果显示如下信息，表示模型训练完成。

笔者在训练过程中观察单GPU卡的利用率，如下：

4.3. 查看生成的模型checkpoint

本示例生成的模型checkpoint路径设置在/workspace/Megatron-DeepSpeed/checkpoints/gpt2

ll ./checkpoints/gpt2

5. 单机多卡训练

和章节4的单机单卡训练相比，单机多卡训练只需在预训练脚本中设置多卡参数相关即可，剩余流程与章节4相同。

a. 当前选择GPU裸金属服务器是8卡，因此需要调整如下参数

GPUS_PER_NODE=8

b. 调整全局批处理大小（global batch size）、微批处理大小（micro batch size）参数.

三者关系

global_batch_size = micro_batch_size * data_parallel_size

笔者设置的参数如下：

global_batch_size = 64
micro_batch_size = 4
data_parallel_size = 8

c. 这里给出单机多卡完整的预训练脚本内容：

#! /bin/bash

# Runs the "345M" parameter model

GPUS_PER_NODE=8
# Change for multinode config
MASTER_ADDR=localhost
MASTER_PORT=6000
NNODES=1
NODE_RANK=0
WORLD_SIZE=$(($GPUS_PER_NODE*$NNODES))

DATA_PATH=data/meg-gpt2_text_document
CHECKPOINT_PATH=checkpoints/gpt2

DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT"

python -m torch.distributed.launch $DISTRIBUTED_ARGS \
       pretrain_gpt.py \
       --tensor-model-parallel-size 1 \
       --pipeline-model-parallel-size 1 \
       --num-layers 24 \
       --hidden-size 1024 \
       --num-attention-heads 16 \
       --micro-batch-size 4 \
       --global-batch-size 64 \
       --seq-length 1024 \
       --max-position-embeddings 1024 \
       --train-iters 5000 \
       --lr-decay-iters 320000 \
       --save $CHECKPOINT_PATH \
       --load $CHECKPOINT_PATH \
       --data-path $DATA_PATH \
       --vocab-file data/gpt2-vocab.json \
       --merge-file data/gpt2-merges.txt \
       --data-impl mmap \
       --split 949,50,1 \
       --distributed-backend nccl \
       --lr 0.00015 \
       --lr-decay-style cosine \
       --min-lr 1.0e-5 \
       --weight-decay 1e-2 \
       --clip-grad 1.0 \
       --lr-warmup-fraction .01 \
       --checkpoint-activations \
       --log-interval 10 \
       --save-interval 500 \
       --eval-interval 100 \
       --eval-iters 10 \
       --fp16

笔者训练时监控8张GPU卡的使用情况如下：

6. 使用GPT-2模型生成文本

6.1 自动式生成文本

a. 执行以下命令，创建文本生成脚本

vim generate_text.sh

增加如下内容

#!/bin/bash

CHECKPOINT_PATH=checkpoints/gpt2
VOCAB_FILE=data/gpt2-vocab.json
MERGE_FILE=data/gpt2-merges.txt

python tools/generate_samples_gpt.py \
       --tensor-model-parallel-size 1 \
       --num-layers 24 \
       --hidden-size 1024 \
       --load $CHECKPOINT_PATH \
       --num-attention-heads 16 \
       --max-position-embeddings 1024 \
       --tokenizer-type GPT2BPETokenizer \
       --fp16 \
       --micro-batch-size 2 \
       --seq-length 1024 \
       --out-seq-length 1024 \
       --temperature 1.0 \
       --vocab-file $VOCAB_FILE \
       --merge-file $MERGE_FILE \
       --genfile unconditional_samples.json \
       --num-samples 2 \
       --top_p 0.9 \
       --recompute

b. 执行以下脚本，生成文本

sh ./generate_text.sh

若回显信息如下，则表示生成文本完成.

c. 查看模型生成的文本文件

cat unconditional_samples.json

回显信息如下：

6.2 交互式对话模式

a. 执行以下命令，创建文本生成脚本

vim interactive_text.sh

增加如下内容

#!/bin/bash

CHECKPOINT_PATH=/workspace/Megatron-DeepSpeed/checkpoints/gpt2_345m
VOCAB_FILE=/workspace/Megatron-DeepSpeed/data/gpt2-vocab.json
MERGE_FILE=/workspace/Megatron-DeepSpeed/data/gpt2-merges.txt

deepspeed /workspace/Megatron-DeepSpeed/tools/generate_samples_gpt.py \
       --tensor-model-parallel-size 1 \
       --num-layers 24 \
       --hidden-size 1024 \
       --load $CHECKPOINT_PATH \
       --num-attention-heads 16 \
       --max-position-embeddings 1024 \
       --tokenizer-type GPT2BPETokenizer \
       --fp16 \
       --micro-batch-size 2 \
       --seq-length 1024 \
       --out-seq-length 1024 \
       --temperature 1.0 \
       --vocab-file $VOCAB_FILE \
       --merge-file $MERGE_FILE \
       --genfile unconditional_samples.json \
       --num-samples 0 \
       --top_p 0.9 \
       --recompute

b. 执行以下脚本，开启交互式对话

bash interactive_text.sh

回显信息如下, 输入huawei并回车后生成内容：

Context prompt (stop to exit) >>> huawei

回车后自动输出相关文本，输出内容与模型训练、数据集强相关，这里仅示例

点赞
收藏
关注作者

0/1000

抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认取消

加入云驻计划，成为创作者

华为云周边好礼
免费体验产品
特殊身份标识
线下官方门票
内部专家零距离
与10000+优质创作者共同成长

立即加入