Baichuan 2适配昇腾开源验证任务

举报
sunp 发表于 2024/12/02 11:06:16 2024/12/02
【摘要】 1 背景介绍开源for Huawei(参考:https://developer.huaweicloud.cn/programs/opensource/contributing/)  通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。开始之前,开发者可以下载 开...

1 背景介绍

开源for Huawei(参考:https://developer.huaweicloud.cn/programs/opensource/contributing/)  通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前,开发者可以下载 开源for Huawei Wiki(参考:https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview) 了解详细的开发步骤,技术准备,以及开发过程需要的各种资源。

 

2 需求分析

2.1 开源项目基本情况

Baichuan 2 是百川智能推出的新一代开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。该模型在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。截至到20241125日,YOLO11项目的GitHub star 数量超过 4.1k,项目代码最新提交时间为2024119日。

源码地址:https://github.com/baichuan-inc/Baichuan2

官网主页:https://www.baichuan-ai.com/

主要开发语言:python

LICENSEApache License 2.0

维护者:Baichuan-inc

项目数据:Fork 297Star 4.1 KContributor 9,最近一次提交:2024-11-9

star历史(https://star-history.com/):

 

image.jpeg

2.2 任务目的和范围

本任务旨在将 Baichuan 2适配至华为的 Ascend处理器,确保其能够在昇腾处理器上有效运行,有助于推动AI计算基础设施的发展。

l 能力要求

完成该任务需要掌握python语言,具备昇腾模型迁移适配能力,掌握昇腾硬件上开发环境的搭建流程、模型迁移方法(自动迁移、工具迁移)等。

l 适配任务清单

生态

生态细类

是否需要验证

验证逻辑说明

是否需要适配

适配场景说明

昇腾生态

指令

使用昇腾处理器运行应用。

使用昇腾指令实现适配逻辑。

CANN

应用功能依赖于CANN运行。

使用CANN实现适配逻辑。

MindSpore

应用功能依赖于MindSpore运行。

使用MindSpore实现适配逻辑。

鲲鹏生态

指令

使用鲲鹏处理器运行应用。

使用鲲鹏指令实现适配逻辑。

Euler

使用Euler系统运行应用。

使用Euler系统调用实现适配逻辑。

存储生态

OBS

使用OBS功能。

基于OBS API访问实现适配逻辑。

鸿蒙生态

HarmonyOS

使用HarmonyOS系统运行应用。

使用HarmonyOS系统调用实现适配逻辑。

3 工作量评估

任务

/

完成DEMO设计和功能验证

3

文档撰写与发布

1

适配心得撰写

1

总计

5

4 任务分解

4.1  完成Baichuan 2 演示 Demo 的设计、开发和部署

Demo 包含以下流程:
- 模型选择:选择 Baichuan 2 模型版本。

- 模型训练与推理:获取所需的模型权重、源码和配置文件,安装必要的依赖项,验证模型的输出结果。

- 适配与优化:确保模型 AscendopenEuler 系统上稳定运行

- 写出文档列出详细的步骤,使得 DEMO让用户可以容易的复现并通过开源平台进行发布。

4.2 完成适配心得输出

编写一篇关于 Baichuan 2 项目在 Ascend  处理器上适配过程的心得,包含技术挑战、解决方案和性能优化技巧。该心得文档将在华为云或其他技术平台上发布。

5 参考资料

1. https://github.com/baichuan-inc/Baichuan2?tab=readme-ov-file

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。