Baichuan 2适配昇腾开源验证任务
1 背景介绍
开源for Huawei(参考:https://developer.huaweicloud.cn/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。
开始之前,开发者可以下载 开源for Huawei Wiki(参考:https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview) 了解详细的开发步骤,技术准备,以及开发过程需要的各种资源。
2 需求分析
2.1 开源项目基本情况
Baichuan 2 是百川智能推出的新一代开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。该模型在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。截至到2024年11月25日,YOLO11项目的GitHub star 数量超过 4.1k,项目代码最新提交时间为2024年11月9日。
源码地址:https://github.com/baichuan-inc/Baichuan2
官网主页:https://www.baichuan-ai.com/
主要开发语言:python
LICENSE:Apache License 2.0
维护者:Baichuan-inc
项目数据:Fork 297,Star 4.1 K,Contributor 9,最近一次提交:2024-11-9
star历史(https://star-history.com/):
2.2 任务目的和范围
本任务旨在将 Baichuan 2适配至华为的 Ascend处理器,确保其能够在昇腾处理器上有效运行,有助于推动AI计算基础设施的发展。
l 能力要求
完成该任务需要掌握python语言,具备昇腾模型迁移适配能力,掌握昇腾硬件上开发环境的搭建流程、模型迁移方法(自动迁移、工具迁移)等。
l 适配任务清单
生态 |
生态细类 |
是否需要验证 |
验证逻辑说明 |
是否需要适配 |
适配场景说明 |
昇腾生态 |
指令 |
是 |
使用昇腾处理器运行应用。 |
否 |
使用昇腾指令实现适配逻辑。 |
CANN |
是 |
应用功能依赖于CANN运行。 |
否 |
使用CANN实现适配逻辑。 |
|
MindSpore |
否 |
应用功能依赖于MindSpore运行。 |
否 |
使用MindSpore实现适配逻辑。 |
|
鲲鹏生态 |
指令 |
是 |
使用鲲鹏处理器运行应用。 |
否 |
使用鲲鹏指令实现适配逻辑。 |
Euler |
是 |
使用Euler系统运行应用。 |
否 |
使用Euler系统调用实现适配逻辑。 |
|
存储生态 |
OBS |
否 |
使用OBS功能。 |
否 |
基于OBS API访问实现适配逻辑。 |
鸿蒙生态 |
HarmonyOS |
否 |
使用HarmonyOS系统运行应用。 |
否 |
使用HarmonyOS系统调用实现适配逻辑。 |
3 工作量评估
任务 |
人/天 |
完成DEMO设计和功能验证 |
3 |
文档撰写与发布 |
1 |
适配心得撰写 |
1 |
总计 |
5人天 |
4 任务分解
4.1 完成Baichuan 2 演示 Demo 的设计、开发和部署
Demo 包含以下流程:
- 模型选择:选择 Baichuan 2 模型版本。
- 模型训练与推理:获取所需的模型权重、源码和配置文件,安装必要的依赖项,验证模型的输出结果。
- 适配与优化:确保模型在 Ascend、openEuler 系统上稳定运行。
- 写出文档列出详细的步骤,使得 DEMO让用户可以容易的复现,并通过开源平台进行发布。
4.2 完成适配心得输出
编写一篇关于 Baichuan 2 项目在 Ascend 处理器上适配过程的心得,包含技术挑战、解决方案和性能优化技巧。该心得文档将在华为云或其他技术平台上发布。
5 参考资料
1. https://github.com/baichuan-inc/Baichuan2?tab=readme-ov-file
- 点赞
- 收藏
- 关注作者
评论(0)