华为云存储服务实践
【摘要】 华为云存储服务实践
一、云硬盘EVS
1.存储分类
块存储:EVS,例如DAS和SAN;
文件存储:SFS;NAS;
对象存储OBS
2.EVS elastic volume service云硬盘;
云硬盘简称磁盘,要挂载到云服务器使用,无法单独使用;
3.云服务器:弹性云服务器和裸金属云服务器;
云硬盘分为数据盘和系统盘:
对于系统盘:直接快照或者备份创建云主机;
弹性扩展创建云硬盘最小10GB最大32T;
4.扩容:
(1)最小扩容步长1GB;
支持平滑扩容,扩容时候不影响当前业务进行;
申请扩容容量不超过当前剩余容量;
系统盘和数据盘都支持数据加密;
实时监控cloudi:
(2)相关概念
IOPS(每秒读写操作次数):
通吐量:每秒读取和写入的数据量以及每秒成功传输的数据量;
iO读写延迟:云硬盘连续两次读写最小间隔
(3)磁盘分类:
普通IO:大容量以及读写速率中处理事务少;
高IO:一般工作场景,例如开发测试;
通用型SSD:低延迟,公司业务;
超高IO:超大带宽读写密集场景;
(4)ECS:云硬盘挂载同一可用区的云服务器,可用区创建后不支持修改;
系统盘申请云主机已经配置好,数据盘需要单独配置;
共享盘最多同时挂载16个云主机;
(5)磁盘模式:
VBD默认模式,支持简单SCSI读写;
SCSI:支持SCSI指令透传,允许操作系统直接访问底层存储;
SCSI共享云硬盘:支持集群。
常见集群需要使用SCSI锁,当多个请求同时到来,先锁住数据,直到第一次写完成在开发写权限;
裸金属服务器系统盘数据盘只能选择SCSI模式;
二、EVS使用管理:
1.一块共享云硬盘最多同时挂载16台云服务器;
同时获先后挂载的操作系统只能为WINDOWS或Linux的一种;
共享云硬盘只适合数据盘,不适合系统盘;
2.系统盘卸载只能关机下进行;
当需要从快照回滚数据时需要将EVS从云服务器卸载;
当云硬盘状态为可用,错误,扩容失败,恢复数据失败和回滚数据失败才可以删除磁盘;
系统盘必须随云服务器一同购买,并且会自动挂载,可以在云硬盘列表中看到磁盘属性为“系统盘”,磁盘状态为“正在使用”。当系统盘从云服务器上卸载后,此时系统盘的磁盘属性变为“启动盘”,磁盘状态变为“可用”。(非共享云硬盘可理解为普通电脑购买的SSD硬盘或SATA盘,挂载后对应电脑中C、D、E硬盘)
三、云硬盘生命周期管理:
1、云硬盘资源没有被其他服务资源锁定才可以删除;
可以对状态为正在使用和可用的云硬盘进行扩容;
2、EVS快照:
快照和数据存储在云硬盘;
单个云硬盘可以创建做多7个快照;
数据错误或者损坏可以恢复到创建快照时期的云硬盘;
只支持回滚快照至源云硬盘,只有快照状态为可用,源云硬盘状态可用或回滚数据失败才可以执行该操作;
3、EVS备份:
云备份CBR(cloud backup andrecovery)的云硬盘备份在线备份数据;存储在OBS对象存储中,支持快AZ可用区;只有状态为可用或者正在使用时候才能备份;可通过设定时备份恢复数据,采用三副本技术保证数据可靠性,按分布式存储存储在集群不同节点;默认数据分为1mb大小;
四、云硬盘生命周期管理
1、linux fdisk -l
vda:系统盘;
vdb数据盘;
fdisk /dev/vdb:
w:分区结果写入分区表;
partprobe:分区表同步操作系统、
设置文件系统
mkfs -t ext4 /dev/vdb1:
2、块存储:可设备读写的系统软件
数据库或者文件存储
对象存储OBS:其他计算机软件;
文件存储:用户为人;
3、OBS功能特性:
(1)生命周期管理: 通过配置指定规则,定时删除或转换对象的存储类别;
用户指定对象名称前缀匹配受约束对象;
配置生命周期管理规则到桶,使桶对象受其影响;
用户可设置转换至少30天后为低频访问存储,若同时设置转为低频存储和归档存储,转为归档存储时间至少要比低频存储长30天;
OBS尚不支持服务端运行脚本;静态网站托管配置2分钟后生效;
4、防盗链技术:
支持HTTP header中表头字段refer防盗链,判定refer字段是否在白名单中一致;
5、SMN消息通知服务:跟据用户需求,向订阅终端推送消息;
6、自定义域名:OBS将用户网站域名映射到创建但而为桶上,在域名服务器添加CNAME规则,将该域名映射成桶域名,最后用户对网站域名访问实际上是http://桶域名/文件名;
7、跨区域复制:
为用户提供跨区域数据容灾的能力,满足数据异地备份;
同账号下,数据自动异步复制到不同区域桶中,默认复制对象的存储类别与源对象一致,也可以对复制对象指定存储类别;
8、多版本控制:
(1)利用版本号创建一个或多个对象,指定版本号下载对象,不指定默认下载最新对象,默认李处桶内对象列表,列出最新对象列表,
(2)默认不开启版本控制,同一个桶上传同名对象,新上传的对象覆盖原有对象;
(3)删除对象:删除对象后OBS插入删除标记,对象在已删除对象列呈现,删除带删除标记的对象可以取回该对象;
一个对象只能显示在对象列表或者已删除对象列表中,不会同时存在;
(4)多版本控制一旦启动不可关闭,只能暂停使用;暂停后新上传的对象版本号为空,若之前有空版本号的同名对象,会覆盖该对象;
历史版本继续保留在OBS中;没启动版本控制,直接删除;
(5)异常;4XX客户端异常
5xx服务器端异常;
五、对象存储生命周期管理:
1、对象存储服务使用:
(1)OBS控制台,我的凭证中获取AK和SK,
可以使用创建好的或者新增;
下载好即可;
(2)下载OBS browser+工具,解压并安装;
(3)打开客户端使用Ak方式登陆;
服务提供商选择华为云对象存储服务;
低频访问存储:一年少于12次;
多AZ,某个AZ桶不可用,其他AZ仍然可以获取;
输入桶名称,全局唯一;
(4)点击上传文件,配置默认,可以一次上传多个文件;
(5)删除桶时候,要先将桶清空;客户端和WEB端同步;
启用多版本控制:打开桶设置,在多版本控制旁边的问号上鼠标悬停,点击打开;
查看上传的文件:点击分享,复制URL打开或者点击打开URL,可设置的URL有效期最长为18h;
存储对象:元数据(与数据独立,例如照片拍摄地点等),数据,key(数据标识)
六、SFS(scalable file service弹性文件服务)1.存储:
NAS网络附加存储,传统文件共享存储;
文件共享实现协议:FTP,NFS(适合linux系统),CIFS(common internet file system);
2产品分类:
(1)SFS:pb级别存储空间;最大带宽2GB,IOPS最大可达2k;
(2)SFS turbo:时延更低,容量比SFS小,最大弹性拓展到320TB,IOPS最大可达100k;
3.应用:HPC高性能计算,能够弹性拓展至PB规模;媒体处理,文件共享,内容管理和Web服务,大数据
posix(portable operating system inetrface可移植性操作系统接口):访问文件系统额接口;
四、弹性文件生命周期管理实验
1.SFS默认同VPC虚拟私有云可以访问;可设置
权限跨VPC访问;
2.创建linux和windows的vpc;
创建SFS(协议选择NFS),SFS设置添加VPC;
购买linux和windos的RDS(静态BGP,按流量计费)
3.Linux弹性云服务器挂载
打开putty,使用弹性公网IP链接linux;
rpm -qa|grep nfs:是否安装nfs;
yum install -y nfs-utils:安装nfs
mkdir /localdir:创建路径;
mount -t nfs -o vers=3,nolock 【挂载地址】 /localdir/
mount -l:查看是否挂载;
编辑配置文件:vim /etc/fstab
添加:
【挂载地址】 /localdir nfs vers=3,timeo=600,nolock 0 0
reboot重启;
cd /localdir/
vim new :新建文档;
4.windows弹性云服务器挂载
win+r打开,输入mstsc跳转到远程登录界面;
服务管理器-添加角色和功能-服务器角色-文件和存储服务-NFS服务器-功能-NFS客户端
重启电脑;
控制面板-查看方式切换为类别
系统和安全-管理工具-NFS服务
NFS客户端右击-属性选择传输协议类型TCP,使用硬装载方式;
打开cmd-
输入mount 【弹性与服务共享路径】 D:
我的电脑查看发现多出D盘
五、CBR云备份
1、通常由备份,存储库,备份策略组成;
备份分为四种类型;云硬盘备份,云服务器备份,文件系统备份,混合云备份(Vmware备份和存储备份);
创建备份前至少要一个存储库;将服务器或者磁盘绑定;
2.存储库分为备份存储库和复制存储库
备份存储库用来存放备份对象产生的备份;
复制存储库:存放复制操作产生的备份;
3.备份策略;自动备份;
复制;一个区域产生的数据复制到另一个区域;
启用数据库备份之前要先安装agent;
备份:崩溃一致性备份:同一个时间点产生备份;
应用一致性备份:保存磁盘和内存数据;
4.备份机制:
(1)默认新服务器第一次全量备份,备份已经使用的空间,后续增量备份;
云备份备份过程中自动创建快照并未每个磁盘保留最新快照;
(2)备份类型:
完全备份:完全备份每天;
累积增量式备份:每周一天安全备份,其余时间备份与完全备份差异
差异增量式备份:每周一天安全备份,其余时间备份与上次备份差异;
(3)备份方式:
一次性备份:(手动)和周期性备份(自动,创建备份策略并绑定存储库)
5.创建云备份实验:
ECS中购买弹性云服务器RDS;
CBR购买备份存储库;
putty链接RDS的弹性公网IP
vim test:创建文件
云备份控制台点击执行备份
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)