小项目文件越存越多:一次把本地文件迁到对象存储的实操记录

举报
yd_219542221 发表于 2026/11/15 09:44:17 2026/11/15
【摘要】 小项目文件从本地磁盘迁到对象存储的完整实操:先盘点数量与访问规律,再定命名与权限规则,复制、双写切换、核对清理三步走,附费用账与三个真实踩坑。

小项目跑起来之后,最先失控的往往不是数据库,而是文件。用户头像、上传的图片、导出的报表、日志归档,一开始都顺手存在服务器本地磁盘上。磁盘满了才发现,扩容要停机,备份要自己写脚本,换一台机器还要把文件一只一只搬过去。这篇文章记录我把一个小项目的本地文件迁移到对象存储的全过程:怎么评估、怎么迁移、踩了哪些坑。

先弄清现状:文件到底有多少、在哪里

动手之前,我先把现状摸清楚,而不是凭感觉决定。登录服务器,用 du 命令按目录统计了几个关键位置:用户上传目录、导出文件目录、日志归档目录。结果是上传目录 3.2 GB,导出文件 1.1 GB,日志归档 800 MB,加起来 5 GB 出头。单看数字不大,但上传目录每天还在以几十 MB 的速度增长,磁盘剩余空间只够撑两个月。

我还顺手查了这些文件的访问规律。上传的图片是读多写少,导出文件是写一次、下载几次之后基本没人再碰,日志归档几乎只写不读。这个规律直接决定了后面的存储策略:热数据和冷数据不应该用同一种方式存。

为什么选对象存储,而不是直接扩磁盘

当时摆在我面前的有三个选项。第一是直接给云服务器扩磁盘,最简单,但问题一个没解决:备份、迁移、多机共享都还在。第二是自己搭一台文件服务器,成本和维护量都超出小项目的承受范围。第三是用对象存储,也就是把文件按对象的方式存到云端,通过 HTTP 地址访问。

我选了第三个,理由很实际。对象存储按量计费,5 GB 的量一个月也就几毛钱;自带多副本,不用自己操心硬盘坏了怎么办;换机器、扩容都不用搬文件;还能直接给文件生成可访问的链接,省掉了自己写下载接口的麻烦。缺点也有:每次读写都要走网络,小文件频繁读写会比本地磁盘慢;费用结构里除了存储量还有请求次数和流量,算账的时候不能只看存储单价。

迁移前的准备:先定命名规则,再动数据

迁移最容易翻车的地方不是技术,而是命名。本地文件系统里,文件名可以带中文、带空格、带特殊字符,路径可以很深;对象存储的键名虽然也支持这些,但 URL 编码、签名、跨平台同步时都容易出问题。我定的规则很简单:对象键名只用小写字母、数字、短横线和斜杠;目录结构按业务和日期分两层,例如 uploads/avatar/2026/11/xxx.jpg;原始文件名只保留扩展名,前面统一用时间戳加随机串。

第二件事是区分公开和私有。用户头像这类需要直接展示的文件可以公开读,导出报表这类带业务数据的文件必须私有,只能通过带签名的临时链接访问。这个区分必须在迁移前定好,因为权限一旦设错,公开的收不回来,私有的又打不开。

第三件事是做一份迁移清单。把每个目录对应到对象存储里的前缀,写下来,迁移完逐项打勾。清单很土,但它是我后来核对数量的唯一依据。

迁移过程:先复制,再切换,最后删源文件

迁移我分了三步走,每一步都可以单独回滚。

第一步是全量复制。用对象存储提供的命令行工具,把本地目录同步到对应的存储桶前缀。同步工具的好处是支持断点续传,中间断了可以接着传,不用从头来。5 GB 的文件传了大约 40 分钟,传完后用工具自带的校验功能逐个比对了文件大小,有两个文件因为上传时被业务进程改写导致大小不一致,重新传了一次才一致。

第二步是双写切换。代码里文件写入的地方改成先写对象存储,读的地方改成先读对象存储、读不到再回落到本地磁盘。这个回落逻辑只保留了一周,作为过渡期的安全网。同时,新上传的文件只进对象存储,本地目录不再新增文件。

第三步是核对与清理。等新文件全部走对象存储跑了一周、确认没有读回落的日志之后,我才删除本地的源文件。删除之前又做了一次全量比对:本地文件数和对象数逐项对上,抽查了几十个文件的下载内容,确认无误才动手。本地磁盘一下子空出了 5 GB。

代码改造:只改文件读写这一层

代码改造的原则是只动文件读写这一层,不动业务逻辑。原来直接读写本地路径的地方,封装成三个函数:上传、下载、删除。上传函数负责生成键名、上传文件、返回访问地址;下载函数负责按需生成签名链接;删除函数负责同时清理对象和数据库里的记录。业务代码只调用这三个函数,不知道文件到底存在哪里。

这里有个细节值得一提:生成签名链接的有效期。我一开始设了 24 小时,后来发现导出报表这个场景,用户经常是第二天才点开下载链接,结果链接过期了打不开,误以为文件丢了。后来改成按场景设有效期:即时下载的 1 小时,需要转发给别人的 7 天。这个教训是,技术参数要跟着使用场景走,不能只图省事设一个默认值。

费用与效果:一个月之后回头看

迁移完成一个月后,我算了一笔账。存储费用每月不到 1 元,请求费用几毛钱,流量费用因为头像类文件走了 CDN 缓存,基本可以忽略。相比之下,之前如果扩磁盘,每个月要多付十几元,而且备份和迁移的问题一个都没解决。

效果上最明显的是部署变简单了。以前换一台机器要先把 5 GB 文件同步过去,现在新机器启动后直接就能跑,文件全部在对象存储里。备份也简单了:对象存储自带多副本,我只需要定期把关键的私有文件再同步一份到另一个区域的存储桶,做异地备份。

踩过的坑

第一个坑是删除本地文件太心急。第一次迁移时,我在双写只跑了两天就删了源文件,结果发现有个定时任务还在读本地路径的老文件,删完之后任务连续报错。后来学乖了:过渡期至少留一周,并且删除前先把目录改名观察几天,确认没有任何进程访问,再真正删除。

第二个坑是文件名编码。个别用户上传的文件名里有生僻字,同步工具传上去之后,下载时的文件名乱码。解决办法是上传时把原始文件名单独存在数据库里,下载时用这个原始文件名作为响应头,对象键名只用安全的随机串。

第三个坑是权限设反了。一个导出目录在迁移时误设成了公开读,直到我做访问日志检查才发现。好在里面没有特别敏感的数据,马上改回私有并轮换了相关链接。从那以后,我养成了一个习惯:每次新建存储桶或目录,先写一条测试用例验证权限,再往里面放真实文件。

总结

小项目的文件迁移,技术本身不复杂,复杂的是前期的盘点和后期的核对。我的顺序是:先盘点文件数量、大小和访问规律;再定命名规则和权限策略;然后复制、双写切换、核对清理三步走;最后留一周过渡期再删源文件。按这个顺序走,5 GB 的迁移零停机、零数据丢失,多花的时间主要在核对上,而核对花的每一分钟都值得。

如果你也在为小项目的文件发愁,不妨先从 du 命令开始,看看文件到底有多少。很多时候,问题没有想象中大,动手之后才发现,难的不是迁移本身,而是下决心开始。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。