CDM进阶指导之文件过滤器

举报
Leef724 发表于 2020/06/20 15:51:58 2020/06/20
【摘要】 简介CDM支持对源端的文件进行正则表达式,通配符过滤,以此来满足客户迁移源端部分数据的需求。配置指导点击新建作业,选择文件类连接器如obs,sftp, hdfs 等,点击高级配置通配符过滤假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。正则表达式过滤通配符不一定满足客户的所有场景,所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字,后缀为log...

简介

CDM支持对源端的文件进行正则表达式过滤,通配符过滤,时间过滤,以满足客户迁移源端部分数据的需求。

配置指导

点击新建作业,选择文件类连接器如obs,sftp, hdfs 等,点击高级配置

通配符过滤

假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。

正则表达式过滤

通配符不一定满足客户的所有场景,所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字,后缀为log的文件

时间过滤

除了上述两种场景外,cdm还支持按照时间过滤文件,并且支持时间宏变量。假设用户想设置一个CDM定时任务,这个任务每次迁移前一天的数据,那么可以设置最最小时间${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)},最大时间${dateformat(yyyy-MM-dd HH:mm:ss)}。其中dateformat(yyyy-MM-dd HH:mm:ss)在迁移过程中会转化成CDM作业启动的时间,而dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)则相应的在启动时间上减一天。配置如下图所示,

注:更详细的时间宏配置说明请跳转https://support.huaweicloud.cn/usermanual-cdm/cdm_01_0068.html


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。