CDM进阶指导之文件过滤器
【摘要】 简介CDM支持对源端的文件进行正则表达式,通配符过滤,以此来满足客户迁移源端部分数据的需求。配置指导点击新建作业,选择文件类连接器如obs,sftp, hdfs 等,点击高级配置通配符过滤假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。正则表达式过滤通配符不一定满足客户的所有场景,所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字,后缀为log...
简介
CDM支持对源端的文件进行正则表达式过滤,通配符过滤,时间过滤,以满足客户迁移源端部分数据的需求。
配置指导
点击新建作业,选择文件类连接器如obs,sftp, hdfs 等,点击高级配置
通配符过滤
假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。
正则表达式过滤
通配符不一定满足客户的所有场景,所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字,后缀为log的文件
时间过滤
除了上述两种场景外,cdm还支持按照时间过滤文件,并且支持时间宏变量。假设用户想设置一个CDM定时任务,这个任务每次迁移前一天的数据,那么可以设置最最小时间${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)},最大时间${dateformat(yyyy-MM-dd HH:mm:ss)}。其中dateformat(yyyy-MM-dd HH:mm:ss)在迁移过程中会转化成CDM作业启动的时间,而dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)则相应的在启动时间上减一天。配置如下图所示,
注:更详细的时间宏配置说明请跳转https://support.huaweicloud.cn/usermanual-cdm/cdm_01_0068.html
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)