华为云云搜索服务CSS实战:集群创建、索引检索、数据写入、备份与扩容
一、背景:为什么用托管搜索集群
日志一多,在单台机器上翻文件就会跟不上:多台主机、多个应用、还要按关键字、时间和错误码交叉查。站内商品、文档、工单的搜索,如果只靠关系库的模糊查询,往往又慢又难做相关性。自己在云主机里搭开源搜索集群可以解决问题,但要自己盯节点磁盘、脑裂、副本和版本升级,集群规模一大,运维负担会很快超过业务改造本身。
华为云云搜索服务(下文简称 CSS)提供托管的搜索集群,把节点、安全访问、监控和备份收进控制台。你可以在上面建索引、写入文档、按条件检索,也可以接日志或业务数据做分析。它和在单机里跑一个搜索进程不是一回事——后者没有现成的多节点副本和快照管理,故障时要自己恢复。本文按“认清概念 → 创建集群 → 建索引并检索 → 写入数据 → 备份扩容和成本”的顺序说明做法。菜单名称以控制台当前版本为准。
二、核心概念
集群:一组共同对外提供检索能力的节点。集群名称建议带环境和用途,例如 css-prod-logs。测试和生产不要共用同一套集群,以免压测或误删影响线上检索。
节点:承担数据、或承担集群管理职责的计算实例。节点规格和磁盘决定能放下多少数据和能支撑多少并发查询。节点数记为 <节点数量>。
索引:存放同类文档的逻辑空间,相当于检索里的“表”。索引名记为 <索引名>,不要用含义不清的名字。映射定义字段类型,例如关键字、文本、时间和数值,类型一旦写错,后面的聚合和排序都会受影响。
分片与副本:索引会拆成分片分布到节点上,副本用于冗余和分担查询。分片数量在创建后通常不能随意缩小,因此不要一上来就拆过多主分片。
安全模式:开启后需要用户名和口令才能访问集群和可视化控制台。管理员用户记为 <管理员用户>,口令只通过安全渠道保管。
快照:集群或索引的备份,通常存到对象存储。快照仓库路径记为 <快照路径>,恢复时要能指定到某一个时间点的快照名称 <快照名称>。
三、创建集群
进入云搜索服务控制台,选择与业务相同的区域后创建集群:
- 选择引擎类型和版本。按团队已有的客户端和插件要求来选,不要混用文档里看到的另一种引擎的操作习惯;
- 填写集群名称,例如 css-dev-search,并确定节点规格、
<节点数量>和磁盘容量。容量要留出索引膨胀、副本和滚动更新的余量,不要按“当前文件大小等于磁盘需求”来买; - 配置网络:虚拟私有云、子网和安全组。安全组只放行应用服务器、采集端和运维跳板访问集群端口与可视化控制台端口,不要对全部地址放开;
- 开启安全模式,设置
<管理员用户>和口令,生产集群不要关闭认证; - 确认计费方式后提交,等待集群状态变为可用,再记录
<集群地址>和可视化控制台入口,这些地址不要写进公开文档。
集群显示可用,只说明节点起来了,不代表业务网段已能访问。先从同一虚拟私有云里做一次认证访问,确认账号、端口和安全组后再让业务接入。测试可用较小规格先跑通索引、写入、查询和快照。开通前检查配额,并确认采集端能访问集群,避免把连通问题误判成程序问题。
四、创建索引并做检索
不要一上来就把全量数据灌进去。先用一小批结构完整的样例文档把映射和查询跑通,确认字段类型、分词和排序符合预期。
创建索引时重点核对:
- 索引名用
<索引名>,带上业务和用途,例如 order-search,避免日后分不清; - 为每个字段选择合适类型:要精确匹配的编号用关键字类型,要分词检索的标题和正文用文本类型,时间字段用日期类型,便于按范围过滤;
- 主分片数量按数据规模和节点数规划,宁可比预估略少,也不要一次拆出大量空分片;
- 副本数量在生产至少保证有冗余,测试可以少一些以节省磁盘;
- 中文检索需要分词时,选用集群已支持的分词方式,并在同一套分词设置下验证搜索结果,不要在写入和生产查询里用两套互不兼容的规则。
查询时先用关键字和时间范围过滤,再用文本查标题,避免每次全索引扫描。深度翻页成本很高,适合先过滤再看靠前的结果。
按统计日或业务线拆分索引时,提前约定命名、保留周期和 <索引别名>,删除过期索引前确认快照或归档已完成。字段类型创建后很难随意更改,样例阶段就要把映射定准,不要等生产写入大批文档后再改。
检索语句里不要写死真实地址或账号。示例只演示逻辑:
索引 = <索引名>
查询用户 = <查询用户>
过滤条件 = 状态 = 已完成 且 下单时间位于 <起始时间> 到 <结束时间>
全文条件 = 标题或摘要包含 <关键词>
排序 = 按下单时间倒序
返回条数 = 20
查询账号按最小权限发放,只读账号不能删除索引或修改集群设置。生产变更映射或删除索引应走评审,不要在控制台里即兴操作。
五、把数据写进集群
业务系统可以直接批量写入,日志类数据适合由采集端收集后发送到集群。不要把管理员口令写进程序明文,应放到凭证管理中,并给写入专用账号,只授予目标索引的写入权限。
批量写入时注意:
- 单次批量大小要适中,过大会拉高内存和刷新压力,过小会让请求次数过多;
- 写入高峰与查询高峰重叠时,优先保证查询时延,必要时把写入限速或错峰;
- 失败要可重试,但必须避免无界重复写入造成重复文档。文档应有稳定的编号,便于覆盖更新;
- 时间字段使用统一时区和格式,否则按时间过滤会漏数据;
- 不要把超大附件或无关二进制内容写进检索字段,索引会迅速膨胀,对搜索也没有帮助。
日志场景下先约定时间、级别、应用名、主机名、请求编号和消息正文等字段。采集端和集群之间走内网,不把集群端口暴露到公网。
写入后先抽查文档数量、刚写入的编号能否查到、时间范围是否对得上;对不上时先看采集过滤、时区和映射,再考虑加节点。离线导入要先在测试索引验证格式,重放时使用稳定文档编号,避免同一批数据形成多份结果。
六、备份、扩容与成本控制
集群能查只说明当前可用,不说明能恢复。生产集群应定期把快照写到 <快照路径>,并做一次恢复演练:在测试集群从 <快照名称> 恢复某个索引,核对文档数和抽样查询。只创建快照策略却从未恢复过,真正出问题时往往会卡在权限或路径上。
磁盘使用率要设告警,接近阈值时先清理过期索引、再扩容磁盘或增加节点,不要等写入被拒绝才处理。扩容前看清楚瓶颈是计算、内存还是磁盘:查询变慢不一定是节点不够,也可能是分片过多、深度分页或映射不合理。
增加节点后关注分片是否分布均匀;缩容或下线前确认数据已迁移完成,不要直接删除还承担主分片的节点。
费用主要来自节点规格、数量、磁盘和可选的公网能力。测试集群用完及时停止或删除,过期索引和过期快照按保留期清理,能走内网就不要给集群开公网访问,也不要长期开着过大规格。集群删除、索引删除和安全配置变更应留下记录,并限制在少数管理员;可视化控制台也要走受控网络。
七、小结
云搜索服务的关键不是把集群创建出来,而是一条可重复的数据路径:用合适的节点和安全模式起步,用慎重的映射建立 <索引名>,用带权限的写入和可过滤的查询提供检索,再用 <快照路径> 保证能恢复。安全组、专用账号和内网访问是底线,不要把检索端口直接暴露到公网。
先用小数据验证字段和查询再接入全量,先有快照和告警再当作生产依赖。集群地址、账号和路径只放在内部配置里。
- 点赞
- 收藏
- 关注作者
评论(0)