【云驻共创】华为云原生之Kubernetes运维管理详解(下)

举报
kaliarch 发表于 2022/03/22 10:19:26 2022/03/22
【摘要】 可观测性是云原生场景必不可少的一环,关系到云原生实践能否在生产环境顺利实施。可观测性技术实施具有技术栈多样,场景复杂,数据规模大等特点,这给人们云原生实践带来了很大的障碍。开源社区针对这个问题,着手构建统一的云原生可观测性技术与规范;华为云CIE紧跟社区最新标准与方案,在监控运维上,强调数据关联分析和无缝衔接,用户无需到各个页面频繁跳转,在一个地方就可以对问题进行集中分析和诊断,实现一键式故障分析

前言

《云原生王者之路集训营》是华为云云原生团队精心打磨的云原生学习技术公开课,分为黄金、钻石、王者三个阶段,帮助广大技术爱好者快速掌握云原生相关技能。本课程为黄金课程的第九课,由华为云容器洞察引擎CIE团队高级工程师 Roc主讲,带领大家深入理解K8S集群监控的最佳实践,帮助大家构建稳定、可靠的云原生应用服务。

目标学员:计算机、软件工程等专业的大学生,涉及Kubernetes、Istio等技术的应用开发者,其他的云原生技术兴趣爱好。学完本课程后,您将能够:了解集群监控基本方法;了解常见集群组件故障排错分析方法;了解华为云CIE集群监控方案架构。

上一节课我们了解了应用在k8s生产环境中的最佳实践,包括应用更新与回滚,应用健康检查弹性伸缩等特性。本次课程将会带领大家深入理解K8S集群监控的最佳实践,帮助大家构建稳定、可靠的云原生应用服务。

一 集群可观测性详解

1.1 云原生应用的特点

首先要明白云原生要具备云的天然基因,天生就是云的一部分。云原生不是为云而生,而是天生就是云,生而是云,所以它具有云的特性:通过网络访问、远端部署执行、可扩展弹性伸缩、共享、按需使用自助服务、高可用、可远程监控计费审计、标准化交付与位置无关等。

  1. 应用架构:
    1. 从单体应用向微服务过渡
    2. 应用架构过渡为松耦合系统
    3. 应用版本迭代更快、 周期更短
  2. 基础设施层:
    • 容器化、应用自身快、轻、微
    • Kubernetes 成为运行容器的默认平台
    • laaS、PaaS 平台底层来承载Kubernetes平台

     3. 软件生命周期:

    1. 服务通过DevOps流水线持续部署
    2. 服务变更低成本和低风险
    3. 呈现高频率和全自动变更

1.2 K8S与云原生应用监控挑战

虽然云原生为企业数字化带来了非常多的好处,但同时针对K8S与云原生应用的监控也带来了诸多挑战。

  1. K8S架构复杂性: K8S架构包括控制节点和工作节点,各自包含一组相互通信的组件,比如kube-apiserver, etcd, kubelet等。
  2. 微服务架构:应用从单体到微服务架构的转变,导致应用数量激增,相互依赖关系复杂,出现了问题之后,如何快速定位到发生问题的根本原因。
  3. 动态性:应用的迭代更新更加便捷迅速,POD、Service等资源随时可能会销毁或重建,需要监控系统具备动态发现k8s资源的能力。
  4. 成本:微服务的规模和动态性使得监控数据规模和收集的成本大幅度提高。

1.3 云原生可观测性

为了应对云原生监控的挑战,社区引入了可观测性这一理念。 可观测性系统主要基于Metrics、Traces、 Logs三大数据类型构建。

  • Metrics:收集并存储海量指标,通过指标阈值等手段实现告警通知,从而告知有没有问题发生。
  • Traces:通过告警指标发现问题后,依据调用追踪分析,进一步明确是什么问题。
  • Logs:明确了问题发生的对象或者位置后,通过日志分析等手段实现为什么问题会发生,即找到问题的根因。

围绕着这三种数据类型,开源社区构建了多种多样的开源产品,像Prometheus, Cortex, node-problem-detector, Fluentd, ELK, Loki,Jaeger等。

1.4 指标监控与prometheus

1.4.1 指标监控

指标(Metrics) 是在许多个连续的时间周期里度量的KPI数值。比如我们常常谈到的一个应用在过去十分钟、半小时内的CPU、内存占用率等。

一般情况下可以将指标进行如下分类:

  • 系统指标:集群CPU使用率、磁盘使用率以及网络宽带情况等等。
  • 应用指标: QPS、 出错率、平均延时等。
  • 业务指标:用户会话、订单数量和营业额等。

常见的开源指标监控系统有Zabbix、Prometheus等; 还有一些商业监控产品,比如sysdig. dynatrace等。

1.4.2 Prometheus简介

Prometheus受启发于Google的Brogmon监控系统(相似的Kubernetes是从Google的Brog系统演变而来), 从2012年开始由前Google前工程师在Soundcloud以开源软件的形式进行研发,并且于2015年早期对外发布早期版本。201 6年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目。目前,Prometheus已经成为云原生监控领域的事实标准。

在kubernetes容器管理系统中,通常会搭配prometheus进行监控,同时也支持多种exporter采集数据,还支持pushgateway进行数据上报,Prometheus性能足够支撑上万台规模的集群。

1.5 prometheus的主要特点

监控工具prometheus具备完整的监控体系,其特点如下:

  • 自定义多维数据模型(时序列数据由metric名和一组key/value标签组成)。
  • 非常高效的存储,平均一个采样数据占~3.5 bytes左右,320万的时间序列,每30秒采样,保存60天,消耗磁盘大概228G。
  • 在多维度上灵活且强大的查询语言(promQL),支持sum, rate,max,min等大量的计算 函数。
  • 不依赖分布式存储,支持单节点工作。
  • 基于pull方式采集时序数据。
  • 可以通过push gateway进行时序列数据推送(pushing)。
  • 可以通过服务发现或者静态配置去获取要采集的target。
  • 社区支持大量的第三方exporter和client库。

1.6 基于prometheus-operator集群监控

  • prometheus-operator: 本质是一组CRD和controller的实现,prometheus operator提供如下几类CRD:
  • Prometheus:声明式创建和管理Prometheus Server实例;
  • ServiceMonitor:负责声明式的管理监控配置;
  • PrometheusRule:负责声明式的管理告警配置;
  • Alertmanager:声明式的创建和管理Alertmanager实例;
  • Prometheus Operator能够帮助用户自动化的创建以及管理Prometheus Server以及其相应的配置。

prometheus-operator为了实现更方便的监控K8s中各类资源,利用watch机制关注自定义CRDs,通过prometheus来从不同的资源中pull拉去监控指标,通过Alertmanager来发送告警,通过Grafana来实现可视化。

1.7 K8S集群监控指标解析

K8s集群监控指标主要分为四个维度,从容器的基础资源例如container_cpu_usage_seconds_total来获取容器的各类运行指标;

K8s资源指标主要监控K8s中各类资源的运行状态;K8s服务组件指标主要包含K8s核心组件的各类运行指标,通过这类指标可以监控K8s整个集群的运行状态;Pod业务埋点指标,根据业务场景自定义指标,比如地订单数量,交易失败次数等,来反馈业务运行状态。

1.8 基于Grafana指标可视化

grafana是用于可视化大型测量数据的开源程序,他提供了强大和优雅的方式去创建、共享、浏览数据。dashboard中显示了你不同metric数据源中的数据。

Grafana是一个开源的,拥有丰富dashboard和图表编辑的指标分析平台,和Kibana不同的是Grafana专注于时序类图表分析,而且支持多种数据源,如Graphite、InfluxDB、Elasticsearch、Mysql、K8s、Zabbix等。

容器内存使用率

1.9 集群事件监控

k8s的Event事件是一种资源对象, 用于展示集群内发生的情况,k8s系统中的各个组件会将运行时发生的各种事件上报给apiserver。可以通过kubectl get event或kubectl describe pod podName命令显示事件,查看k8s集群中发生了哪些事件。

apiserver会将Event事件存在etcd集群中,为避免磁盘空间被填满,故强制执行保留策略:在最后一次的事件发生后, 删除1小时之前发生的事件。

通过监控集群状态,能更深层次的了解业务具体发生了什么类型的事件,从而对症下药,提升问题解决效率。

1.10 NodeProblemDetector (NPD)

节点问题检测器(Node Problem Detector, NPD)是-个守护程序,用于监视和报告节点的健康状况。

可以将NPD以DaemonSet运行。NPD从各种守护进程收集节点问题,并以NodeCondition和Event的形式报告给APIServer。

通过NPD,可以有效监控Node节点各类指标,从而更全方位的保障集群稳定性,预见一些资源问题风险,及时规避。

1.11 集群日志监控(fluentd+ELK)

针对K8s集群中业务日志监控,在K8S里面主要分为四个大的场景:

  1. 主机内核的日志:比如文件系统异常,kernelpanic,或者OOM日志等。
  2. Runtime日志:比较常见的是Docker的一些日志,我们可以通过docker的日志来排查类似像Pod Hang这一系列的问题。
  3. 核心组件日志:在K8s里面核心组件包含了etcd,apiserver、kube-scheduler、 controller-manger、kubelet等等一系列的组件。 这些组件的日志可以帮我们来看到整个K8s集群管控面是否有一些异常。
  4. 应用日志:可以通过应用的日志来查看业务层的一个状态。比如说可以看业务层有没有500的请求?有没有一些 panic?有没有一些异常的错误访问?那这些其实都可以通过应用日志来进行查看的。

 

1.12 拓扑与调用链

当我将单体应用拆成多个微服务之后,如何监控服务之间的依赖关系和调用链,以判断应用在哪个服务环节出了问题,哪些地方可以优化?这就需要用到分布式追踪(Distributed Tracing)。

CNCF提出了分布式追踪的标准OpenTracing,它提供用户厂商中立的API,并提供Go、Java、JavaScript、Python、 Ruby、 PHP、Objective-C、C++和C#这多种语言的库。同时CNCF中还有个端到端的支持OpenTracingAPI的分布式追踪项目Jaeger。

 

二 集群常见问题排障

2.1 k8s常用排错方法:

  1. 查看Kubernetes对象的当前运行时信息,特别是与对象关联的Event事件。这些事件记录了相关主题、发生时间、最近发生间、发生次数及事件原因等,对排查故障非常有价值。
  2. 对于服务、容器方面的问题,可能需要深入容器内部进行故障诊断,此时可以通过查看容器的运行日志来定位具体问题。
  3. 对于某些复杂问题,例如Pod调度这种全局性的问题,可能需要结合集群中每个节点上的Kubernetes服务日志来排查。比如搜集Master.上的kube-apiserver、kube-schedule、 kube-controler-manager服务日志,以及各个Node.上的kubelet.kube-proxy服务日志,通过综合判断各种信息来定位问题。

2.2 常见K8S问题举例

  1. 无法下载镜像:需要定位镜像是否存储,或者是否为K8s网络与镜像仓库无法联通,或者是私有镜像权限问题等;
  2. POD持续重启 :查看业务是否运行异常,或是配置的存活性探针异常。
  3. 通过Service无法访问:查看业务POD是否正常,lable选择器是否匹配到对应业务POD,端口是否正常等。

2.3 实战案例

可以看到nginx 应用启动异常

使用华为云提供的cloud shell工具

通过命令行定位问题,首先查看pod状态,看到有三个pod运行异常

查看pod事件发现是pod的Liveness检测失败,返回状态码为404,找不到文件。

查看Liveness配置为/test

通过CCE集群对资源文件进行修正,修改/test为/。

可以看到此刻POD以及恢复正常。

三 华为云CIE集群监控方案架构详解

3.1 华为云容器洞察引擎(CIE) 架构解析

容器洞察引擎(Container Insight Engine,简称CIE)是以应用为中心、开箱即用的新一代云原生容器运维平台,实时监控应用及资源,采集各项指标及事件等数据分析应用健康状态,提供告警能力以及全面、清晰、多维度数据可视化能力,兼容主流开源组件,并提供快捷故障定位及一键监控诊断的能力。

架构特点:

  1. 全面兼容云原生技术
  • 基于原生K8s + Prometheus的监控架构体系,增强了开箱即用的能力。
  • 从容应对容器生命周期动态变化、海量指标的挑战。

     2. 以应用为中心,聚焦业务指标

  • 聚焦应用Golden Signal (RPS, Error, Duration) 等,并适时关联资源指标。

    3. Everything in One Place,快捷排障

  • 应用全景视图和资源映射,可以无缝关联告警、事件、日志等信息。
  • 分布式调用链和依赖拓扑,应对服务网格化,支持快速排障。

    4. 一键诊断,主动预测预警

  • 键式集群业务诊断,关键指标主动预测,提前预警。

 

3.2 集中统一的告警、事件管理和日志分析

  1. 集中告警/事件/日志:具备多集群告警、事件、日志统一管理能力;
  2. 告警通知灵活:支持基于PromQL表达式的阈值告警,支持K8s事件转告警能力,告警可通过邮件,短信、webhook等通道及时通知给用户;
  3. 统一日志存储:支持多种日志存储方式,支持日志浏览、统计聚合;支持日志关键词告警;

3.3 快速故障定位

  • 资源模型统一建模:告警、日志、指标、事件运维数据对应的资源信息拉通统一, 同一个资源ID关联一片相关运维数据。
  • 运维信息ALL in One:
    • 在告警、资源视图、巡检报告中提供-键式TroubleShooting入口,-键萃取资源故障相关信息。
    • 图形化资源关系视图,提供集群、节点、Pod实例、容器全景资源视图,实现故障渲染,提升故障发现效率。
    • 提供定期巡检,一键巡检并展示巡检报告,让用户时刻感知集群状态。
  • 全链路应用调用分析:
    • 借力ASM lstio, 提供全链路应用拓扑,结合MCP实现集群内和跨集群的应用拓扑展示。
    • 非侵入试Agent埋点能力,实现基于业务的SLA指标监控。

总结

可观测性是云原生场景必不可少的一环,关系到云原生实践能否在生产环境顺利实施。可观测性技术实施具有技术栈多样,场景复杂,数据规模大等特点,这给人们云原生实践带来了很大的障碍。开源社区针对这个问题,着手构建统一的云原生可观测性技术与规范;各大云厂商与监控服务提供商也都看到了需求和机遇,陆续推出云原生可观测性相关的产品或功能。

目前,云原生可观测性还在发展初期,很多产品都在探索阶段,还有很多问题亟待解决。未来人们对可观测性的需求只会越来越高,华为云CIE紧跟社区最新标准与方案,在监控运维上,强调数据关联分析和无缝衔接,用户无需到各个页面频繁跳转,在一个地方就可以对问题进行集中分析和诊断,实现一键式故障分析,大大缩短问题定位定界的时间。

 

本文整理自华为云社区【内容共创】活动第14期。

https://bbs.huaweicloud.cn/blogs/336904

任务19.华为云云原生钻石课程09:Kubernetes运维管理详解(下)

 

 

 

 

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。