《机器一多,我才发现自己一直在盲飞》
【摘要】 服务器这东西,一台的时候什么都好说,SSH 上去看一眼就完了。等手里攒到三四台、还分在不同的云厂商,事情就变味了:哪台快没内存了、哪台磁盘要满了、哪台半夜悄悄挂过一次,你全然不知道,往往是服务用不了了、自己去访问才发现。我前阵子就吃过一次亏。有个小服务停了大半天,我愣是没察觉,还是要用的时候连不上才发现。查了半天,进程早被系统杀了,日志里就一行内存不足。从那以后我决定,哪怕全是小机器,也得有...
服务器这东西,一台的时候什么都好说,SSH 上去看一眼就完了。等手里攒到三四台、还分在不同的云厂商,事情就变味了:哪台快没内存了、哪台磁盘要满了、哪台半夜悄悄挂过一次,你全然不知道,往往是服务用不了了、自己去访问才发现。
我前阵子就吃过一次亏。有个小服务停了大半天,我愣是没察觉,还是要用的时候连不上才发现。查了半天,进程早被系统杀了,日志里就一行内存不足。从那以后我决定,哪怕全是小机器,也得有个统一的地方能一眼看全。
选型上我没搞复杂的,就找了个开源的轻量监控:每台机器装一个小探针,汇总到一个面板上,CPU、内存、磁盘、流量、在线状态一目了然。探针本身几乎不吃资源,这点对小内存机器特别重要,监控再把机器压垮就成笑话了。另外我发现光看负载还不够,机器"活着"但网络已经废了的情况更阴险,所以又给每台加了对公共 DNS 的延迟和丢包探测,面板上能直接看出来哪条线在抽风。
搭完最大的感受是:心里有底了。早上起来扫一眼面板,几台机器的状态全在,不用挨个登录。告警我没设一堆,只留了离线提醒——告警太多等于没有告警,响几次你就开始无视它了。
最后提醒一句,面板别图省事裸奔在公网。密码设强一点,能套一层访问限制更好。监控是来帮你看机器的,别让它变成别人看你机器的窗口。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)