记载一次prometheus神奇报错

简介

今天打开了grafana,看了下监控,突然发现请求502,我透,看了下prometheus,疯狂报下面的错

open data/01EM8WPH39AVREE20SDKK4077A/meta.json: no such file or directory"

解决

看了下data文件夹里面01EKBWV6B6R4T09Y8PMCGWNS2E这种文件夹很多,而且多得不正常,因为报上面这个错,所以想把这个文件夹移走会不会变好,但是没用,发现上面这类的文件夹特别多,一天之内几乎就是一分钟创建一个文件夹,于是把所有的文件夹都移走了,但是还是报错

mmap: cannot allocate memory

幸好有快照,于是恢复上一天的快照,但是还是

mmap: cannot allocate memory

看了下快照的时间和疯狂创建文件夹的时间,真相了,可能是创建快照的时候出问题了导致的,于是恢复上上天的快照,成功了

郁闷

恢复完成之后赶忙创建一个新的快照,prometheus创建快照真的很有必要,难受的是丢了一天的数据

欢迎关注Bboysoul的博客www.bboy.app

Have Fun

欢迎关注我的其它发布渠道