SpringBoot+Prometheus+Grafana實現應用監控和報警的詳細步驟

背景

SpringBoot的應用監控方案比較多,SpringBoot+Prometheus+Grafana是目前比較常用的方案之一。它們三者之間的關系大概如下圖:

 開發SpringBoot應用

首先,創建一個SpringBoot項目,pom文件如下:

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-actuator</artifactId>
 </dependency>
 <dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-web</artifactId>
 </dependency>

 <dependency>
  <groupId>org.projectlombok</groupId>
  <artifactId>lombok</artifactId>
  <optional>true</optional>
 </dependency>

 <!-- https://mvnrepository.com/artifact/io.prometheus/simpleclient_spring_boot -->
 <dependency>
  <groupId>io.prometheus</groupId>
  <artifactId>simpleclient_spring_boot</artifactId>
  <version>0.8.1</version>
 </dependency>

 <dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-security</artifactId>
 </dependency>

註意: 這裡的SpringBoot版本是1.5.7.RELEASE,之所以不用最新的2.X是因為最新的simpleclient_spring_boot隻支持1.5.X,不確定2.X版本的能否支持。

MonitorDemoApplication啟動類增加註解

package cn.sp; 

import io.prometheus.client.spring.boot.EnablePrometheusEndpoint; 
import io.prometheus.client.spring.boot.EnableSpringBootMetricsCollector; 
import org.springframework.boot.SpringApplication; 
import org.springframework.boot.autoconfigure.SpringBootApplication; 
@EnablePrometheusEndpoint 
@EnableSpringBootMetricsCollector 
@SpringBootApplication 
public class MonitorDemoApplication { 

 public static void main(String[] args) { 
 SpringApplication.run(MonitorDemoApplication.class, args); 
 } 

}

配置文件application.yml

server: 
 port: 8848 
spring: 
 application: 
 name: monitor-demo 

security: 
 user: 
 name: admin 
 password: 1234 
 basic: 
 enabled: true 
 # 安全路徑列表,逗號分隔,此處隻針對/admin路徑進行認證 
 path: /admin 

# actuator暴露接口的前綴 
management: 
 context-path: /admin 
 # actuator暴露接口使用的端口,為瞭和api接口使用的端口進行分離 
 port: 8888 
 security: 
 enabled: true 
 roles: SUPERUSER

測試代碼TestController

@RequestMapping("/heap/test")
@RestController
public class TestController {

 public static final Map<String, Object> map = new ConcurrentHashMap<>();

 @RequestMapping("")
 public String testHeapUsed() {
 for (int i = 0; i < 10000000; i++) {
  map.put(i + "", new Object());
 }
 return "ok";
 }
}

這裡的邏輯就是在請求這個接口後,創建大量對象保存到map中增加堆內存使用量,方便後面測試郵件報警。

啟動項目後,可以在IDEA中看到有很多Endpoints,如圖:

開始我的IDEA是不顯示這個Endpoints,後來發現是我使用的idea版本太老瞭,還是2017.1的,

而這個需要 idea2017.2版本以上才能看到。

後來隻好重新下載安裝,弄瞭好久。。。。

啟動完畢,訪問http://localhost:8888/admin/prometheus就可以看到服務暴露的那些監控指標瞭。

註意:

由於開啟瞭安全認證,所以訪問這個URL的需要提示輸入賬號/密碼,如果提示404請檢查下你的請求地址是否正確,如果不設置management.context-path則默認地址是http://ip:port/prometheus

安裝Prometheus

下載地址點擊這裡,本文下載的是Windows版本prometheus-2.17.2.windows-amd64.tar.gz。

解壓後修改prometheus.yml文件,配置數據采集的目標信息。

scrape_configs: 
 # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. 
 # - job_name: 'prometheus' 

 # metrics_path defaults to '/metrics' 
 # scheme defaults to 'http'. 

 # static_configs: 
 # - targets: ['localhost:9090'] 
 - job_name: 'monitor-demo' 
 scrape_interval: 5s # 刮取的時間間隔 
 scrape_timeout: 5s 
 metrics_path: /admin/prometheus 
 scheme: http 
 basic_auth: #認證信息 
 username: admin 
 password: 1234 
 static_configs: 
 - targets: 
 - 127.0.0.1:8888 #此處填寫 Spring Boot 應用的 IP + 端口號

更多配置信息請查看官方文檔。

現在可以啟動Prometheus瞭,命令行輸入:prometheus.exe –config.file=prometheus.yml

訪問http://localhost:9090/targets,查看Spring Boot采集狀態是否正常。

安裝Grafana

下載地址點擊這裡,本文用到的是Windows版本grafana-6.3.3.windows-amd64.zip。

解壓後運行bin目錄下的grafana-server.exe啟動,遊覽器訪問http://localhost:3000即可看到登錄頁面,默認賬號密碼是admin/admin。

現在開始創建自己的可視化監控面板。

1.設置數據源

2. 創建一個Dashboard

3. 填寫采集的指標點

註意: 這裡的指標點不能隨便填,必須是已有的可以在 Prometheus看到。

4.選擇圖表樣式

5.填寫標題描述

最後點擊右上角的保存,輸入Dashboad的名稱即可。

 五、添加郵件報警

在實際項目中當監控的某的個指標超過閾值(比如CPU使用率過高),希望監控系統自動通過短信、釘釘和郵件等方式報警及時通知運維人員,Grafana就支持該功能。

第一步: 點擊[Alerting]——>[Notification channels]添加通知通道

這裡的Type有很多選項,包括webhook、釘釘等,這裡以郵件為例。

第二步: 郵箱配置

Grafana默認使用conf目錄下defaults.ini作為配置文件運行,根據官方的建議我們不要更改defaults.ini而是在同級目錄下新建一個配置文件custom.ini。

以騰訊企業郵箱為例,配置如下:

#################################### SMTP / Emailing #####################
[smtp]
enabled = true
host = smtp.exmail.qq.com:465
user = [email protected]
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password = XXX
cert_file =
key_file =
skip_verify = true
from_address = [email protected]
from_name = Grafana
ehlo_identity = ininin.com

然後需要重啟Grafana,命令grafana-server.exe -config=E:filegrafana-6.3.3confcustom.ini

第三步: 為指標添加alert

Evaluate every

表示檢測評率,這裡為瞭測試效果,改為1秒

For

如果警報規則配置瞭For,並且查詢違反瞭配置的閾值,那麼它將首先從OK變為Pending。從OK到Pending Grafana不會發送任何通知。一旦警報規則的觸發時間超過持續時間,它將更改為Alerting並發送警報通知。

Conditions

when 表示什麼時間,of 表示條件,is above 表示觸發值

同時,設置瞭is above後會有一條紅線。

If no data or all values are null

如果沒有數據或所有值都為空,這裡選擇觸發報警

If execution error or timeout

如果執行錯誤或超時,這裡選擇觸發報警

註意: 下一次觸發,比如10秒後,它不會再次觸發,防止報警風暴產生!

第四步: 測試

請求http://localhost:8848/heap/test接口後,內存升高大於設置的閾值,然後就收到報警郵件。

這裡圖片沒有顯示出來,搞不懂為什麼。

到此這篇關於SpringBoot+Prometheus+Grafana實現應用監控和報警的詳細步驟的文章就介紹到這瞭,更多相關SpringBoot+Prometheus+Grafana實現監控和報警內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀: