作者：酱油瓶，携程后端技术专家， KubeSphere 社区用户
开发 Java 微服务并引入监控组件
我们基于 Spring Cloud +Nacos 开发 Java 微服务，Java 服务开发不做过多的叙述。
项目中引入 Actuator
我们在项目的 bom 中引入 Spring Boot Actuator，它提供了多种特性来监控和管理应用程序，可以基于 HTTP，也可以基于 JMX。
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> 配置 Actuator
引入 Actuator 后，原则上我们无需做任何配置即可使用，在我们项目中我们结合实际需求及提升安全性做了如下配置：
management.health.elasticsearch.enabled=false management.endpoints.web.exposure.include=* management.endpoints.web.base-path=/api/actuator management.metrics.tags.application=${service.name} management.metrics.tags.appid=${service.appid} management.server.port=8090 - management.server.port：启用独立的端口来提供监控，避免监控相关 api 暴露在服务外；
- management.metrics.tags.xxx：在统计信息中添加自定义的标签；
- management.endpoints.web.exposure.include：用于包含我们要公开的端点列表 , 我们这里设置为* 代表所有。
观察应用程序监控数据
当我们运行编写好的程序后，通过访问 http://localhost:8090/api/actuator/prometheus 可以看到类似如下数据，其中就有我们通过配置添加的 tag 数据，后续我们部署的 monitor 会通过如下地址将数据采集到 Prometheus 中。
应用部署配置
1. 编写 DevOps 文件
pipeline { agent { node { label 'maven' } } options{ buildDiscarder(logRotator(numToKeepStr: '10')) } parameters { string(name:'APP_NAME',defaultValue: 'accounts-service',description:'应用名称 必须使用小写 需跟maven构建中一致') string(name:'PROJECT_NAMESPACE',defaultValue: 'basebiz',description:'部署项目集名称') string(name:'SERVICE_SRC_PATH',defaultValue: 'accounts-service-webapp',description:'war包路径') string(name:'PROGECT_GIT_PATH',defaultValue:'basebiz/accounts-service.git',description:'项目gitlabpath ') string(name:'TAG_NAME',defaultValue: '',description:'tag 发布线上必须填写 格式v20210101(v+当前日期)') string(name:'PODCOUNT',defaultValue: '2',description:'部署pod数量') string(name:'HEALTH_CHECK_URI',defaultValue: '/api/actuator/health',description:'健康检测地址') } environment { //构建镜像 REGISTRY = 'hub.xxxx.cn' DOCKERHUB_NAMESPACE = 'app' DOCKER_CREDENTIAL_ID = 'dockerhub-account' //hub账号密钥 GITHUB_CREDENTIAL_ID = 'gitlab-account' //gitlab账号密钥 //环境部署凭证 KUBECONFIG_CREDENTIAL_ID_DEV = 'testing-kubeconfig' KUBECONFIG_CREDENTIAL_ID_VIEW = 'xxxxaliyun-testing' KUBECONFIG_CREDENTIAL_ID_PROD = 'xxx-prod' DOWNLOAD_BASEDOMAIN = 'gitlab.xxxx.cn' //公共资源下载 COMMIT_ID= sh( returnStdout: true, script: 'git rev-parse --short HEAD').trim() } stages { stage ('迁出代码') { steps { checkout(scm) } } stage ('编译') { steps { container ('maven') { //*************************************** //**************下载通用模版*************** sh 'curl -o `pwd`/start.sh https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/shell/springboot-start.sh' sh 'curl -o `pwd`/settings.xml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/setting.xml' sh 'curl -o `pwd`/Dockerfile https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/dockerfile/javaservice/dockerfile' //*************************************** sh 'mkdir `pwd`/yaml' sh 'curl -o `pwd`/yaml/devops-java.yaml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/yaml/java-service-v1.0.0.yaml' sh 'mvn -Dmaven.test.skip=true -gs `pwd`/settings.xml clean package -U -Denv.trackerror=true' } } } stage('构建并推送镜像'){ steps{ container ('maven') { sh 'docker build --build-arg SERVICE_SRC_PATH=$SERVICE_SRC_PATH --build-arg GENERATE_PATH=generated-resources/appassembler/jsw/$APP_NAME --build-arg RELEASE_NAME=$BRANCH_NAME-$BUILD_NUMBER --build-arg APP_NAME=$APP_NAME -f Dockerfile -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID --no-cache .' withCredentials([usernamePassword(passwordVariable : 'DOCKER_PASSWORD' ,usernameVariable : 'DOCKER_USERNAME' ,credentialsId : "$DOCKER_CREDENTIAL_ID" ,)]) { sh 'echo "$DOCKER_PASSWORD" | docker login $REGISTRY -u "$DOCKER_USERNAME" --password-stdin' sh 'docker push $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID' } sh 'docker tag $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest ' sh 'docker push $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest ' } } } stage("gitlab 打 tag"){ when{ expression{ return params.TAG_NAME =~ /v.*/ } } steps { withCredentials([usernamePassword(credentialsId: "$GITHUB_CREDENTIAL_ID", passwordVariable: 'GIT_PASSWORD', usernameVariable: 'GIT_USERNAME')]) { sh 'git config --global user.email "xxxx@xxxx.cn" ' sh 'git config --global user.name "xxxx" ' sh 'git tag -a $TAG_NAME-$BUILD_NUMBER -m "$TAG_NAME" ' sh 'git push https://$GIT_USERNAME:$GIT_PASSWORD@$DOWNLOAD_BASEDOMAIN/$PROGECT_GIT_PATH --tags --ipv4' } } } stage('部署测试环境') { // when{ // branch 'master' // } steps { //input(id: 'deploy-to-dev', message: 'deploy to dev?') kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_DEV") } } stage('部署生产环境') { when{ expression{ return params.TAG_NAME =~ /v.*/ } } steps { input(id: 'deploy-to-prod', message: '是否允许发布生产?') kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_PROD") } } } } Jenkinsfile 文件描述了如下几个过程：
- 下载通用模版文件（maven setting、部署的 yaml 文件，构建容器镜像的 Dockerfile）
- 使用 Maven 编译 Java 应用程序
- 将编译后的 Java 应用程序打包为 Docker 镜像
- 将构建好的 Docker 镜像推送到私有 DockerHub 中
- 将容器镜像部署到各个环境中
界面执行效果为：
2. 编写部署的 yaml 文件
# java deployment基本配置 apiVersion: apps/v1 kind: Deployment metadata: labels: app: $APP_NAME component: ${PROJECT_NAMESPACE}-${APP_NAME} release: java-actuator-prometheus tier: backend name: ${PROJECT_NAMESPACE}-${APP_NAME} namespace: ${PROJECT_NAMESPACE} spec: progressDeadlineSeconds: 600 replicas: ${PODCOUNT} selector: matchLabels: app: $APP_NAME component: ${PROJECT_NAMESPACE}-${APP_NAME} tier: backend template: metadata: labels: app: $APP_NAME component: ${PROJECT_NAMESPACE}-${APP_NAME} tier: backend release: java-actuator-prometheus annotations: prometheus.io/path: /api/actuator/prometheus prometheus.io/port: '8090' prometheus.io/scrape: 'true' spec: volumes: - name: base-config configMap: name: base-config items: - key: server.properties path: server.properties defaultMode: 420 - name: logconfig configMap: name: logconfig items: - key: logging-config.xml path: logging-config.xml defaultMode: 420 containers: - env: - name: HOST_IP valueFrom: fieldRef: apiVersion: v1 fieldPath: status.hostIP - name: DEPLOY_ENV valueFrom: configMapKeyRef: name: base-config key: env - name: NACOS_SERVER valueFrom: configMapKeyRef: name: base-config key: nacos-server - name: DB_SERVER_ADDRESS valueFrom: configMapKeyRef: name: base-config key: DB_SERVER_ADDRESS image: $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID readinessProbe: httpGet: path: ${HEALTH_CHECK_URI} port: 8090 initialDelaySeconds: 30 timeoutSeconds: 10 failureThreshold: 30 periodSeconds: 5 imagePullPolicy: Always name: ${PROJECT_NAMESPACE}-${APP_NAME} ports: - containerPort: 8080 protocol: TCP - containerPort: 8090 protocol: TCP resources: limits: cpu: 2000m memory: 600Mi requests: cpu: 1m memory: 100Mi terminationMessagePath: /dev/termination-log terminationMessagePolicy: File dnsPolicy: ClusterFirst restartPolicy: Always terminationGracePeriodSeconds: 30 --- # 服务svc配置信息 apiVersion: v1 kind: Service metadata: labels: app: ${APP_NAME} component: ${PROJECT_NAMESPACE}-${APP_NAME} release: java-actuator-prometheus name: ${PROJECT_NAMESPACE}-${APP_NAME} namespace: ${PROJECT_NAMESPACE} annotations: prometheus.io/path: /api/actuator/prometheus prometheus.io/port: '8090' prometheus.io/scrape: 'true' spec: ports: - name: http port: 8080 protocol: TCP targetPort: 8080 - name: http-actuator port: 8090 protocol: TCP targetPort: 8090 selector: app: ${APP_NAME} component: ${PROJECT_NAMESPACE}-${APP_NAME} tier: backend sessionAffinity: None type: ClusterIP 通过如上的 yaml 我们会部署应用负载容器及服务 SVC。
我们在 Deployment 的 metadata 中进行了如下的描述 后期在部署 ServiceMonitor 的时候会使用到。
在 Kubernetes 中部署 ServiceMonitor
准备我们对应 Java 服务的 ServiceMonitor 部署文件
apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: labels: app: java-actuator-prometheus component: java-actuator-prometheus heritage: Tiller release: prometh-java-actuator name: monitor-java-actuator-prometheus namespace: default spec: endpoints: - honorLabels: true interval: 5s path: /api/actuator/prometheus port: http jobLabel: java-actuator-prometheus namespaceSelector: any: true selector: matchLabels: release: java-actuator-prometheus yaml 描述了我们将采集什么 namespace 下面的数据，在这里我们将 namespace 设置为了 default， 将采集所有 namespace 下面的数据，同时我们将 selector 下的 release：xx 设置成了与我们部署的微服务的 metadata 的 release 一致，那么 ServiceMonitor 将采集到所有 namespace 下面标注了 release 为 java-actuator-prometheus 的所有服务的数据。
将 ServiceMonitor 部署到集群中
我们可以通过 kubectl apply 将其部署到集群中。
kubectl apply -f - <<EOF apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: labels: app: java-actuator-prometheus component: java-actuator-prometheus heritage: Tiller release: prometh-java-actuator name: monitor-java-actuator-prometheus namespace: default spec: endpoints: - honorLabels: true interval: 5s path: /api/actuator/prometheus port: http jobLabel: java-actuator-prometheus namespaceSelector: any: true selector: matchLabels: release: java-actuator-prometheus EOF 执行成功后我们可以在集群的 CRD 下面搜索 ServiceMonitor 并打开可以找到我们部署的 ServiceMonitor 配置。如图所示：
当然你也可以通过命令行进行查询验证。
验证数据采集并配置 Grafana
查看系统 Prometheus 地址并查询数据
我们可以在集群中的如下地址找到 KubeSphere 系统集成的 Prometheus 服务，如图所示
访问 Prometheus Web 界面。
通过 3.1.1 我们可以看到普罗米修斯服务的 ip 地址为 172.17.107.29，默认端口为 9090。我们在浏览器输入 http://172.17.107.29:9090，可以看到如图所示：
在 KubeSphere 中配置自定义监控及告警
1. 自定义监控
我们可以访问-集群-> 监控告警-> 自定义监控进入，如图所示：
我们点击创建 可以看到 KubeSphere 已经集成了部分监控面板，这里我们选择 Grafana。
在下一步后系统会让我们上传 JSON 模版 我们可以通过 grafana 官网下载一些通用的模版配置，这里我们使用的是 JVM (Micrometer)。在右侧可以下载 JSON 文件。
导入后我们就可以看到相关监控指标了。
2. 自定义告警
我们也可以使用系统集成的告警策略设置基于采集数据的自定义告警设置。例如：
使用外置的 Grafana
- 安装 Grafana
- 配置应用仓库
- 为了快速的安装 Helm 应用 我们可以依次打开企业空间-应用管理-应用仓库；
- 在点击右边的添加按钮这里 我们添加的是 bitmap 的应用仓库地址：https://charts.bitnami.com/bitnami；
- 添加完成后稍等片刻应用列表就加载完毕。
- 安装 grafana 应用
- 我们依次打开企业空间-项目-点击要安装到的具体项目-点击应用-点击右侧的创建按钮；
- 弹出对话框中点击从应用模版，从应用仓库列表中选择我们刚刚添加的 bitnami 的仓库，搜索 Grafana 点击后安装即可。
- Grafana 数据源
- 我们使用管理员账号登录进 Grafana，默认密码可以在项目的保密字典中的 grafana-admin 中找到；
- 登录后我们点击左侧的小齿轮-datasource 在打开页面中选择 Add data source 然后选择 Prometheus 在 URL 中填入我们上面说到的 Prometheus 的 URL 地址。如图所示：
- 填写后拖到最下面，点击 save&test。
- 导入 Dashbord
- 我们点击页面左侧➕-import；
- 输入我们从 grafana 官网 获得的对应的模版的 id 点击 load；
- 在下一步中选择 Prometheus 为我们配置的数据源 点击 import 即可。
本文由博客一文多发平台 OpenWrite 发布！
