kagamihogeの日記

kagamihogeの日記です。

Spring Batch 4.2でメトリクスをPrometheus Pushgatewayにおくる

https://docs.spring.io/spring-batch/docs/current/reference/html/monitoring-and-metrics.html を試す。

Spring Batch 4.2はMicrometerベースのメトリクスを自動的に収集する。なので、プロパティでそのメトリクスの送信設定をすれば、データがそちらに送られる。

ここではPrometheus Pushgatewayにメトリクスを送信する。

Prometheus Pushgatewayの準備

dockerで起動する。

docker run -d -p 9091:9091 prom/pushgateway

起動するとhttp://localhost:9091/#でpushgatewayの画面が見れる。

コード

build.gradle。spring-batchに加えて、actuator, prometheus, pushgatewayクライアントの依存性を入れる。

plugins {
  id 'org.springframework.boot' version '2.3.0.RELEASE'
  id 'io.spring.dependency-management' version '1.0.9.RELEASE'
  id 'java'
}

configurations {
  developmentOnly
  runtimeClasspath {
    extendsFrom developmentOnly
  }
  compileOnly {
    extendsFrom annotationProcessor
  }
}

repositories {
  mavenCentral()
}

dependencies {
  implementation 'org.springframework.boot:spring-boot-starter-batch'
  implementation 'org.springframework.boot:spring-boot-starter-actuator'
  implementation 'io.micrometer:micrometer-registry-prometheus'
  implementation 'io.prometheus:simpleclient_pushgateway'

  compileOnly 'org.projectlombok:lombok'
  annotationProcessor 'org.projectlombok:lombok'
  testImplementation('org.springframework.boot:spring-boot-starter-test') {
    exclude group: 'org.junit.vintage', module: 'junit-vintage-engine'
  }
  testImplementation 'org.springframework.batch:spring-batch-test'
  implementation 'com.h2database:h2'
}

test {
  useJUnitPlatform()
}

src/main/resources/application.propertiesでpushgateway関連の設定をする。とりあえず動いた、というレベルなので設定の詳細までは良く調べていない。

management.metrics.export.prometheus.pushgateway.enabled=true
management.metrics.export.prometheus.pushgateway.grouping-key.app_name=demo-batch-hoge
management.metrics.export.prometheus.pushgateway.job=demo-batch
management.metrics.export.prometheus.pushgateway.shutdown-operation=push

適当にspring-batchのアプリを作る。

import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.core.launch.support.RunIdIncrementer;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Bean;

@EnableBatchProcessing
@SpringBootApplication
public class Main {

  @Bean
  public Job job(JobBuilderFactory jobs, @Qualifier("myjobstep1") Step s1) {
    return jobs.get("demo-batch-job").incrementer(new RunIdIncrementer()).start(s1).build();
  }

  @Bean(name = "myjobstep1")
  public Step step1(StepBuilderFactory steps) {
    return steps.get("myjobstep1").tasklet((contribution, chunkContext) -> {
      System.out.println("hoge");
      return RepeatStatus.FINISHED;
    }).build();
  }

  public static void main(String[] args) {
    SpringApplication.run(Main.class, args);
  }
}

実行後にhttp://localhost:9091/#を見ると以下のようなメトリクスが確認できる。

f:id:kagamihoge:20200528161608j:plain

参考文献

Spring Cloud OpenFeignさわる

https://spring.io/projects/spring-cloud-openfeign をさわる。

FeignというRESTクライアントとspringをいい感じに連携する、という代物らしい。

使ってみる

Spring Initializrでプロジェクトを作る。dependencyにopenfeignをいれる。あと、今回はレスポンスがxmlなのでそのための依存性も追加する。

plugins {
  id 'org.springframework.boot' version '2.2.7.RELEASE'
  id 'io.spring.dependency-management' version '1.0.9.RELEASE'
  id 'java'
}

sourceCompatibility = '11'
configurations {
  compileOnly {
    extendsFrom annotationProcessor
  }
}
repositories {
  mavenCentral()
}
ext {
  set('springCloudVersion', "Hoxton.SR4")
}
dependencies {
  implementation 'org.springframework.cloud:spring-cloud-starter-openfeign'
  implementation 'com.fasterxml.jackson.dataformat:jackson-dataformat-xml'
  compileOnly 'org.projectlombok:lombok'
  annotationProcessor 'org.projectlombok:lombok'
  testImplementation('org.springframework.boot:spring-boot-starter-test') {
    exclude group: 'org.junit.vintage', module: 'junit-vintage-engine'
  }
}
dependencyManagement {
  imports {
    mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}"
  }
}
test {
  useJUnitPlatform()
}

Feignのインタフェースとかmainとかを作る。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.openfeign.EnableFeignClients;
import org.springframework.cloud.openfeign.FeignClient;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;

@SpringBootApplication
@EnableFeignClients
public class Application implements CommandLineRunner {
  @Autowired
  NicoThumbinfoClient nicoThumbinfoClient;

  @FeignClient(value = "zip", url = "${niconico.url}", configuration = CustomConfigration.class)
  static interface NicoThumbinfoClient {
    @RequestMapping(method = RequestMethod.GET, value = "/api/getthumbinfo/{sm}")
    public NicovideoThumbResponse get(@PathVariable("sm") String sm);
  }

  @Override
  public void run(String... args) throws Exception {
    System.out.println(nicoThumbinfoClient.get("sm9"));
  }

  public static void main(String[] args) {
    SpringApplication.run(Application.class, args);
  }

}

Feignは、上記のように、interfaceでクライアントを定義する。valueは適当なID、urlは後述のプロパティファイルで定義(直書きでも良い)、configurationxmlのデコード設定でこれも後述。@RequestMappingとか@PathVariableとかのノリは今までのspringと変わらない。

挙動確認のAPIニコニコ動画APIを使わせて頂いた。

src/main/resources/application.propertiesはこんな感じ。

niconico.url=ext.nicovideo.jp

以下はxmlをデコードするため設定クラス。

import org.springframework.beans.factory.ObjectFactory;
import org.springframework.boot.autoconfigure.http.HttpMessageConverters;
import org.springframework.cloud.openfeign.support.ResponseEntityDecoder;
import org.springframework.cloud.openfeign.support.SpringDecoder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.http.converter.xml.MappingJackson2XmlHttpMessageConverter;

import feign.codec.Decoder;

@Configuration
public class CustomConfigration {
  @Bean
  public Decoder feignDecoder() {
    MappingJackson2XmlHttpMessageConverter c = new MappingJackson2XmlHttpMessageConverter();
    ObjectFactory<HttpMessageConverters> objectFactory = () -> new HttpMessageConverters(c);
    return new ResponseEntityDecoder(new SpringDecoder(objectFactory));
  }
}

これも今までのspringと同じで適当なconverterを追加してやればよい。

最後に、結果格納用のクラス。

import com.fasterxml.jackson.dataformat.xml.annotation.JacksonXmlProperty;

import lombok.Data;

@Data
public class NicovideoThumbResponse {
  Thumb thumb;

  @Data
  public static class Thumb {
    @JacksonXmlProperty(localName = "video_id")
    String videoId;
    String title;
  }
}

これを実行すると、以下のように表示される。

NicovideoThumbResponse(thumb=NicovideoThumbResponse.Thumb(videoId=sm9, title=新・豪血寺一族 -煩悩解放 - レッツゴー!陰陽師))

Spring Cloud Consulさわる

Spring Cloud Consulさわる。Service DiscoveryとLoadBalancerのチュートリアルレベルのことをやる。ただし、LoadBalancerの挙動(ex. 2つ以上のserivce切り替えなど)まではやらない。

Consulとは、一言で表現するのが難しい(俺自身が良く理解してない)が、マイクロサービスの各要素をserviceとして集中管理するプロダクト、と思う(たぶん)。なおspringとは無関係のプロダクト。

それで、ConsulSpring Cloud Consulの関係だが、Consulの面倒なオペレーションを簡易化したのがSpring Cloud Consul、といった位置づけらしい。俺自身、実際やったわけでは無いが、マニュアル読む限りConsulに対して手作業であれこれやるのは面倒なので、Spring Cloud Consulがそこらへんいい感じにやってくれる、という理解で最初は良いと思われる。

なお、このエントリは「やったらとりあえず動いた」レベルなので、間違ったこと書いてる可能性があります。その辺は注意してください。

consulの起動

consulのチュートリアル https://learn.hashicorp.com/consul/getting-started/install を見てconsulを起動しておく。

$ consul agent -dev

consulにservice登録

consulにserviceとしてweb-apiを登録する。あとあと、consulのclientからこのweb-apiにアクセスする。

Spring Initializrでweb, consul discoveryを追加する。以下は生成されたものをコピペしたもの。

plugins {
  id 'org.springframework.boot' version '2.2.7.RELEASE'
  id 'io.spring.dependency-management' version '1.0.9.RELEASE'
  id 'java'
}

sourceCompatibility = '11'
repositories {
  mavenCentral()
}
ext {
  set('springCloudVersion', "Hoxton.SR4")
}
dependencies {
  implementation 'org.springframework.boot:spring-boot-starter-web'
  implementation 'org.springframework.cloud:spring-cloud-starter-consul-discovery'
  testImplementation('org.springframework.boot:spring-boot-starter-test') {
    exclude group: 'org.junit.vintage', module: 'junit-vintage-engine'
  }
}

dependencyManagement {
  imports {
    mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}"
  }
}
test {
  useJUnitPlatform()
}

web-apiとして適当なエンドポイント/を作っておく。

import org.springframework.boot.WebApplicationType;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.builder.SpringApplicationBuilder;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@SpringBootApplication
@RestController
public class Application {

  @RequestMapping("/")
  public String home() {
    return "Hello world";
  }

  public static void main(String[] args) {
    new SpringApplicationBuilder(Application.class).web(WebApplicationType.SERVLET).run(args);
  }
}

/src/main/resources/application.propertiesに各種設定をする。

spring.application.name=myapp

spring.cloud.consul.discovery.instance-id=hoge
spring.cloud.consul.discovery.hostname=localhost
spring.cloud.consul.discovery.port=8080
  • spring.application.name - この値がcosulのserviceとして登録される。
  • spring.cloud.consul.discovery.instance-id - 良くわかってないがserviceのinstance idらしい。
  • spring.cloud.consul.discovery.hostnamespring.cloud.consul.discovery.port - clientのところで再度ふれる。

起動する。http://localhost:8500/v1/catalog/servicesにアクセスするとmyapp serviceが登録されたのがわかる。

{
    "consul": [],
    "myapp": [
        "secure=false"
    ]
}

clientからアクセスする

clientからconsulのservice id経由でweb-apiにアクセスする。

ただ、方法が幾つかあり、おそらく用途とか趣味とかで切り替えるのだと思う。

DiscoveryClient

こちらにもconsul discoveryの依存性を追加する。

plugins {
  id 'org.springframework.boot' version '2.2.7.RELEASE'
  id 'io.spring.dependency-management' version '1.0.9.RELEASE'
  id 'java'
}

sourceCompatibility = '11'
configurations {
  developmentOnly
  runtimeClasspath {
    extendsFrom developmentOnly
  }
}
repositories {
  mavenCentral()
}
ext {
  set('springCloudVersion', "Hoxton.SR4")
}
dependencies {
  implementation 'org.springframework.boot:spring-boot-starter-web'
  implementation 'org.springframework.cloud:spring-cloud-starter-consul-discovery'
  developmentOnly 'org.springframework.boot:spring-boot-devtools'
  testImplementation('org.springframework.boot:spring-boot-starter-test') {
    exclude group: 'org.junit.vintage', module: 'junit-vintage-engine'
  }
}
dependencyManagement {
  imports {
    mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}"
  }
}
test {
  useJUnitPlatform()
}

clientのソースはこんな感じ。@EnableDiscoveryClientを付与するとよしなにDiscoveryClientの準備を整えてくれるらしい。

import java.util.List;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.WebApplicationType;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.builder.SpringApplicationBuilder;
import org.springframework.cloud.client.ServiceInstance;
import org.springframework.cloud.client.discovery.DiscoveryClient;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@SpringBootApplication
@RestController
@EnableDiscoveryClient
public class Application {

  @Autowired
  private DiscoveryClient discoveryClient;
  
  @RequestMapping("/")
  public String home() {    
    List<ServiceInstance> instances = discoveryClient.getInstances("myapp");
    System.out.println(instances);
    System.out.println(instances.get(0).getUri());

    return "hoge";
  }

  public static void main(String[] args) {
    new SpringApplicationBuilder(Application.class).web(WebApplicationType.SERVLET).run(args);
  }
}

/src/main/resources/application.propertiesに各種設定をする。

spring.application.name=myclient
server.port=8081

spring.cloud.consul.discovery.instance-id=myclient-id
spring.cloud.loadbalancer.ribbon.enabled=false
  • spring.application.namespring.cloud.consul.discovery.instance-id - clientもconsulのserviceとして登録の必要がある(たぶん。こうしないとdiscoveryClient.getInstancesが動かなかった)
  • spring.cloud.loadbalancer.ribbon.enabled - 後述。

これを実行すると以下がコンソールに出力される。

[DefaultServiceInstance{instanceId='hoge', serviceId='myapp', host='localhost', port=8080, secure=false, metadata={secure=false}}]
http://localhost:8080

consul経由でservice myappのURLであるhttp://localhost:8080が取得できた。あとはこれを基にRestTemplateとかでアクセスすればよい。なお、ここのhostとportはservice登録側のspring.cloud.consul.discovery.hostnamespring.cloud.consul.discovery.portになっている。

@LoadBalanced + RestTemplate

DiscoveryClientのコードを見ると分かるとおり、アプリケーション的な使い勝手は良くない。ので、RestTemplateにconsulのservice idを直接書ける方法が用意されている。このエントリでいうと、http://myapp/と書くとhttp://localhost:8080にアクセスが行くイメージ。

上のjavaコードに追記する。

import java.util.List;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.WebApplicationType;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.builder.SpringApplicationBuilder;
import org.springframework.cloud.client.ServiceInstance;
import org.springframework.cloud.client.discovery.DiscoveryClient;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.cloud.client.loadbalancer.LoadBalanced;
import org.springframework.context.annotation.Bean;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.client.RestTemplate;

@SpringBootApplication
@RestController
@EnableDiscoveryClient
public class Application {

  @Autowired
  RestTemplate restTemplate;
  
  @Autowired
  private DiscoveryClient discoveryClient;
  
  @RequestMapping("/")
  public String home() {
    List<ServiceInstance> instances = discoveryClient.getInstances("myapp");
    System.out.println(instances);
    System.out.println(instances.get(0).getUri());
    
    System.out.println(this.restTemplate.getForObject("http://myapp/", String.class));;
    
    return "hoge";
  }
  
  @LoadBalanced
  @Bean
  public RestTemplate loadbalancedRestTemplate() {
       return new RestTemplate();
  }

  public static void main(String[] args) {
    new SpringApplicationBuilder(Application.class).web(WebApplicationType.SERVLET).run(args);
  }
}

これを実行するとHello worldと返ってくる。

load balanceの実際の動きまでは確認してない。ただ、consulのservice idを経由してweb-apiにアクセスするので、そこでload balanceが動くんだろうな、てことはなんとなく予想できる。

はまりどころ

java.lang.IllegalStateException: No instances available for myapp2

DiscoveryClientは動くのにRestTemplateは以下のような例外が出て動かなかった。

java.lang.IllegalStateException: No instances available for myapp2
    at org.springframework.cloud.netflix.ribbon.RibbonLoadBalancerClient.execute(RibbonLoadBalancerClient.java:119) ~[spring-cloud-netflix-ribbon-2.2.2.RELEASE.jar:2.2.2.RELEASE]
    at org.springframework.cloud.netflix.ribbon.RibbonLoadBalancerClient.execute(RibbonLoadBalancerClient.java:99) ~[spring-cloud-netflix-ribbon-2.2.2.RELEASE.jar:2.2.2.RELEASE]

これはspring.cloud.loadbalancer.ribbon.enabled=falseしたら直った。たぶんだけど、Ribbonがmaintenance入りしてるので何かしら悪さしてるのだと思われる。

なんかhostがhost.docker.internalになる

spring.cloud.consul.discovery.hostnameを設定する。これがデフォルト値で、どうもdockerを前提にしているのだと思う。

discoveryClient.getInstancesがなんも返ってこない

エントリ中にあるとおり、clientもconsulに登録してあげないとダメだった。