redis clients springboot springboot_async

Spring Async and Lettuce Async

Redis Developer Course	Redis Technical Support	Redis Enterprise Server

Spring Async

Spring Boot에서 제공하는 @EnableAsync, @Async 어노테이션을 이용해서 비동기(asynchronous)로 메소드 실행 방법입니다.
소스 코드에 대한 일반적인 내용은 위 문서 [Connection Pool & Thread]를 보시기 바랍니다.

Thread 설정

Thread 개수를 입력 받아 실행합니다. 각 thread 당 1000번 save(set 명령)을 실행합니다.

StringController.java

package com.redisgate.redisthread; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.*; import java.sql.Timestamp; @RestController @Slf4j @RequestMapping("/api/") public class StringController { @Autowired StringRepository stringRepository; @GetMapping("saveasync/{size}") public void saveAsyncTest(@PathVariable("size") int size) { Thread[] thread = new Thread[size]; for (int i=0; i < size; i++) { thread[i] = new Thread(new Runnable() { @Override public void run() { saveAsync(); } }); } for (int i=0; i < size; i++) { thread[i].setName("Thread"+i); thread[i].start(); } } public void saveAsync() { int count = 1000; // save Thread thread = Thread.currentThread(); String threadName = thread.getName(); log.info("Redis Multi Thread 성능 테스트 - saveAsync: {}", threadName); Timestamp startTime = new Timestamp(System.currentTimeMillis()); for (int i=0; i<count; i++) { stringRepository.saveAsync(threadName+"-"+i, "value-"+threadName+"-"+i); } Timestamp endTime = new Timestamp(System.currentTimeMillis()); log.info("{} 소요시간: {}회 -> {} ms (시작:{} ~ 종료: {})", threadName, count, endTime.getTime()-startTime.getTime(), startTime, endTime); // millis } }

Repository 설정

Class에 @EnableAsync 어노테이션을 추가하고, 메소드에 @Async 어노테이션을 추가합니다.
@EnableAsync 어노테이션은 아래와 같이 main 메소드가 있는 class에 추가해도 됩니다.
@EnableAsync public class RedisThreadApplication { public static void main(String[] args) {

StringRepository.java

package com.redisgate.redisthread; import lombok.extern.slf4j.Slf4j; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.data.redis.core.ValueOperations; import org.springframework.scheduling.annotation.Async; import org.springframework.scheduling.annotation.EnableAsync; import org.springframework.stereotype.Repository; @EnableAsync @Repository @Slf4j public class StringRepository { private ValueOperations redisString; @Async public void saveAsync(String key, String value) { redisString.set(key, value); } }

Lettuce Async

Spring Boot에서 제공하는 @Async 어노테이션을 이용하지 않고 Lettuce에서 제공하는 비동기(asynchronous)로 메소드 실행 방법입니다.
@GetMapping("/save/sync/{size}")는 동기로 입력할 때 사용합니다.
@GetMapping("/save/async/{size}")는 비동기로 입력할 때 사용합니다.

StringController2.java

package com.redisgate.redisthread; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.*; import java.sql.Timestamp; @RestController @Slf4j public class StringController2 { @Autowired StringRepository2 stringRepository2; @GetMapping("/save/sync/{size}") public void saveTest(@PathVariable("size") int size) { Thread[] thread = new Thread[size]; for (int i=0; i < size; i++) { thread[i] = new Thread(new Runnable() { @Override public void run() { save(); } }); } for (int i=0; i < size; i++) { thread[i].setName("Thread"+i); thread[i].start(); } } public void save() { int count = 1000; // save Thread thread = Thread.currentThread(); String threadName = thread.getName(); log.info("Redis Multi Thread 성능 테스트 - Save: {}", threadName); Timestamp startTime = new Timestamp(System.currentTimeMillis()); for (int i=0; i<count; i++) { stringRepository2.save(threadName+"-"+i, "value-"+threadName+"-"+i); } Timestamp endTime = new Timestamp(System.currentTimeMillis()); log.info("{} 소요시간: {}회 -> {} ms (시작:{} ~ 종료: {})", threadName, count, endTime.getTime()-startTime.getTime(), startTime, endTime); // millis } @GetMapping("/save/async/{size}") public void saveAsyncTest(@PathVariable("size") int size) { Thread[] thread = new Thread[size]; for (int i=0; i < size; i++) { thread[i] = new Thread(new Runnable() { @Override public void run() { saveAsync(); } }); } for (int i=0; i < size; i++) { thread[i].setName("Thread"+i); thread[i].start(); } } public void saveAsync() { int count = 1000; // save Thread thread = Thread.currentThread(); String threadName = thread.getName(); log.info("Redis Multi Thread 성능 테스트 - saveAsync: {}", threadName); Timestamp startTime = new Timestamp(System.currentTimeMillis()); for (int i=0; i<count; i++) { stringRepository2.saveAsync(threadName+"-"+i, "value-"+threadName+"-"+i); } Timestamp endTime = new Timestamp(System.currentTimeMillis()); log.info("{} 소요시간: {}회 -> {} ms (시작:{} ~ 종료: {})", threadName, count, endTime.getTime()-startTime.getTime(), startTime, endTime); // millis } }

StringRepository2.java

package com.redisgate.redisthread; import io.lettuce.core.RedisClient; import io.lettuce.core.api.StatefulRedisConnection; import io.lettuce.core.api.async.RedisAsyncCommands; import io.lettuce.core.api.sync.RedisCommands; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Repository; @Repository @Slf4j public class StringRepository2 { private RedisClient redisClient; private StatefulRedisConnection<String, String> connection; private RedisCommands<String, String> syncCmd; private RedisAsyncCommands<String, String> asyncCmd; @SuppressWarnings({ "rawtypes"}) public StringRepository2(RedisClient redisClient) { this.redisClient = redisClient; this.connection = redisClient.connect(); this.syncCmd = this.connection.sync(); this.asyncCmd = this.connection.async(); } public void save(String key, String value) { syncCmd.set(key, value); } public void saveAsync(String key, String value) { asyncCmd.set(key, value); } }

RedisConfig.java

Lettuce로 레디스 서버에 직접 연결하기 위해 RedisClient를 리턴하는 메소드를 추가해습니다. import io.lettuce.core.RedisClient; @Bean public RedisClient getRedisClient() { String uri = "redis://"+password+"@"+host+":"+port; return RedisClient.create(uri); }

[Spring 비동기(@Async)]와 [Lettuce 비동기(Async)] 성능 비교

Spring @Async 어노테이션을 이용한 방법[Spring 비동기(@Async)]와 [Lettuce 비동기(Async)] 성능 비교
레디스 서버와의 연결은 1개를 사용했다. setShareNativeConnection(true)

Spring 비동기(@Async)

• @Async 작동 방식에 대한 오해: 명령을 최대한 빨리 레디스 서버에 보내고 응답을 비동기로 받는 것으로 생각했다. 스레드 1개에서는 생각과 같이 작동해서 동기입력일 때 8초였는데 비동기에서 3초로 줄었다. 그런데 스레드를 10개로 늘려서 실행해보니 소요시간이 동기입력(9초)보다 늘어서 12초가 나왔다. 스레드 100개 일 때는 102초로 동기입력(14초)보다 훨씬 느려졌다.
  Java에서 스레드별로 for loop 종료 후 소요시간을 찍어본 결과 위 경우 모두 1초 이내로 나온다.
  
  StringController.java
  for (int i=0; i<count; i++) {
      stringRepository.saveAsync(threadName+"-"+i, "value-"+threadName+"-"+i);
  }
  log.info("{} 소요시간: {}회 -> {} ms (시작:{} ~ 종료: {})", threadName, count, ...
  
  레디스 서버에서 redis-cli --stat로 명령 실행 상태를 확인해보니 초당 약 900~1000개 명령을 실행한다.
• 정리: @Async를 사용하면 스레드 개수와 관계없이 해당 메서드를 초당 약 900~1000번 실행한다. 즉, 스레드 개수를 늘려도 전체 성능이 나아지지 않는다.

Lettuce 비동기(Async)

• 레터스의 비동기 실행은 최대한 빨리 서버로 명령을 보내고 응답을 비동기로 기다린다. 그러므로 전체 처리 시간에서 동기입력에 비해서 훨씬 빠르다.
  StringRepository2.java
  private RedisClient redisClient;
  private StatefulRedisConnection<String, String> connection;
  private RedisCommands<String, String> syncCmd;
  private RedisAsyncCommands<String, String> asyncCmd;
  
  public StringRepository2(RedisClient redisClient) {
      this.redisClient = redisClient;
      this.connection = redisClient.connect();
      this.syncCmd = this.connection.sync();
      this.asyncCmd = this.connection.async();
  }
• 스레드 1개: 동기입력 8초 -> 비동기입력 1초
  스레드 10개: 동기입력 9초 -> 비동기입력 2초
  스레드 100개: 동기입력 14초 -> 비동기입력 3초
  스레드 1000개: 동기입력 62초 -> 비동기입력 10초
• 당연히 Spring 비동기(@Async) 입력에 비교해도 훨씬 빠르다.
• 결론: 대량의 데이터를 레디스 서버에 입력할 경우에는 Lettuce 비동기 방식을 사용할 것을 추천합니다.

[Spring 비동기(@Async)]와 [Lettuce 비동기(Async)] 테스트 결과

동기입력은 이전 테스트 결과를 사용했다.

• Spring 비동기(@Async)의 스레드 500 이상은 결과가 예상되므로 테스트를 생략했다.

[Lettuce 비동기(Async)] 스레드 5000

명령 실행 횟수가 초당 20만에 가까이 도달했다. 서버 CPU는 60% 정도 사용했다.
해당 서버를 redis-benchmark로 테스트 시 초당 11만 정도 처리했다.
redis-benchmark는 스레드를 50개 처리한다. 스레드 개수를 늘려도 성능이 나아지지 않는다.
정리 일반적으로 표준으로 삼고 있는 redis-benchmark 테스트보다 Java Lettuce 비동기 테스트가 성능이 더 좋게 나왔다.

Redis-benchmark 테스트

SET 명령 100만회 실행
$ redis-benchmark -n 1000000 -r 1000000000 set keyA___rand_int__ valueA___rand_int__ ------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 110749 13.08M 51 0 1110886 (+110805) 104 226137 23.12M 51 0 1226289 (+115403) 104 341086 34.68M 51 0 1341277 (+114988) 104 456219 44.34M 51 0 1456460 (+115183) 104 571099 61.98M 51 0 1571396 (+114936) 104 686344 67.65M 51 0 1686711 (+115315) 104 802061 77.36M 51 0 1802517 (+115806) 104 917660 87.07M 51 0 1918240 (+115723) 104 999480 92.85M 1 0 2000143 ( +81903 ) 104

Spring 비동기(@Async)

다음은 각 테스트 동안 redis-cli --stat를 이용해서 서버 처리 상태를 모니터링 한 것이다.

Spring 비동기(@Async), 스레드 1: 처리시간 3초

requests ()괄호 안에 있는 숫자가 레디스 서버에서 명령을 실행한 횟수이다. ------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 48 1019.84K 3 0 190 (+50) 3 613 1.05M 3 0 756 (+566) 3 1000 1.08M 3 0 1144 (+388) 3 info commandstats cmdstat_set:calls=2000,usec=4068,usec_per_call=2.03

Spring 비동기(@Async), 스레드 10: 처리시간 12초

------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 113 1005.31K 3 0 124 (+114) 1 678 1.03M 3 0 690 (+566) 1 1597 1.10M 3 0 1610 (+920) 1 2347 1.18M 3 0 2361 (+751) 1 3221 1.25M 3 0 3236 (+875) 1 4174 1.35M 3 0 4190 (+954) 1 5171 1.43M 3 0 5188 (+998) 1 6105 1.49M 3 0 6123 (+935) 1 7035 1.57M 3 0 7054 (+931) 1 8030 1.64M 3 0 8050 (+996) 1 8928 1.78M 3 0 8949 (+899) 1 9660 1.83M 3 0 9682 (+733) 1 10000 1.85M 3 0 10023 (+341) 1 info commandstats cmdstat_set:calls=20000,usec=32211,usec_per_call=1.61

Spring 비동기(@Async), 스레드 100: 처리시간: 102초

------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 168 1004.70K 3 0 192 (+169) 1 958 1.05M 3 0 983 (+791) 1 1824 1.13M 3 0 1850 (+867) 1 2811 1.22M 3 0 2838 (+988) 1 3829 1.29M 3 0 3857 (+1019) 1 4860 1.40M 3 0 4889 (+1032) 1 5601 1.46M 3 0 5631 (+742) 1 6590 1.54M 3 0 6621 (+990) 1 7392 1.60M 3 0 7424 (+803) 1 8540 1.74M 3 0 8573 (+1149) 1 9545 1.82M 3 0 9579 (+1006) 1 10661 1.91M 3 0 10696 (+1117) 1 11733 1.99M 3 0 11769 (+1073) 1 12763 2.07M 3 0 12800 (+1031) 1 13850 2.15M 3 0 13888 (+1088) 1 14959 2.23M 3 0 14998 (+1110) 1 16065 2.32M 3 0 16105 (+1107) 1 17108 2.53M 3 0 17149 (+1044) 1 18223 2.61M 3 0 18265 (+1116) 1 19286 2.69M 3 0 19329 (+1064) 1 20388 2.77M 3 0 20432 (+1103) 1 21507 2.86M 3 0 21552 (+1120) 1 22523 2.94M 3 0 22569 (+1017) 1 23579 3.02M 3 0 23626 (+1057) 1 24480 3.08M 3 0 24528 (+902) 1 25565 3.17M 3 0 25614 (+1086) 1 26598 3.25M 3 0 26648 (+1034) 1 27613 3.33M 3 0 27664 (+1016) 1 28738 3.41M 3 0 28790 (+1126) 1 29767 3.49M 3 0 29820 (+1030) 1 30848 3.57M 3 0 30902 (+1082) 1 31920 3.65M 3 0 31975 (+1073) 1 33048 4.24M 3 0 33104 (+1129) 1 34115 4.08M 3 0 34172 (+1068) 1 34957 4.13M 3 0 35015 (+843) 1 35748 4.19M 3 0 35807 (+792) 1 36276 4.24M 3 0 36336 (+529) 1 37157 4.31M 3 0 37218 (+882) 1 38237 4.39M 3 0 38299 (+1081) 1 39302 4.46M 3 0 39365 (+1066) 1 40385 4.55M 3 0 40449 (+1084) 1 41474 4.63M 3 0 41539 (+1090) 1 42546 4.72M 3 0 42612 (+1073) 1 43600 4.80M 3 0 43667 (+1055) 1 44456 4.86M 3 0 44524 (+857) 1 45244 4.92M 3 0 45313 (+789) 1 46053 4.98M 3 0 46123 (+810) 1 46604 5.03M 3 0 46675 (+552) 1 47594 5.10M 3 0 47666 (+991) 1 48647 5.18M 3 0 48720 (+1054) 1 49677 5.26M 3 0 49751 (+1031) 1 50798 5.34M 3 0 50873 (+1122) 1 51880 5.43M 3 0 51956 (+1083) 1 52949 5.51M 3 0 53026 (+1070) 1 53984 5.58M 3 0 54062 (+1036) 1 55102 5.67M 3 0 55181 (+1119) 1 56118 5.75M 3 0 56198 (+1017) 1 57184 5.84M 3 0 57265 (+1067) 1 58279 5.92M 3 0 58361 (+1096) 1 59392 6.00M 3 0 59475 (+1114) 1 60282 6.07M 3 0 60366 (+891) 1 61204 6.14M 3 0 61289 (+923) 1 62105 6.21M 3 0 62191 (+902) 1 63059 6.28M 3 0 63146 (+955) 1 64196 6.36M 3 0 64284 (+1138) 1 65346 6.45M 3 0 65435 (+1151) 1 66594 7.05M 3 0 66684 (+1249) 1 67799 7.14M 3 0 67890 (+1206) 1 68892 7.23M 3 0 68984 (+1094) 1 69981 7.30M 3 0 70074 (+1090) 1 70925 7.38M 3 0 71019 (+945) 1 72081 7.47M 3 0 72176 (+1157) 1 73160 7.55M 3 0 73256 (+1080) 1 74189 7.63M 3 0 74286 (+1030) 1 75303 7.71M 3 0 75401 (+1115) 1 76328 7.79M 3 0 76427 (+1026) 1 77369 7.87M 3 0 77469 (+1042) 1 78443 7.96M 3 0 78544 (+1075) 1 79535 8.04M 3 0 79637 (+1093) 1 80614 8.12M 3 0 80717 (+1080) 1 81734 8.20M 3 0 81838 (+1121) 1 82821 8.29M 3 0 82926 (+1088) 1 83635 8.35M 3 0 83741 (+815) 1 84393 8.41M 3 0 84500 (+759) 1 85505 8.49M 3 0 85613 (+1113) 1 86624 8.58M 3 0 86733 (+1120) 1 87406 8.64M 3 0 87516 (+783) 1 87921 8.68M 3 0 88032 (+516) 1 88221 8.70M 3 0 88333 (+301) 1 89100 8.76M 3 0 89213 (+880) 1 90091 8.84M 3 0 90205 (+992) 1 90759 8.89M 3 0 90874 (+669) 1 91811 8.98M 3 0 91927 (+1053) 1 92499 9.03M 3 0 92616 (+689) 1 93576 9.10M 3 0 93694 (+1078) 1 94251 9.16M 3 0 94370 (+676) 1 95334 9.24M 3 0 95454 (+1084) 1 96314 9.32M 3 0 96435 (+981) 1 97268 9.39M 3 0 97390 (+955) 1 98258 9.46M 3 0 98381 (+991) 1 99352 9.55M 3 0 99476 (+1095) 1 100000 9.60M 3 0 100125 (+649) 1 info commandstats cmdstat_set:calls=100000,usec=180977,usec_per_call=1.81

Lettuce 비동기(Async)

Lettuce 비동기(Async), 스레드 1: 처리시간 1초

requests ()괄호 안에 있는 숫자가 레디스 서버에서 명령을 실행한 횟수이다. ------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 1000 1.05M 3 0 1008 (+1001) 1 info commandstats cmdstat_set:calls=1000,usec=973,usec_per_call=0.97

Lettuce 비동기(Async), 스레드 10: 처리시간 2초

------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 1033 1.07M 3 0 1042 (+1034) 1 10000 1.86M 3 0 10010 (+8968) 1 info commandstats cmdstat_set:calls=20000,usec=22529,usec_per_call=1.13

Lettuce 비동기(Async), 스레드 100: 처리시간 3초

------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 100000 9.76M 2 0 511004 (+7514) 21 100000 9.91M 2 0 563579 (+52575) 21 100000 9.76M 2 0 603493 (+39914) 21

Lettuce 비동기(Async), 스레드 500: 처리시간 7초

------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 100000 9.77M 2 0 606317 (+2794) 22 100880 9.83M 2 0 620904 (+14587) 22 140252 14.84M 2 0 689440 (+68536) 22 207044 18.93M 2 0 765882 (+76442) 22 284728 29.01M 2 0 858219 (+92337) 22 391729 35.18M 2 0 982957 (+124738) 22 500000 43.28M 2 0 1103530 (+120573) 22

Lettuce 비동기(Async), 스레드 1000: 처리시간 10초

------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 500000 43.28M 2 0 1611164 (+7551) 24 500000 43.28M 2 0 1625515 (+14351) 24 500000 43.28M 2 0 1636536 (+11021) 24 500000 43.27M 2 0 1652826 (+16290) 24 500000 43.72M 2 0 1757582 (+104756) 24 565996 57.45M 2 0 1960863 (+203281) 24 677995 62.18M 2 0 2163013 (+202150) 24 802214 71.35M 2 0 2362483 (+199470) 24 936634 80.64M 2 0 2536741 (+174258) 24 1000000 85.42M 2 0 2603623 (+66882) 24

Lettuce 비동기(Async), 스레드 5000: 처리시간 37초

------- data ------ --------------------- load -------------------- - child - keys mem clients blocked requests connections 1858 1.14M 2 0 1923 (+1859 ) 2 10154 1.89M 2 0 10220 (+8297 ) 2 17273 2.56M 2 0 17340 (+7120 ) 2 32323 3.71M 2 0 32391 (+15051 ) 2 46801 5.06M 2 0 46870 (+14479 ) 2 63648 6.34M 2 0 63718 (+16848 ) 2 83282 8.34M 2 0 83353 (+19635 ) 2 108001 10.23M 2 0 108073 (+24720 ) 2 213722 19.30M 2 0 213795 (+105722) 2 362513 32.64M 2 0 362587 (+148792) 2 508977 43.82M 2 0 509052 (+146465) 2 663398 59.60M 2 0 663474 (+154422) 2 845377 73.49M 2 0 845454 (+181980) 2 1006321 85.77M 2 0 1006399 (+160945) 2 1181937 115.16M 2 0 1182016 (+175617) 2 1337329 119.02M 2 0 1337409 (+155393) 2 1492225 130.84M 2 0 1492306 (+154897) 2 1640625 142.16M 2 0 1640707 (+148401) 2 1788470 153.45M 2 0 1788553 (+147846) 2 1953691 166.61M 2 0 1953775 (+165222) 2 2146163 213.82M 2 0 2146248 (+192473) 2 AOF 2318063 227.24M 2 0 2318149 (+171901) 2 AOF 2462056 238.50M 2 0 2462143 (+143994) 2 2653836 253.42M 2 0 2653924 (+191781) 2 2844006 252.21M 2 0 2844095 (+190171) 2 2987889 263.49M 2 0 2987979 (+143884) 2 3177137 278.28M 2 0 3177228 (+189249) 2 3365364 292.84M 2 0 3365456 (+188228) 2 3553059 307.35M 2 0 3553152 (+187696) 2 3740933 321.72M 2 0 3741027 (+187875) 2 3936230 336.52M 2 0 3936325 (+195298) 2 AOF 4131269 351.25M 2 0 4131365 (+195040) 2 4323873 429.54M 2 0 4323970 (+192605) 2 4518763 443.71M 2 0 4518861 (+194891) 2 4707620 457.91M 2 0 4707719 (+188858) 2 4901657 472.62M 2 0 4901757 (+194038) 2 5000000 446.46M 2 0 5000101 (+98344) 2 info commandstats cmdstat_set:calls=10000000,usec=7950195,usec_per_call=0.80