redis clients hiredis hiredis_async

Hiredis Async

Redis Developer Course	Redis Technical Support	Redis Enterprise Server

Async 명령

레디스 명령을 비동기(Async)로 실행할 수 있는 방법은 몇 가지 있다. 여기서는 세 가지 방법을 소개한다.
레디스 버전 4.0.10 (2018년 6월 13일 발표)을 기준으로 작성했다.

• AE: A simple event-driven programming library, Hiredis에서 기본으로 사용한다.
• LIBEV: A full-featured and high-performance event loop
• LIBEVENT: An event notification library

AE: A simple event-driven programming library

Hiredis 설치

• Hiredis 홈 페이지
• Redis로 설치할 경우: Makefile에 prefix=/usr/local 이 설정되어 있으므로 make install 하면 C Header 파일은 /usr/local/include에 설치되고, Library 파일은 /usr/local/lib에 설치된다. Root를 사용한다.
# wget http://download.redis.io/releases/redis-4.0.10.tar.gz # tar xzf redis-4.0.10.tar.gz # cd redis-4.0.10/deps/hiredis # make # make install
• Hiredis로 설치할 경우
# wget https://github.com/redis/hiredis/archive/v0.13.3.tar.gz # tar xzf v0.13.3.tar.gz # cd hiredis-0.13.3 # make # make install
• /usr/local/include/에 설치된 header 파일들
/usr/local/include/hiredis adapters <dir> async.h hiredis.h read.h sds.h /usr/local/include/hiredis/adapters ae.h glib.h ivykis.h libev.h libevent.h libuv.h macosx.h qt.h
• /usr/local/lib/에 설치된 library 파일들
libhiredis.a libhiredis.so -> libhiredis.so.0.13 libhiredis.so.0.13

• ae.h: struct aeEventLoop 등이 포함되어 있다. src/ae.h 파일을 /usr/include 디렉토리에 복사한다. 이유는 sample C 소스에서 "hiredis/adapters/ae.h" 파일을 include하는데 이 ae.h에서 <ae.h>를 표준 디렉토리에서 include 하기 때문이다. adapters/ae.h 와 src/ae.h는 다른 파일이다.   ae.c에서는 "ae.h"를 include한다.   즉, src/ae.h 파일을 /usr/include에 복사해야 하고 작업 디렉토리에도 있어야 한다.
• ae.c: aeCreateEventLoop() 등이 포함되어 있다.
• ae_epoll.c, ae_evport.c, ae_kqueue.c, ae_select.c: ae.c에서 조건에 따라 이 파일들을 include 한다.
• zmalloc.h: ae.c에서 이 파일을 include하고 zmalloc()를 사용한다.
• zmalloc.c: zmalloc() 등이 포함되어 있다.
• config.h, atomicvar.h: ae.c와 zmalloc.c에서 include하고 있다.   ae.h 부터 여기까지 소개된 파일들을 redis src/ 디렉토리로 부터 복사한다.
• async-ae.c: Async 명령 sample C 소스 파일이다.
• Makefile: async-ae.o, ae.o, zmalloc.o, hiredis library를 포함한다.
CC = gcc TARGET = async-ae OBJS = async-ae.o ae.o zmalloc.o $(TARGET):$(OBJS) $(CC) $^ -Wall -o $@ -L/usr/local/lib -lhiredis

Sample C 소스 파일 async-ae.c

• async-ae.c에서 #include <hiredis/adapters/ae.h> 이 파일은 redisAeAttach()를 포함하고 있으며,
  위에서 설명한 ae.h 파일을 포함하고,
  hiredis.h와 async.h를 포함하고 있다. 그러므로 async-ae.c에서 이 두 파일을 포함하지 않아도 된다.
#include <ae.h> #include "../hiredis.h" #include "../async.h"
• async-ae.c
#include <stdio.h> #include <stdlib.h> #include <string.h> #include <signal.h> #include <hiredis/adapters/ae.h> /* Put event loop in the global scope, so it can be explicitly stopped */ static aeEventLoop *loop; void cmdCallback(redisAsyncContext *c, void *r, void *cmd) { redisReply *reply = r; if (reply == NULL) { printf("Redis Async Command Error: Reply is null, [%s]\n", (char*)cmd); return; } if (reply->type == REDIS_REPLY_ERROR) { printf("Redis Async Command Error: %s, [%s]\n", reply->str, (char*)cmd); return; } printf("%s -> %s\n", cmd, reply->str); } void connectCallback(const redisAsyncContext *ac, int status) { if (status != REDIS_OK) { printf("%s:%i -> %s\n", ac->c.tcp.host, ac->c.tcp.port, ac->errstr); aeStop(loop); return; } printf("%s:%i -> Connection OK\n", ac->c.tcp.host, ac->c.tcp.port); } int main(int argc, char **argv) { redisReply *reply; char *ip = "127.0.0.1"; int port = 6000; signal(SIGPIPE, SIG_IGN); // Redis Async Connection redisAsyncContext *ac = redisAsyncConnect(ip, port); loop = aeCreateEventLoop(1024); redisAeAttach(loop, ac); redisAsyncSetConnectCallback(ac, connectCallback); // AsyncCommand redisAsyncCommand(ac, cmdCallback, "PING", "PING"); redisAsyncCommand(ac, cmdCallback, "SET key value", "SET key value"); redisAsyncCommand(ac, cmdCallback, "GET key", "GET key"); aeMain(loop); // 이 아래로는 실행되지 않는다. Ctrl+C를 누르면 멈춘다. return 0; }
• cmdCallback(): Async 명령 callback 함수, 세번째 인수는 void *cmd는 원래는 void *privdata 인데 실행 명령을 넣어서 실패시 표시하도록 했다.
• connectCallback(): Async 연결 callback 함수, ac->c.tcp.host는 IP를, ac->c.tcp.port는 포트를, ac->errstr는 에러 메시지를 가지고 있다.
• struct redisAsyncContext
----------- async.h ----------- /* Context for an async connection to Redis */ typedef struct redisAsyncContext { /* Hold the regular context, so it can be realloc'ed. */ redisContext c; /* Setup error flags so they can be used directly. */ int err; char *errstr; /* Not used by hiredis */ void *data; /* Event library data and hooks */ struct { void *data; /* Hooks that are called when the library expects to start * reading/writing. These functions should be idempotent. */ void (*addRead)(void *privdata); void (*delRead)(void *privdata); void (*addWrite)(void *privdata); void (*delWrite)(void *privdata); void (*cleanup)(void *privdata); } ev; /* Called when either the connection is terminated due to an error or per * user request. The status is set accordingly (REDIS_OK, REDIS_ERR). */ redisDisconnectCallback *onDisconnect; /* Called when the first write event was received. */ redisConnectCallback *onConnect; /* Regular command callbacks */ redisCallbackList replies; /* Subscription callbacks */ struct { redisCallbackList invalid; struct dict *channels; struct dict *patterns; } sub; } redisAsyncContext;
• struct redisContext
----------- hiredis.h ----------- /* Context for a connection to Redis */ typedef struct redisContext { int err; /* Error flags, 0 when there is no error */ char errstr[128]; /* String representation of error when applicable */ int fd; int flags; char *obuf; /* Write buffer */ redisReader *reader; /* Protocol reader */ enum redisConnectionType connection_type; struct timeval *timeout; struct { char *host; char *source_addr; int port; } tcp; struct { char *path; } unix_sock; } redisContext;
• aeMain(): 실제로 event를 처리하는 함수이므로 Connection과 Async 명령 다음에 있어야 한다. 즉, Main() 소스의 맨 마지막에 있어야 한다.
• aeMain() 소스: ae.c에 있다.
void aeMain(aeEventLoop *eventLoop) { eventLoop->stop = 0; while (!eventLoop->stop) { if (eventLoop->beforesleep != NULL) eventLoop->beforesleep(eventLoop); aeProcessEvents(eventLoop, AE_ALL_EVENTS); } }
• aeStop() 소스: ae.c에 있다.
void aeStop(aeEventLoop *eventLoop) { eventLoop->stop = 1; }
• 실행 결과
$ async-ae 127.0.0.1:6000 -> Connection OK PING -> PONG SET key value -> OK GET key -> value ^C $
• 레디스 서버가 다운되었을 때 실행 결과
$ async-ae 127.0.0.1:6000 -> Connection refused Redis Async Command Error: Reply is null, [PING] Redis Async Command Error: Reply is null, [SET key value] Redis Async Command Error: Reply is null, [GET key] $

LIBEV

• libev 홈 페이지
• libev library 설치하기: /usr/local에 설치할 것이므로 root를 사용한다.
# wget http://dist.schmorp.de/libev/libev-4.24.tar.gz # tar xzf libev-4.24.tar.gz # cd libev-4.24 # ./configure --prefix=/usr/local/ # make # make install
• /usr/local/include/에 설치된 header 파일들
ev.h ev++.h event.h 여기서 event.h 파일에 주의해야 한다. 이 파일은 libevent library에도 동일한 이름의 event.h 파일이 있다. 즉, 나중에 설치한 library의 event.h 파일이 include에 있게 되는 것이다. Libev를 먼저 설치하고 Libevent를 나중에 설치하면 별 문제가 없지만, 순서를 바꾸어서 설치하면 Libevent를 이용한 Async 프로그램이 동작하지 않는다. 이 경우 Libevent에 있는 event.h를 /usr/local/include에 복사하고 다시 컴파일하면 된다.
• /usr/local/lib/에 설치된 library 파일들
libev.so -> libev.so.4.0.0 libev.so.4 -> libev.so.4.0.0 libev.so.4.0.0
• Makefile
CC = gcc TARGET = async-libev OBJS = async-libev.o $(TARGET):$(OBJS) $(CC) $^ -Wall -o $@ -L/usr/local/lib -lhiredis -lev
• async-libev.c
#include <stdio.h> #include <stdlib.h> #include <string.h> #include <signal.h> #include <hiredis/adapters/libev.h> void cmdCallback(redisAsyncContext *c, void *r, void *cmd) { redisReply *reply = r; if (reply == NULL) { printf("Redis Async Command Error: Reply is null, [%s]\n", (char*)cmd); return; } if (reply->type == REDIS_REPLY_ERROR) { printf("Redis Async Command Error: %s, [%s]\n", reply->str, (char*)cmd); return; } printf("%s -> %s\n", cmd, reply->str); } void connectCallback(const redisAsyncContext *ac, int status) { if (status != REDIS_OK) { printf("%s:%i -> %s\n", ac->c.tcp.host, ac->c.tcp.port, ac->errstr); return; } printf("%s:%i -> Connection OK\n", ac->c.tcp.host, ac->c.tcp.port); } int main(int argc, char **argv) { char *ip = "127.0.0.1"; int port = 6000; signal(SIGPIPE, SIG_IGN); // Redis Async Connection redisAsyncContext *ac = redisAsyncConnect(ip, port); redisLibevAttach(EV_DEFAULT_ ac); redisAsyncSetConnectCallback(ac, connectCallback); // AsyncCommand redisAsyncCommand(ac, cmdCallback, "PING", "PING"); redisAsyncCommand(ac, cmdCallback, "SET key value", "SET key value"); redisAsyncCommand(ac, cmdCallback, "GET key", "GET key"); ev_loop(EV_DEFAULT_ 0); // 이 아래로는 실행되지 않는다. Ctrl+C를 누르면 멈춘다. return 0; }

LIBEVENT: An event notification library

• libevent 홈 페이지
• libevent library 설치하기: /usr/local에 설치할 것이므로 root를 사용한다.
# wget https://github.com/libevent/libevent/releases/download/release-2.1.8-stable/libevent-2.1.8-stable.tar.gz # tar xzf libevent-2.1.8-stable.tar.gz # cd libevent-2.1.8-stable # ./configure --prefix=/usr/local/ # make # make install
• /usr/local/include/에 설치된 header 파일들
event2 <dir> evutil.h evdns.h event.h evhttp.h evrpc.h
• /usr/local/lib/에 설치된 library 파일들 중 중요한 것을 표시했다.
libevent.so -> libevent-2.1.so.6.0.2 libevent-2.1.so.6 -> libevent-2.1.so.6.0.2 libevent-2.1.so.6.0.2
• Makefile
CC = gcc TARGET = async-libevent OBJS = async-libevent.o $(TARGET):$(OBJS) $(CC) $^ -Wall -o $@ -L/usr/local/lib -lhiredis -levent
• async-libevent.c
#include <stdio.h> #include <stdlib.h> #include <string.h> #include <signal.h> #include <hiredis/adapters/libevent.h> void cmdCallback(redisAsyncContext *c, void *r, void *cmd) { redisReply *reply = r; if (reply == NULL) { printf("Redis Async Command Error: Reply is null, [%s]\n", (char*)cmd); return; } if (reply->type == REDIS_REPLY_ERROR) { printf("Redis Async Command Error: %s, [%s]\n", reply->str, (char*)cmd); return; } printf("%s -> %s\n", cmd, reply->str); } void connectCallback(const redisAsyncContext *ac, int status) { if (status != REDIS_OK) { printf("%s:%i -> %s\n", ac->c.tcp.host, ac->c.tcp.port, ac->errstr); return; } printf("%s:%i -> Connection OK\n", ac->c.tcp.host, ac->c.tcp.port); } int main(int argc, char **argv) { char *ip = "127.0.0.1"; int port = 6000; signal(SIGPIPE, SIG_IGN); struct event_base *base = event_base_new(); // Redis Async Connection redisAsyncContext *ac = redisAsyncConnect(ip, port); redisLibeventAttach(ac, base); redisAsyncSetConnectCallback(ac, connectCallback); // AsyncCommand redisAsyncCommand(ac, cmdCallback, "PING", "PING"); redisAsyncCommand(ac, cmdCallback, "SET key value", "SET key value"); redisAsyncCommand(ac, cmdCallback, "GET key", "GET key"); event_base_dispatch(base); // 이 아래로는 실행되지 않는다. Ctrl+C를 누르면 멈춘다. return 0; }

관련 정보

• libevent 및 libev로 네트워크 성능 향상
• hiredis/examples에 몇 가지 예제가 있다.
example-ae.c example-glib.c example-ivykis.c example-libev.c example-libevent.c example-libuv.c example-macosx.c example-qt.cpp xample-qt.h example.c <- Sync 예제