Enterprise

IO_URING cp with liburing

'liburing'를 이용한 cp 프로그램

이전 섹션에서는 'liburing'에서 제공하는 'io_uring'에 대한 고급 인터페이스를 사용하여 Unix cat 유틸리티와 동등한 것을 빌드하는 방법을 살펴보았습니다. 그러나 이 예에서는 동시에 두 개 이상의 요청을 대기열에 추가하지 않았습니다. 'io_uring'의 목표 중 하나는 사용자가 한 번에 여러 작업을 대기열에 추가하여 필요한 시스템 호출 수를 줄이는 것입니다. 커널은 프로그램이 각 I/O 요청에 대해 하나 이상의 시스템 호출을 거치지 않고도 이를 한 번에 선택하여 처리할 수 있습니다.

이를 위해 이번 파트에서는 파일을 복사하는 복사 프로그램을 구축합니다. 대기열 깊이가 허용하는 한 많은 요청을 대기열에 추가하여 최대한 효율적으로 작업하려고 합니다. 몇 가지 코드를 살펴보겠습니다. 필요한 곳에 크레딧을 제공하기 위해 이는 fio 패키지의 프로그램을 기반으로 합니다.

#include <stdio.h>
#include <fcntl.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <assert.h>
#include <errno.h>
#include <sys/stat.h>
#include <sys/ioctl.h>
#include <liburing.h>

#define QD  2	// queue depth
#define BS (16 * 1024) // 16kb

static int infd, outfd;

struct io_data {
    int read;
    off_t first_offset, offset;
    size_t first_len;
    struct iovec iov;
};

static int setup_context(unsigned entries, struct io_uring *ring) {
    int ret;

    ret = io_uring_queue_init(entries, ring, 0);
    if( ret < 0) {
        fprintf(stderr, "queue_init: %s\n", strerror(-ret));
        return -1;
    }

    return 0;
}

static int get_file_size(int fd, off_t *size) {
    struct stat st;

    if (fstat(fd, &st) < 0 )
        return -1;
    if(S_ISREG(st.st_mode)) { // 일반 파일(regular file)
        *size = st.st_size;
        return 0;
    } else if (S_ISBLK(st.st_mode)) { // 블록 장치 파일(block device file): 하드 디스크, USB 드라이브
        unsigned long long bytes;

        if (ioctl(fd, BLKGETSIZE64, &bytes) != 0)
            return -1;

        *size = bytes;
        return 0;
    }
    return -1;
}

static void queue_prepped(struct io_uring *ring, struct io_data *data) {
    struct io_uring_sqe *sqe;

    sqe = io_uring_get_sqe(ring);
    assert(sqe);

    if (data->read)
        io_uring_prep_readv(sqe, infd, &data->iov, 1, data->offset);
    else
        io_uring_prep_writev(sqe, outfd, &data->iov, 1, data->offset);

    io_uring_sqe_set_data(sqe, data);
}

static int queue_read(struct io_uring *ring, off_t size, off_t offset) {
    struct io_uring_sqe *sqe;
    struct io_data *data;

    data = malloc(size + sizeof(*data));
    if (!data)
        return 1;

    sqe = io_uring_get_sqe(ring);
    if (!sqe) {
        free(data);
        return 1;
    }

    data->read = 1;
    data->offset = data->first_offset = offset;

    data->iov.iov_base = data + 1;
    data->iov.iov_len = size;
    data->first_len = size;

    io_uring_prep_readv(sqe, infd, &data->iov, 1, offset);
    io_uring_sqe_set_data(sqe, data);
    return 0;
}

static void queue_write(struct io_uring *ring, struct io_data *data) {
    data->read = 0;
    data->offset = data->first_offset;

    data->iov.iov_base = data + 1;
    data->iov.iov_len = data->first_len;

    queue_prepped(ring, data);
    io_uring_submit(ring);
}

int copy_file(struct io_uring *ring, off_t insize) {
    unsigned long reads, writes;
    struct io_uring_cqe *cqe;
    off_t write_left, offset;
    int ret;

    write_left = insize;
    writes = reads = offset = 0;

    while (insize || write_left) {
        int had_reads, got_comp;

        /* Queue up as many reads as we can */
        had_reads = reads;
        while (insize) {
            off_t this_size = insize;

            if (reads + writes >= QD) // queue depth
                break;
            if (this_size > BS) // 16kb
                this_size = BS;
            else if (!this_size)
                break;

            if (queue_read(ring, this_size, offset))
                break;

            insize -= this_size;
            offset += this_size;
            reads++;
        }

        if (had_reads != reads) {
            ret = io_uring_submit(ring);
            if (ret < 0) {
                fprintf(stderr, "io_uring_submit: %s\n", strerror(-ret));
                break;
            }
        }

        /* Queue is full at this point. Let's find at least one completion */
        got_comp = 0;
        while (write_left) {
            struct io_data *data;

            if (!got_comp) {
                ret = io_uring_wait_cqe(ring, &cqe);
                got_comp = 1;
            } else {
                ret = io_uring_peek_cqe(ring, &cqe);
                if (ret == -EAGAIN) {
                    cqe = NULL;
                    ret = 0;
                }
            }
            if (ret < 0) {
                fprintf(stderr, "io_uring_peek_cqe: %s\n",
                        strerror(-ret));
                return 1;
            }
            if (!cqe)
                break;

            data = io_uring_cqe_get_data(cqe);
            if (cqe->res < 0) {
                if (cqe->res == -EAGAIN) {
                    queue_prepped(ring, data);
                    io_uring_cqe_seen(ring, cqe);
                    continue;
                }
                fprintf(stderr, "cqe failed: %s\n",
                        strerror(-cqe->res));
                return 1;
            } else if (cqe->res != data->iov.iov_len) {
                /* short read/write; adjust and requeue */
                data->iov.iov_base += cqe->res;
                data->iov.iov_len -= cqe->res;
                queue_prepped(ring, data);
                io_uring_cqe_seen(ring, cqe);
                continue;
            }

            /*
             * All done. If write, nothing else to do. If read,
             * queue up corresponding write.
             * */

            if (data->read) {
                queue_write(ring, data);
                write_left -= data->first_len;
                reads--;
                writes++;
            } else {
                free(data);
                writes--;
            }
            io_uring_cqe_seen(ring, cqe);
        }
    }

    return 0;
}

int main(int argc, char *argv[]) {
    struct io_uring ring;
    off_t insize;
    int ret;

    if (argc < 3) {
        printf("Usage: %s <infile> <outfile>\n", argv[0]);
        return 1;
    }

    infd = open(argv[1], O_RDONLY);
    if (infd < 0) {
        perror("open infile");
        return 1;
    }

    outfd = open(argv[2], O_WRONLY | O_CREAT | O_TRUNC, 0644);
    if (outfd < 0) {
        perror("open outfile");
        return 1;
    }

    if (setup_context(QD, &ring))
        return 1;

    if (get_file_size(infd, &insize))
        return 1;

    ret = copy_file(&ring, insize);

    close(infd);
    close(outfd);
    io_uring_queue_exit(&ring);
    return ret;
}

📦 Program structure

대부분의 다른 프로그램과 마찬가지로 이 복사 프로그램은 첫 번째 인수가 가리키는 파일을 두 번째 인수가 가리키는 파일로 복사합니다. 프로그램의 핵심은 copy_file() 함수입니다. 여기서는 외부 while 루프를 설정합니다. 이 루프에는 동일한 수준의 다른 while 루프가 내부에 중첩되어 있습니다. 외부 while 루프는 소스 파일의 모든 바이트가 복사되도록 하는 반면, 첫 번째 중첩 while 루프는 가능한 한 많은 readv(2) 유형 요청을 생성하는 작업을 수행합니다. 실제로 대기열 깊이가 허용하는 만큼 대기열에 추가됩니다.

대기열이 가득 차면 두 번째 중첩 while 루프로 이동합니다. 이 루프는 완료 대기열 항목을 수집하고 대상 파일 쓰기 요청을 제출합니다. 이제 데이터를 읽었습니다. 상태를 추적하는 여러 변수가 있으며 약간 혼란스러울 수 있습니다. 그러나 비동기 파일 복사 프로그램은 얼마나 어려울 수 있습니까? :)

Based on io_uring By Example: Part 2 – Queuing multiple requests

⚛ 원문

Email 답글이 올라오면 이메일로 알려드리겠습니다.