데이터 중심 컴퓨팅 및 AI 시스템 연구실 (DISCOS) 석사과정 박준혁 (제1저자)과 김영재 교수 (교신저자)가 작성한 “ByteExpress: A High-Performance and Traffic-Efficient Inline Transfer of Small Payloads over NVMe” 논문이 The 17th ACM Workshop on Hot Topics in Storage and File Systems (HotStorage) 2025 게재가 확정되었습니다.

본 연구는 Solid-State Drive (SSD) 기술이 나날이 발전하면서 새롭게 등장한 Computational Storage 콘셉트의 대표 예시인 Computational SSD (CSD)와 Key-Value SSD (KV-SSD)를 배경으로 합니다. 이러한 신 (新) 저장장치들은 SQL Predicate Pushdown을 통한 데이터 필터링 처리나 Key-Value Store PUT/GET 연산과 같이 기존 호스트 시스템에서 동작하던 데이터 처리 연산들을 장치 내부에서 오프로드 처리해 데이터 이동량을 감축하고 성능과 효율성을 개선하는 것을 목표로 합니다.

이때, 기존 CSD 연구에서 사용하였던 SQL Predicate Pushdown 명세, 또는 통상적인 Key-Value Store 워크로드의 Key-Value Pair들을 놓고 보면, 호스트에서 저장장치로 이동하는 데이터 (페이로드)의 크기 (Pushdown 명세 또는 Key-Value Pair)가 수십-수백 바이트에 불과하고, 그러한 작은 데이터가 NVMe Passthrough와 같은 커널 우회 API를 통해 저장장치로 빈번하게 전달된다는 점에 주목, 본 연구에서는 이때 사용되는 현대 주류 저장장치 인터페이스인 PCIe 기반 NVMe 프로토콜이 호스트-저장장치 간 데이터 이동 시 4KB 단위로 데이터를 이동시키기 때문에 앞서 언급한 작은 직접 I/O에 극도로 비효율적임을 지적합니다. 본 연구 실험 결과, 실제로 32바이트 크기의 페이로드 전송 시 실제 PCIe 인터커넥트 상에선 4KB 크기의 데이터 이동을 유발해 최대 130배 이상의 트래픽 증폭이 발생하고, 전송 성능도 그러한 4KB 단위 전송에 바운드됨을 확인하였습니다.

이 문제를 해결하기 위해, 박준혁 석사과정 (제1저자)과 김영재 교수 (교신저자)는 NVMe Submission Queue (SQ)를 활용하여 호스트가 전송하고자 하는 페이로드를 64바이트 (NVMe SQ의 기본 엔트리 크기) 단위로 페이로드를 Inline 전송하는 기법인 ByteExpress를 제안하고, 해당 연구 결과를 HotStorage 2025 워크숍에 논문으로 제출, 정규 발표 논문으로 채택되었습니다. ByteExpress는 사용자의 데이터 전송 시 기존과 달리 메모리 페이지 단위의 페이로드 전송이 아닌, NVMe SQ 상에서 NVMe 명령어 뒤에 페이로드를 64바이트 단위로 필요한만큼만 연속적으로 배치하여 전송해 PCIe 트래픽 효율성과 성능 향상을 달성합니다. 또한, NVMe 인프라를 큰 수정 없이 그대로 활용하기 때문에 기존 NVMe 드라이버와 NVMe SSD 아키텍처와의 호환성을 유지하는 장점도 표방하고 있습니다.

아래 그림은 표준 NVMe의 페이로드 전송 매커니즘 (NVMe PRP-Based), 세밀한 I/O를 위해 제안된 타 솔루션들 (PCIe MMIO-Based, NVMe CMD-Based), 그리고 새로운 ByteExpress (NVMe SQ-Based)의 데이터 전송 방식을 비교해 제안된 솔루션의 우수성인 NVMe 호환성과 성능 향상 가능성을 보여줍니다.

Linux 커널 NVMe 드라이버와 OpenSSD 플랫폼에 ByteExpress를 구현한 결과, 256바이트 이하의 작은 페이로드에 대해 기존 PRP 대비 최대 98%의 PCIe 트래픽 감소, 40% 이상의 지연시간 감소, 그리고 기존 NVMe 호환 세밀한 데이터 전송 솔루션 대비 최대 39.8%의 지연시간 개선을 달성하였습니다 (이하 그림). 또한, 실제 KV-SSD 및 SQL Predicate Pushdown 워크로드에 적용한 결과, 기존 방식 대비 처리율 향상과 더불어 일관된 성능 향상을 확인하였습니다.