데이터 중심 AI 컴퓨팅 및 시스템 연구실 (DISCOS) 박사과정 황순 (제1저자/지도교수 김영재), 김영재 교수 (교신저자), 박준혁 석사과정, 유정현 박사과정, 안성훈 석사과정이 SK Hynix 메모리 시스템 연구소 연구팀 (박정안 연구원, 이정진 연구원, 양진나 연구원, 양순열 연구원, 노정기 팀장, 정우석 담당, 김호식 담당), 그리고 Los Alamos National Laboratory의 Qing Zheng 연구원과 함께 작성한 “OASIS: Hierarchical Query Execution over Multi-Layer Computation-Enabled Object Storage” 논문이 The 38th International Conference for High Performance Computing, Networking, Storage, and Analysis (SC '26)에 정규 논문(full paper)으로 게재가 확정되었다. 올해 SC '26 정규 논문의 채택률은 19.4%로, 본 연구는 치열한 경쟁을 뚫고 채택되는 성과를 거두었다.

대규모 과학 데이터 분석에서는 수십 GB 규모의 Parquet 데이터를 스토리지에서 분석 클러스터로 옮기는 과정이 성능의 병목으로 작용한다. 이를 완화하기 위해 S3 Select나 Skyhook과 같은 연산 지원 오브젝트 스토리지(computation-enabled object storage, COS)가 제안되어, 필터와 프로젝션 같은 연산자를 스토리지 서버에서 미리 수행함으로써 외부로 나가는 데이터 전송량을 줄여 왔다. 그러나 이러한 접근은 “스토리지 내부에서 인클로저(enclosure)로부터 스토리지 서버로 올라오는 데이터 이동은 전혀 줄이지 못하는 한계”를 갖는다. 즉 실제 병목은 외부 전송이 아니라 스토리지 내부 이동에 남아 있다. 기존 시스템들은 연산자를 스토리지에서 실행할지 말지를 결정하는 이분법적 판단에 머물러, 다층 스토리지 계층 사이의 실행 경계를 어디에 둘 것인가라는 본질적인 문제를 다루지 못했다. 특히 계층마다 자원 제약과 데이터 축약률이 달라, 단일 계층 배치만으로는 중간 결과 크기와 계층 간 데이터 이동을 최적화할 수 없다.

그림 1. OASIS의 architecture overview 와 query processing flow

본 연구는 질의 실행을 스토리지 서버와 인클로저라는 다층 스택 위의 계층적 분할(hierarchical partitioning) 문제로 정식화하였다. 핵심은 어떤 연산자를 오프로딩할 것인가가 아니라, 이미 오프로딩된 질의 조각(query fragment)을 어느 계층에서 잘라 실행할 것인가라는 실행 경계 배치(execution boundary placement) 문제라는 관점이다. 이로써 규칙 기반 pushdown 문제였던 스토리지 측 질의 실행을 원리적인 계층 간 최적화 문제로 격상시켰다. 본 연구는 연산자 의미(semantics), 데이터 축약률, 자원 제약을 함께 고려하는 분해 전략이 필요하다는 문제의식에서 출발하였다.

이러한 문제의식에서 출발하여 본 연구에서는 OASIS를 제안하였다. OASIS는 스토리지 서버와 인클로저를 아우르는 통합 실행 프레임워크로, 질의 계획을 Substrait 기반 중간 표현(IR)으로 표현해 연산자 단위의 세분화된 분해와 유연한 배치를 가능하게 한다. 그 중심에는 질의 분해 알고리즘 SODA가 있으며, 수집 시점에 구축한 통계를 이용해 데이터 페이지를 읽지 않고도 연산자별 축약률을 추정하여 계층 간 데이터 이동을 최소화하는 분할 지점을 결정한다. 인클로저에서는 SPDK와 DuckDB를 결합해 파일 시스템을 거치지 않는(file-system-free) 컬럼 인지형 실행을 수행하고, 축약된 중간 결과만을 상위 계층에 전달한다. S3 호환 인터페이스를 유지하여 기존 분산 SQL 엔진과의 호환성을 그대로 보존한 점도 핵심이다.

Laghos, DeepWater, CMS Open Data, TPC-H 등 실제 과학 워크로드로 평가한 결과, OASIS는 인클로저에서 스토리지 서버로 향하는 내부 데이터 이동을 최대 99.998%까지 줄였다(Q1 기준 20GB → 76KB). 이를 통해 최신 COS 시스템인 Skyhook 대비 종단 간 지연 시간을 11.4–25.1% 낮추었으며, 스토리지 서버에서만 실행하는 단일 계층 방식과 비교해도 대표 연산자 체인에서 최대 47.6%의 성능 향상을 달성하였다. SODA의 추가 비용은 선택도 추정 0.126ms, 계획 분해 1.81ms로 종단 간 실행 시간 대비 무시할 수 있는 수준이었다. 나아가 본 연구는 오프로딩이 항상 이득은 아니며, 집계 연산자가 없어 출력 선택도가 25%를 넘어서는 구간에서는 오히려 손해가 될 수 있음을 정량적으로 규명하였다.

본 논문의 제1저자인 황순 박사과정은 “스토리지 측 연산의 효용성은 꾸준히 제기되어 왔으나, 정작 스토리지 시스템 내부의 자원을 충분히 활용하지 못하는 상황이 지속되어 왔습니다. 저희는 이를 스토리지 내부의 어느 계층에서 실행을 끊을 것인가라는 배치 문제로 다시 정의함으로써, 인클로저부터 스토리지 서버에 이르는 계층별 자원을 실제로 쓰이게 만들고자 했습니다. 그 결과 지금까지 드러나지 않았던 내부 데이터 이동이라는 병목을 해결할 수 있었습니다. 지도해 주신 김영재 교수님, 함께 연구해 주신 SK하이닉스 연구진과 Los Alamos National Laboratory 연구진께 감사드립니다.” 라고 소감을 전했다.

The International Conference for High Performance Computing, Networking, Storage, and Analysis (SC)는 1988년 창설 이후 고성능 컴퓨팅(HPC) 분야의 연구자, 시스템 설계자, 산업계 전문가가 모여 컴퓨팅과 스토리지, 데이터 분석의 최신 성과를 공유해 온 세계 최고 권위의 국제 학술대회이다. 매년 엄격한 동료 평가를 거쳐 낮은 채택률을 유지하는 최우수 학회로, 본 학회는 올해 11월 15일부터 20일까지 미국 시카고 McCormick Place에서 개최될 예정이며, 채택된 정규 연구 논문은 기술 프로그램(Technical Program)에서 발표된다.

참고 자료:

- The 38th International Conference for High Performance Computing, Networking, Storage, and Analysis (SC '26)

- Website : https://sc26.supercomputing.org/