DeepSparse - 방사선 피폭의 위험, AI 파운데이션 모델은 어떻게 3D 의료 영상의 한계를 극복했는가?

일러두기 (Disclaimer)

본 글은 AI의 도움을 받아 작성되었습니다. 최대한 정확한 정보를 전달하기 위해 검수를 거쳤으나, AI 모델의 특성상 내용에 일부 오류나 부정확한 정보가 포함될 수 있습니다. 따라서 실제 논문의 상세한 수식이나 실험 세부 조건 등은 반드시 원문을 직접 확인하시기 바랍니다.

 

 

논문 링크 : https://arxiv.org/abs/2505.02628

DeepSparse: A Foundation Model for Sparse-View CBCT Reconstruction

 

 

초록 (Abstract)

콘빔 컴퓨터 단층촬영(Cone-Beam Computed Tomography, CBCT)은 의료 분야에서 필수적인 3D 이미징 기술입니다. 하지만 고품질의 이미지를 얻기 위해 요구되는 높은 방사선 노출은 특히 소아 환자나 임산부와 같은 취약 계층에게 심각한 우려를 낳고 있습니다. 희소 뷰 재구성(Sparse-view reconstruction)은 이미지 품질을 유지하면서 X-선 투영(projection) 횟수를 줄여 방사선 피폭을 감소시키는 기술입니다. 그러나 기존 방법론들은 높은 연산량을 요구하거나 다양한 데이터셋에 대한 범용성(generalizability)이 부족하다는 한계에 직면해 있습니다.

이러한 한계를 극복하기 위해, 본 연구에서는 희소 뷰 CBCT 재구성을 위한 최초의 파운데이션 모델(Foundation Model)인 DeepSparse를 제안합니다. 이 모델은 다중 뷰(multi-view) 2D 특징과 다중 스케일(multi-scale) 3D 특징을 통합하는 새로운 네트워크인 DiCE(Dual-Dimensional Cross-Scale Embedding)를 특징으로 합니다. 추가적으로, 희소 뷰와 밀집 뷰(dense-view) 투영이 모두 포함된 대규모 데이터셋에서 모델을 사전 학습(pretraining)하는 HyViP(Hybrid View Sampling Pretraining) 프레임워크와, 새로운 데이터셋에 모델을 적응시키고 세밀하게 조정하는 2단계 미세 조정(two-step finetuning) 전략을 도입합니다.

광범위한 실험과 절제 연구(ablation study) 결과, 제안된 DeepSparse는 기존 최고 수준(state-of-the-art)의 방법론들과 비교하여 월등히 우수한 재구성 품질을 달성하였으며, 보다 안전하고 효율적인 CBCT 이미징을 위한 새로운 길을 열었습니다. 관련 코드는 GitHub를 통해 공개됩니다.

 

1. 한줄 요약 & 3줄 핵심 (Executive Summary)

의료 현장의 오랜 숙원이었던 방사선 피폭 감소 문제를 해결하기 위해, 딥러닝 파운데이션 모델을 활용하여 단 6장의 엑스레이 투영 이미지만으로 고해상도 3D 구조를 완벽에 가깝게 복원해 낸 혁신적인 접근법을 제시합니다.

1. 기존의 문제점 (Pain point): 기존 3D CT 재구성 인공지능 모델들은 막대한 연산 자원을 소모하며, 특정 해부학적 구조에만 종속되어 범용성이 떨어졌습니다. 또한 데이터가 극도로 제한된 환경에서는 치명적인 노이즈를 발생시켰습니다.
   
2. 이 논문의 해결책 (Solution): 대규모 CT 데이터셋을 활용해 X-선 투영의 물리적 원리를 보편적으로 사전 학습하는 하이브리드 샘플링(HyViP) 기법을 도입하고, 2D 디코더를 제거하여 연산 효율을 극대화한 DiCE 아키텍처를 제안했습니다.
3. 달성한 성과 (Key Result): 이전 최고 성능 모델 대비 파라미터 수를 7분의 1 수준으로 감축하고 재구성 속도를 7배 이상 향상시켰으며, 흉부, 무릎, 골반 등 다양한 부위에서 최고의 해상도 및 구조적 유사도를 달성했습니다.

 

2. 들어가며: 왜 이 연구가 필요했나? (The "Why")

의료 영상 기술의 발달은 현대 의학의 진단을 혁신적으로 바꾸어 놓았습니다. 그중에서도 컴퓨터 단층촬영(CT)은 인체 내부의 해부학적 구조를 3차원으로 시각화하는 데 있어 가장 중요한 역할을 수행합니다. 일반적인 팬빔(Fan-beam) CT와 달리, 방사선원이 원뿔 형태로 넓게 퍼져나가는 콘빔 컴퓨터 단층촬영(Cone-Beam Computed Tomography, CBCT)은 단 한 번의 회전만으로도 넓은 시야각을 확보할 수 있어 스캔 속도가 빠르고 공간 해상도가 높다는 장점을 가집니다. 이러한 특성 덕분에 치과 진료, 정형외과 수술 가이드, 방사선 치료 중 환자의 실시간 위치 확인(Image-guided surgery) 등 다양한 임상 현장에서 필수적인 장비로 자리 잡았습니다.

 

하지만 CBCT가 제공하는 고품질의 3D 이미지는 환자에게 심각한 딜레마를 안겨줍니다. 선명한 3D 볼륨 데이터를 얻기 위해서는 환자의 신체 주위를 회전하며 수백 장의 2D X-선 투영 이미지를 획득해야 합니다. 이는 필연적으로 환자에게 다량의 전리 방사선 피폭을 유발합니다. 임상 현장에서는 소아 환자나 임산부 등 방사선 노출에 민감한 취약 계층의 피폭 위험을 최소화해야 한다는 강력한 요구가 지속적으로 제기되어 왔습니다.

 

이러한 배경에서 등장한 개념이 바로 '희소 뷰 재구성(Sparse-View Reconstruction)'입니다. 환자 주위를 회전하며 360장의 사진을 찍던 것을 50장, 나아가 10장 이하로 극단적으로 줄이면서도 진단에 무리가 없는 화질을 유지하려는 시도입니다. 그러나 획득하는 데이터의 양을 줄이면, 제한된 2D 투영 이미지로부터 온전한 3D 구조를 역산해 내는 과정은 수학적으로 해가 여러 개 존재할 수 있는 불량 조건 역문제(Ill-posed inverse problem)가 됩니다. 학계는 이 문제를 해결하기 위해 다양한 방법을 고안해 왔으나, 각각 뚜렷한 한계점을 지니고 있었습니다.

 

첫 번째 흐름은 전통적인 분석적, 반복적 재구성 알고리즘입니다. FDK(Feldkamp-Davis-Kress) 알고리즘과 같은 필터 역투영(Filtered Back Projection) 기법이나 SART(Simultaneous Algebraic Reconstruction Technique)와 같은 반복적 기법은 데이터가 충분할 때는 훌륭하게 작동합니다. 하지만 투영 횟수가 50회 미만으로 떨어지면, 뷰와 뷰 사이의 정보 공백을 메우지 못해 이미지 전체에 심각한 줄무늬 아티팩트(Streaking artifact)가 발생하며 임상적 가치를 상실합니다.

 

두 번째 흐름은 2D 이미지 도메인에서의 딥러닝 적용입니다. 불완전한 알고리즘으로 만들어진 노이즈가 많은 저화질 2D 단면 이미지를 먼저 생성한 뒤, U-Net이나 DenseNet과 같은 합성곱 신경망(CNN)을 사용하여 노이즈를 제거하는 방식입니다. 하지만 이 방식은 2D 평면 단위로만 연산을 수행하므로, 3D 공간상에서 혈관이나 뼈가 이어지는 해부학적 연속성을 보장하지 못합니다.

 

세 번째 흐름은 자기 지도 학습 및 암시적 신경망 표현(Implicit Neural Representation, INR)입니다. 최근 3D 컴퓨터 비전에서 혁명을 일으킨 NeRF(Neural Radiance Fields)의 개념을 차용하여, 3D 공간의 특정 좌표를 입력하면 그 위치의 방사선 감쇠 계수(Attenuation coefficient)를 출력하는 연속 함수로 3D CT를 모델링하는 방식(NAF, NeRP 등)이 등장했습니다. 이 방법은 외부 데이터 없이 환자 본인의 투영 이미지만으로 스스로 최적화(Per-sample optimization)를 수행합니다. 하지만 환자 한 명의 이미지를 재구성하는 데 수십 분에서 수 시간이 소요되어 응급 상황에 부적합하며, 뷰(View)의 개수가 10개 이하로 극도로 적어지면 형태를 유추할 사전 지식(Prior knowledge)이 내재되어 있지 않아 구조를 제대로 복원하지 못합니다.

 

마지막으로 등장한 흐름이 대규모 데이터 구동형 모델(Data-driven methods)입니다. DIF-Net이나 $C^2RV$와 같은 모델들은 수백 명의 환자 데이터로부터 희소 뷰 투영과 3D 볼륨 사이의 매핑 관계를 사전에 학습합니다. 하지만 이 모델들은 투영 뷰의 개수가 늘어날수록 연산량이 기하급수적으로 증가하는 무거운 구조를 가졌으며, 특정 부위(예: 무릎)에 학습된 모델은 다른 부위(예: 흉부)에 적용할 때 성능이 무너지는 치명적인 범용성(Generalizability) 부족 문제를 안고 있었습니다.

 

본 연구진은 여기서 근본적인 질문을 던졌습니다. 자연어 처리 분야의 거대 언어 모델(LLM)이나 컴퓨터 비전의 범용 모델처럼, X-선이 인체를 통과하여 3D 구조를 형성하는 일반적인 '물리적 규칙' 자체를 거대한 데이터로 사전 학습한 파운데이션 모델(Foundation Model)을 만들 수는 없을지에 대한 고민입니다. 특정 장기에 국한되지 않고 다양한 인체 구조를 미리 이해하고 있다면, 단 몇 장의 엑스레이 이미지만 주어지더라도 생략된 해부학적 구조를 인공지능이 스스로 채워 넣을 수 있을 것이라는 공감대가 형성되었고, 이러한 목표 아래 DeepSparse가 탄생하게 되었습니다.

 

3. 이 논문의 뿌리 (Key Reference)

이 논문은 의료 영상 재구성 분야에서 암시적 신경망 표현(INR)을 발전시켜 온 여러 선행 연구들의 철학을 비판적으로 계승하고 있습니다. DeepSparse가 탄생하기까지 가장 결정적인 영감을 제공하고, 동시에 극복의 대상이 되었던 핵심 논문들의 관계를 정리합니다.

 

다음은 DeepSparse의 뿌리가 되는 핵심 선행 연구들과의 관계입니다.

• NAF (2022)
  • 핵심 개념 및 한계점: 자기 지도 학습 기반의 암시적 신경망 표현(INR)을 CBCT에 최초로 도입했습니다. 외부 데이터 없이 테스트 샘플만으로 최적화합니다. 연산 시간이 너무 오래 걸리고, 10뷰 이하에서는 사전 지식 부족으로 형태 복원에 실패합니다.
  • DeepSparse에서의 계승 및 보완: INR 개념을 차용하여 3D 좌표에 대한 연속적인 감쇠 계수를 예측하는 방식을 유지했습니다. 단, 속도와 극희소 뷰 문제를 해결하기 위해 대규모 외부 데이터 사전 학습으로 방향을 전환했습니다.
• DIF-Net (2023)
  • 핵심 개념 및 한계점: 대규모 데이터 기반의 지도 학습 INR 모델입니다. 2D 특징을 추출한 뒤, 3D 좌표에 해당하는 각 뷰의 특징을 가져와 융합합니다. 단순한 지역적 특징에만 의존하여 복잡한 흉부 구조 등에서 성능이 저하되는 한계가 있었습니다.
  • DeepSparse에서의 계승 및 보완: 대규모 데이터를 통한 사전 학습이라는 데이터 구동형 철학을 계승했습니다. 지역적 특징에만 의존하는 문제를 해결하기 위해 2D 특징뿐만 아니라 다중 스케일 3D 특징을 결합하는 방식을 채택했습니다.
• $C^2RV$ (2024)
  • 핵심 개념 및 한계점: DIF-Net의 단점을 보완하기 위해 2D 특징을 3D 공간으로 역투영하여 다중 스케일의 3D 볼륨(MS-3DV)을 구축하고 교차 어텐션을 적용했습니다. 성능은 압도적이나 2D 디코더로 인해 파라미터가 50.8M에 달해 비효율적입니다.
  • DeepSparse에서의 계승 및 보완: $C^2RV$의 다중 스케일 3D 역투영 개념을 직접적인 백본으로 사용했습니다. 하지만 무거운 연산량을 유발하는 2D 디코더를 완전히 제거하고 3D 특징 임베딩에 집중하는 구조적 혁신을 이뤄냈습니다.

DeepSparse는 위 세 가지 연구의 장점만을 취합했습니다. NAF의 연속 함수 기반 3D 표현 방식, DIF-Net의 데이터 구동형 초고속 추론 개념, 그리고 $C^2RV$의 3D 공간상 다중 스케일 정보 결합 능력을 하나로 엮어냈습니다. 특히 $C^2RV$ 구조를 기반으로 하면서도 어떻게 무거운 부분을 덜어내고 효율성을 극대화했는지가 본 논문의 가장 큰 차별점입니다.

 

4. 핵심 아이디어: 무엇이 다른가? (The "Aha!" Moment)

가장 중요한 혁신은 "범용적 지식의 분리 및 주입"과 "비대칭적 학습 구조"에 있습니다.

 

기존의 의료 AI 연구 방식은 특정 질환이나 특정 신체 부위의 데이터만 집중적으로 학습하는 구조였습니다. 무릎 데이터로 학습한 모델에 흉부 엑스레이를 입력하면 모델은 심각한 오류를 발생시킵니다. DeepSparse는 이러한 한계를 넘기 위해 거대 파운데이션 모델의 철학을 차용합니다.

 

발상의 전환 1: 파운데이션 모델과 하이브리드 뷰 샘플링 (HyViP)

의료 영상에서 정답 역할을 하는 고품질 3D CT 데이터는 구축하기가 매우 어렵습니다. 연구진은 전 세계 26개 병원에서 수집된 복부, 흉부, 두부 등을 아우르는 대규모 CT 데이터셋(AbdomenAtlas-8K)을 기반으로, X-선이 인체를 통과하며 감쇠되는 보편적인 물리적 규칙과 인체 해부학의 일반적인 구조를 모델에 사전 학습시킵니다.

 

여기서 제안된 하이브리드 샘플링(Hybrid View Sampling)은 매우 창의적인 훈련 방식입니다. 마치 교사가 학생을 훈련시킬 때 일부러 어려운 환경을 조성하는 것과 같습니다. 모델에게 문제를 출제할 때는 단 6장의 엑스레이(희소 뷰)만 입력하여 2D 특징을 추출하게 합니다. 하지만 이 특징들을 모아 3D 구조를 형성할 때, 모델 내부의 정답 기준(코드북)은 24장의 엑스레이(밀집 뷰)로 꽉 채워 학습된 고품질의 3D 특징을 사용하도록 강제합니다. 즉, "입력은 부족하게 주되, 목표는 완벽한 상태를 지향하게 만드는" 비대칭 구조를 통해, 모델 스스로 누락된 해부학적 정보를 추론하고 보완하는 능력을 극대화합니다.

 

발상의 전환 2: 2D 디코더의 과감한 삭제 (DiCE 아키텍처)

이전의 SOTA 모델인 $C^2RV$는 입력된 2D 엑스레이 이미지의 특징을 추출(인코딩)한 뒤, 이를 다시 2D 이미지 해상도로 복원(디코딩)하는 과정을 거쳤습니다. 이 복원된 고해상도 2D 특징들을 3D 공간으로 쏘아 올리다 보니, 뷰의 개수가 늘어나면 연산량과 메모리 사용량이 폭발적으로 증가했습니다.

 

DeepSparse는 구조적 다이어트를 결심합니다. 어차피 최종 결과물이 3D 좌표 공간에서의 밀도값이므로, 2D 단계에서 원래의 해상도로 픽셀을 복원하는 무거운 과정을 생략하고 의미론적 특징(Semantic feature)만 압축된 상태로 바로 3D 공간에 넘기기로 한 것입니다.

 

이전 방식이 입력 $\rightarrow$ 2D 특징 압축 $\rightarrow$ 2D 특징 복원 $\rightarrow$ 3D 역투영 $\rightarrow$ 3D 연산의 복잡한 5단계였다면, DeepSparse는 입력 $\rightarrow$ 2D 특징 압축 $\rightarrow$ 3D 역투영 $\rightarrow$ 3D 연산의 4단계로 흐름 단축했습니다. 이 단순한 발상의 전환이 연산 파라미터를 7분의 1로 줄이면서도 성능을 오히려 향상시키는 마법을 부렸습니다.

 

5. 작동 원리: 어떻게 돌아가는가? (The "How")

DeepSparse의 핵심 아키텍처인 DiCE(Dual-Dimensional Cross-Scale Embedding)를 통해 실제 데이터가 입력되어 3D 볼륨으로 완성될 때까지의 흐름(Flow)을 단계별로 살펴봅니다. 복잡한 수식 대신 데이터의 이동 경로에 집중합니다.

 

Step 1: 다중 스케일 투영 인코딩 (Multi-Scale Projection Encoding)

먼저 환자를 촬영한 N장(예: 6장)의 2D 엑스레이 투영 이미지가 모델에 들어옵니다. 이 이미지들은 2D 합성곱 신경망(CNN) 인코더를 통과합니다. 인코더는 이미지의 크기를 절반씩 줄여나가는 다운샘플링(Downsampling)을 여러 번 수행합니다. 이 과정을 통해 원본 이미지의 미세한 질감을 담은 큰 특징 맵부터, 장기의 전체적인 뼈대와 위치 정보를 담은 작고 압축된 특징 맵까지 다양한 크기(Multi-scale)의 2D 정보가 추출됩니다. 앞서 언급했듯, 이 압축된 정보들을 다시 펼치는 디코딩 과정은 수행하지 않습니다.

 

Step 2: 저해상도 3D 공간으로의 역투영 (Back-Projection to 3D Space)

이제 2D 평면에 맺힌 특징들을 환자의 신체가 존재하는 3D 가상 공간(Voxelized space)으로 되돌려 보냅니다. 이를 역투영(Back-projection)이라고 합니다. 3D 공간을 수많은 작은 큐브(Voxel) 블록으로 쪼갭니다. 특정 큐브 블록 하나를 선택하면, 1번 엑스레이, 2번 엑스레이,... N번 엑스레이가 각각 이 큐브 블록을 어느 지점에서 투과했는지 기하학적으로 추적할 수 있습니다. 모델은 각 엑스레이 특징 맵의 해당 위치에서 정보들을 수집한 뒤, 그중 가장 두드러지는 정보(Max-pooling)를 골라 큐브 블록의 대표값으로 설정합니다. 이 작업이 다양한 스케일에서 수행되어, 해상도가 다른 여러 개의 3D 볼륨 특징 덩어리가 만들어집니다.

 

Step 3: 교차 스케일 3D 특징 임베딩 및 벡터 양자화 (Cross-Scale 3D Feature Embedding)

역투영된 3D 특징들은 아직 거칠고, 엑스레이가 투과하지 못한 사각지대 때문에 노이즈가 많습니다. 모델은 3D 디코더를 사용하여 이 덩어리들을 결합하고 정교하게 다듬습니다. 이 단계의 핵심은 코드북(Codebook)을 활용한 벡터 양자화(Vector Quantization)입니다. 모델 내부에는 수만 번의 학습을 통해 구축된 '정상적인 인체 조직의 3D 패턴 사전(Codebook)'이 존재합니다. 6장이라는 희소한 입력 때문에 뼈의 단면이 뭉개지거나 노이즈가 발생한 3D 특징이 들어오면, 모델은 사전을 뒤져 가장 유사하게 생긴 깨끗한 정상 패턴(표준 벡터)으로 해당 영역을 교체해버립니다. 전문가들이 노이즈를 정상 구조로 착각하지 않도록, 강제로 깨끗한 지식 조각을 끼워 넣는 과정입니다.

 

Step 4: 좌표 기반 밀도 예측 (Point Decoder)

최종적으로 완전한 3D 이미지를 생성하기 위해, 3D 공간상에 무수히 많은 점(Point)을 찍습니다. 특정 점 좌표를 주면, 모델은 Step 1에서 만든 2D 특징 맵(해당 점을 관통하는 픽셀 정보)과 Step 3에서 만든 3D 특징(해당 점 주변의 공간 정보)을 동시에 가져옵니다. 이 정보들을 다층 퍼셉트론(MLP)이라는 함수에 넣으면, 최종적으로 그 지점의 방사선 감쇠 계수(Attenuation coefficient, 엑스레이가 통과하지 못하는 정도, 즉 이미지 상의 밝기 값)를 예측합니다. 이 예측을 공간 전체에 대해 수행하면 완벽한 해상도의 3D CT 볼륨이 렌더링됩니다.

 

6. 작동 원리: 어떻게 학습하는가? (The "How")

DeepSparse는 파운데이션 모델의 철학에 따라 방대한 데이터로 보편적 규칙을 익히는 사전 학습(Pretraining)과, 실제 현장의 데이터에 맞게 최적화하는 미세 조정(Finetuning)의 2단계 구조로 학습됩니다.

 

학습 데이터의 형태와 수량

모델의 학습에는 실제 환자의 3D CT 데이터와 이를 기반으로 생성된 시뮬레이션 투영 이미지가 사용됩니다.

 

다음은 학습 과정에 사용된 데이터의 특성입니다.

• 입력 데이터: 디지털 재구성 방사선 사진(DRR)을 통해 가상으로 렌더링한 2D 엑스레이 투영 이미지 시퀀스입니다. 실제 병원 환경을 모사하기 위해 포아송 노이즈(양자 노이즈)와 가우시안 노이즈가 인위적으로 추가되었습니다. (예: $256 \times 256$ 픽셀 크기의 무릎 엑스레이 6장 묶음, 포아송 노이즈 적용)
• 출력 데이터: 예측해야 하는 정답(Ground Truth)으로, 3차원 복셀 그리드 상의 방사선 감쇠 계수 배열입니다. 연속 함수 모델이므로 임의의 해상도로 렌더링이 가능합니다. (예: $256 \times 256 \times 256$ 형태의 고해상도 무릎 3D CT 볼륨 밀도값 )
• 사전 학습셋: AbdomenAtlas-8K 데이터셋입니다. 전 세계 26개 병원에서 수집된 복부, 골반, 흉부, 무릎 등을 포괄하는 다기관 대규모 데이터이며, 축 방향으로 크기를 잘라 약 8,407개의 서브 볼륨으로 구축되었습니다. (예: 다양한 기기에서 촬영된 해부학적 변형이 포함된 8,000여 개의 CT 볼륨)
• 타겟 데이터셋: 각 임상 환경 목적에 맞는 중소 규모 데이터입니다. LUNA16(흉부), PANORAMA(복부), PENGWIN(골반), ToothFairy(두부 치아) 등이 사용됩니다. (예: LUNA16 흉부 데이터 738 세트)

 

사전 학습 과정 (HyViP)

사전 학습의 목표는 어떠한 부위의 엑스레이가 들어와도 특징을 잘 뽑아내는 범용 2D 인코더와, 이를 3D로 잘 조합하는 사전(Codebook)을 만드는 것입니다. 매 훈련 루프마다 모델은 최소 6장에서 최대 24장 사이의 무작위 개수로 구성된 희소 뷰(Sparse views)를 입력받아 2D 특징을 추출합니다. 그러나 3D 구조를 조립하고 양자화할 때는 항상 가장 정보가 많은 24장으로 구성된 밀집 뷰(Dense views) 정보를 함께 생성하여 비교 대상으로 삼습니다. 이를 통해 모델은 적은 수의 입력만으로도 밀집 뷰에 준하는 풍부한 3D 특징을 추론해 내도록 가혹하게 훈련됩니다.

 

2단계 미세 조정 (Two-Step Finetuning)

대규모 데이터로 물리적 투영 규칙을 마스터한 모델은 특정 병원이나 프로젝트의 타겟 데이터에 맞게 최적화됩니다. 이 과정은 두 단계로 나뉩니다.

1. 데이터 적응(Dataset Adaptation): 특정 타겟 데이터셋(예: LUNA16 흉부)의 픽셀 값 분포나 기기별 방사선 강도 특성이 다르므로, 파운데이션 모델의 2D 인코더 가중치를 풀어두고 전체 모델을 가볍게 재학습시켜 새로운 환경에 적응시킵니다.
2. 뷰 개수 조정 및 디노이징 (View Adjustment & Denoising): 만약 실제 병원 환경이 단 6장의 엑스레이만 허용한다면, 모델은 6장에 맞게 튜닝되어야 합니다. 사전 학습에서 24장 기준으로 만들어진 3D 코드북과 6장 입력 사이에는 정보 불균형이 발생합니다. 이를 해결하기 위해 2D 인코더를 동결(Frozen)시키고, 얕은 3D 합성곱 신경망으로 구성된 디노이징 레이어(Denoising layer)를 도입합니다. 이 레이어는 6장짜리 엉성한 3D 데이터가 들어오면 24장짜리 고품질 데이터의 형태로 복원하도록 디노이징 손실 함수(Denoise loss)를 통해 훈련됩니다.

 

7. 결과: 얼마나 좋아졌나? (Results)

DeepSparse는 LUNA16(흉부), 무릎 데이터, ToothFairy(두상), PANORAMA(복부), PENGWIN(골반) 등 다양한 신체 부위를 대상으로 한 실험에서 기존 방법론들을 압도하는 성과를 거두었습니다.

 

최고 수준(SOTA) 달성 및 정량적 평가

과거의 필터 역투영(FDK) 방식이나 자기 지도 학습 방식(NAF)은 6뷰 또는 8뷰와 같은 극도로 데이터가 부족한 환경에서 이미지를 거의 형상화하지 못했습니다. 하지만 데이터를 기반으로 사전 학습된 DeepSparse는 기존 SOTA 데이터 구동형 모델들을 가볍게 뛰어넘었습니다.

 

다음 표는 6뷰 입력 조건에서 주요 모델들의 재구성 화질 지표(PSNR/SSIM)를 비교한 결과입니다. PSNR(최대 신호 대 잡음비)과 SSIM(구조적 유사도)은 높을수록 원본 고화질 CT와 유사함을 의미합니다.

데이터셋	모델	PSNR (dB)	SSIM (x10^-2)
LUNA16 (흉부)	$C^2RV$ (이전 최고 모델)	29.23	87.47
	DeepSparse (제안 모델)	30.22	89.96
Knee (무릎)	DIF-Net (이전 주요 모델)	27.12	80.74
	$C^2RV$ (이전 최고 모델)	29.73	88.87
	DeepSparse (제안 모델)	33.16	91.28

표에서 보듯, 폐 혈관 등 복잡한 미세 구조가 많은 흉부에서도 성능이 1.0 dB 이상 상승했으며, 뼈와 연골의 대비가 뚜렷한 무릎 데이터에서는 무려 3.4 dB 이상이라는 비약적인 화질 개선을 이루어냈습니다. 단순한 픽셀 단위 비교를 넘어 시각적 정보의 신뢰성을 평가하는 VIF(Visual Information Fidelity) 지표에서도 DeepSparse는 타 모델 대비 높은 점수를 기록하여, 임상 전문의의 육안 평가와 가장 부합하는 고품질 이미지를 생성함을 입증했습니다.

 

속도 및 파라미터 효율성의 혁신

화질보다 더욱 놀라운 것은 모델의 크기와 연산 속도입니다. 앞서 언급한 '2D 디코더 생략'이라는 구조적 혁신 덕분입니다.

• 파라미터 수 감소: 이전 SOTA 모델인 $C^2RV$가 약 50.8M(5080만) 개의 거대한 파라미터를 요구했던 반면, DeepSparse는 불과 7.2M(720만) 개로 파라미터 수를 7분의 1 이하로 축소했습니다.
• 초고속 추론: $256 \times 256 \times 256$ 해상도의 3D 이미지를 생성하는 데 $C^2RV$가 약 23.8초를 소모했던 반면, DeepSparse는 단 3.1초 만에 렌더링을 완료했습니다. 이는 무려 7.6배 빨라진 속도로, 실제 응급 수술 환경에서 환자가 수십 초씩 대기할 필요 없이 즉각적인 3D 가이드를 제공받을 수 있음을 시사합니다.

 

임상적 유효성 및 실패 케이스

연구진은 단순히 화질 지표만 비교한 것이 아니라, 생성된 3D CT가 실제 임상에서 쓰일 수 있는지 확인하기 위해 '자동 장기 분할(Automated Segmentation)' 테스트를 수행했습니다. 원본 고화질 CT와 6뷰 DeepSparse CT 각각에 장기 분할 모델을 돌려 일치율(Dice score)을 평가한 결과, 흉부와 무릎 모두에서 96.8% 이상의 일치도를 보이며 정밀한 부피 측정이나 수술 계획 수립에 충분히 활용 가능함을 증명했습니다.

 

그러나 완벽해 보이는 이 모델에도 약점은 존재했습니다. 논문은 금속 임플란트(Metal Implants)가 포함된 환자의 스캔 결과를 실패 케이스로 투명하게 공개합니다. 수술용 스테이플러나 작은 나사(Screw)처럼 인접 뼈 구조를 크게 훼손하지 않는 소형 금속에 대해서는 준수한 복원력을 보였습니다. 하지만 인공 관절 전치환술(Total joint replacements)과 같이 기존 뼈의 구조를 완전히 대체하는 거대한 금속 보형물이 삽입된 경우, 모델은 인접 뼈와 금속의 경계를 제대로 재구성하지 못하고 형체가 무너지는 결과를 보였습니다. 이는 엑스레이가 금속을 통과하며 발생하는 강한 빔 경화(Beam hardening) 현상 때문이며, 파운데이션 모델의 훈련 데이터 분포 내에 이러한 특수한 인공물의 기하학적 형상이 충분히 포함되지 않았기 때문입니다. 이는 향후 모델 개선을 위해 명확히 극복해야 할 과제로 남았습니다.

 

8. 이 논문의 계보와 발전 (Impact & Follow-ups)

DeepSparse가 보여준 '파운데이션 모델 기반의 의료 영상 재구성' 철학은 2025년과 2026년 의료 인공지능 학계에 큰 파장을 일으키며 새로운 연구 흐름을 주도하고 있습니다.

 

딥러닝 초창기의 단일 과제(Single-task) 학습 방식에서 벗어나, 범용성을 확보한 거대 모델 하나를 다양하게 변형하여 사용하는 트렌드로 전환된 것입니다. 이 논문 이후 등장한 주요 후속 연구와 발전 방향은 다음과 같습니다.

• X-GRM (2025): 복셀에서 3D 가우시안 스플래팅으로의 진화 DeepSparse가 암시적 함수와 3D 복셀(Voxel) 그리드를 사용하여 볼륨을 렌더링했다면, 최근에는 컴퓨터 그래픽스 분야의 혁명인 3D 가우시안 스플래팅(3D Gaussian Splatting)을 도입한 모델들이 등장하고 있습니다. X-GRM(Large Gaussian Reconstruction Model) 모델은 DeepSparse의 대규모 데이터 사전 학습 철학을 계승하면서도, 표현 방식을 VoxGS(Voxel-based Gaussian Splatting)로 교체했습니다. 이는 미분 가능한 X-선 렌더링(Differentiable X-ray rendering)을 지원하여 학습 과정에 물리적 제약을 직접 추가할 수 있게 만들었으며, DeepSparse의 빠른 속도를 뛰어넘어 1초 이내에 CT 볼륨을 추론하는 극강의 속도를 달성했습니다. 이러한 가우시안 모델들은 DeepSparse가 직면했던 연산 최적화의 한계를 다른 차원으로 우회하여 해결하고 있습니다.
• VISTA3D (2025): 통합 세그먼테이션 파운데이션 모델 NVIDIA 등이 발표한 VISTA3D는 11,454개의 CT 볼륨을 기반으로 학습하여 무려 127종의 인체 해부학적 구조와 병변을 분할(Segmentation)할 수 있는 범용 모델입니다. DeepSparse와 같은 모델이 희소 뷰로부터 깨끗한 3D 구조(도화지)를 초고속으로 복원해 내면, 그 결과물을 VISTA3D 파이프라인으로 연결하여 사용자의 클릭(Point prompt) 한 번에 종양이나 장기 영역을 정확하게 분리해 내는 상호작용형 임상 워크플로우가 구성됩니다.
• AnyMC3D 및 다중 모달리티 융합 (2026): 영상 재구성 모델의 출력물은 단순 시각화를 넘어 진단 모델의 입력으로 곧바로 이어집니다. 2026년에 발표된 AnyMC3D와 같은 모델은 3D 의료 영상 분류를 위한 경량 파운데이션 모델로, 단 1M개의 파라미터 플러그인만 추가하여 새로운 질환 분류 작업에 즉각 적응합니다. 또한 텍스트 지시어를 이해하는 Vision-Language Model(VLM)과의 결합 시도가 늘어나면서, "무릎 관절의 미세 골절 부위를 중심으로 CT를 재구성해 줘"와 같은 명령이 가능해지는 융합 생태계로 발전하고 있습니다.

이러한 후속 연구들은 모두 DeepSparse가 증명한 "대규모 데이터를 통한 3D 해부학적 사전 지식(Prior knowledge)의 학습"이라는 개념 위에서 꽃피우고 있으며, 3D 의료 이미징 파운데이션 모델 생태계 확장의 튼튼한 토대가 되었습니다.

 

9. 마무리

DeepSparse 모델의 등장은 단순히 논문 상의 지표 몇 점이 올랐음을 의미하지 않습니다. "모든 부위, 모든 질환마다 각기 다른 네트워크를 바닥부터 훈련해야 하는가?"라는 의료 AI의 오랜 딜레마에 대해, "거대 데이터로 인체의 3D 물리 규칙을 통째로 학습시킨 하나의 파운데이션 모델이 정답이 될 수 있다"는 강력한 증명을 제시한 연구입니다.

 

본 모델은 3D 컴퓨터 비전과 방사선 영상의학 사이의 가교 역할을 훌륭히 수행했으며, 특히 연산량을 극단적으로 덜어낸 DiCE 아키텍처와 비대칭 훈련 방식인 HyViP의 결합은 딥러닝 최적화 관점에서도 배울 점이 많습니다.

 

실무에 적용할 때 고려해야 할 핵심 인사이트 및 주의점

1. 하드웨어 접근성의 혁신: 과거의 무거운 의료 AI 모델들은 막대한 GPU 메모리를 요구하여 개별 병원 도입이 사실상 불가능했습니다. DeepSparse는 거대한 파운데이션 모델을 처음 구축하는 사전 학습(Pretraining) 단계에서는 4대의 상용 GPU(RTX 3090)와 배치 크기 16의 연산 자원이 필요합니다. 하지만 일단 완성된 모델을 각 병원의 특수한 환경에 맞게 최적화하는 미세 조정(Finetuning) 단계에서는 단 1대의 GPU(RTX 3090)와 배치 크기 2만으로도 무리 없이 훈련이 가능합니다.  더불어 파라미터 크기 역시 7.2M개에 불과하여, 소규모 병원이나 대학 연구실에서도 거창한 인프라 구축 없이 자신들만의 타겟 데이터에 맞춰 파운데이션 모델을 쉽게 튜닝하고 배포할 수 있는 획기적인 실용성을 담보합니다.
2. 소규모 데이터로도 충분한 전이 학습: 희귀 질환 코호트나 특정 인종의 뼈 구조 데이터처럼 구축하기 힘든 환경에서도, DeepSparse의 사전 학습된 가중치를 활용하면 타겟 데이터의 단 20%만 투입하더라도 기존 모델이 100% 데이터를 썼을 때와 맞먹는 성능을 냅니다. 라벨링 비용과 데이터 수집 시간을 대폭 절감할 수 있습니다.
3. 도메인 이동(Domain Shift) 극복 과제: 이 기술을 현장에 도입하려는 엔지니어라면 논문에서 제기된 '시뮬레이션 환경의 한계'를 반드시 인지해야 합니다. 본 연구의 훈련과 검증은 고화질 CT 볼륨에서 알고리즘으로 가상 생성한 DRR 투영 이미지를 기반으로 이루어졌습니다. 실제 병원의 CBCT 스캐너에서 나오는 Raw 엑스레이 데이터는 기계적 진동, 광자 산란(Scattering), 센서 결함 등으로 인해 시뮬레이션 환경보다 훨씬 복잡하고 가혹한 노이즈 분포를 가집니다. 따라서 실제 기기 탑재 전에는 벤더(장비 제조사)들과의 협력을 통해 현실의 엑스레이 스캔 데이터로 모델을 보정하는 추가 검증 절차가 필수적입니다.
4. 금속 임플란트에 대한 취약성 보완: 앞서 언급한 대형 인공 관절 주변부의 아티팩트 발생 문제는 정형외과 및 치과 임상 환경에서 치명적인 단점으로 작용할 수 있습니다. 이를 해결하기 위해 향후 모델 파이프라인에 인공 관절의 기하학적 형태나 파라미터를 '사전 지식(Geometric prior)' 템플릿 형태로 명시적으로 주입하는 형태의 발전 방향이 요구됩니다.

결론적으로, DeepSparse는 환자의 방사선 피폭에 대한 두려움을 덜어주고 응급 수술 중 실시간 3D 영상 가이드를 가능하게 하는 차세대 영상의학의 기반 기술입니다. 이 파운데이션 모델이 다양한 후속 연구들과 결합하여, 임산부나 소아 환자들이 방사선 걱정 없이 빠르고 정확하게 진단을 받을 수 있는 의료 환경을 조속히 앞당기기를 기대합니다.