LEARN: Learned Experts' Assessment-based Reconstruction Network - 딥러닝을 통한 반복 재구성 알고리즘의 구조적 전개와 희소 데이터 CT 복원의 최적화

일러두기 (Disclaimer)

본 글은 AI의 도움을 받아 작성되었습니다. 최대한 정확한 정보를 전달하기 위해 검수를 거쳤으나, AI 모델의 특성상 내용에 일부 오류나 부정확한 정보가 포함될 수 있습니다. 따라서 실제 논문의 상세한 수식이나 실험 세부 조건 등은 반드시 원문을 직접 확인하시기 바랍니다.

 

 

논문 링크 : https://arxiv.org/abs/1707.09636

LEARN: Learned Experts' Assessment-based Reconstruction Network for Sparse-data CT

 

 

초록 (Abstract)

압축 센싱(Compressive sensing, CS)은 few-view CT, tomosynthesis, interior tomography 등에서 임상적으로 중요한, 희소하게 수집된 데이터나 과소 샘플링된 측정값으로부터 토모그래피 영상을 재구성하는 데 효과적인 것으로 입증되었습니다. 희소 데이터 CT를 수행하기 위해, 반복 재구성(iterative reconstruction)은 일반적으로 압축 센싱 프레임워크 내에서 정규화 항(regularizers)을 사용합니다. 현재 정규화를 위한 파라미터를 적응형으로 선택하는 방법은 주요한 미해결 난제로 남아 있습니다. 본 논문에서는 기계 학습, 특히 딥러닝(deep learning)의 아이디어에서 영감을 받아, 최첨단 "전문가 필드(fields of experts)" 기반 반복 재구성 방식을 데이터 기반 학습을 위한 일정 횟수의 반복 횟수만큼 전개(unfold)하여 희소 데이터 CT를 위한 학습된 전문가 평가 기반 재구성 네트워크(Learned Experts' Assessment-based Reconstruction Network, LEARN)를 구축하고, 제안한 LEARN 네트워크의 실현 가능성과 장점을 입증합니다. 제안된 LEARN 네트워크를 사용한 실험 결과는 인공물(artifact) 감소, 특징 보존 및 연산 속도 측면에서 유명한 Mayo Clinic 저선량 챌린지 데이터셋을 기준으로 여러 최첨단 방법들과 비교하여 우수한 성능을 생성합니다. 이는 반복 재구성에 사용되는 모든 정규화 항과 파라미터가 이제 훈련 데이터로부터 학습되기 때문에, LEARN 네트워크가 경쟁 알고리즘들보다 응용 중심의 지식을 더 효과적으로 활용하고 기본 이미지를 더 잘 복원한다는 통찰과 일치합니다. 또한, LEARN 네트워크의 계층(layers) 수는 50개에 불과하여, 전형적인 반복 알고리즘의 계산 복잡도를 수십에서 수백 배 줄입니다.

 

1. 한줄 요약 & 3줄 핵심 (Executive Summary)

본 연구는 영상 복원을 위한 전통적인 반복 최적화 알고리즘의 수학적 연산 과정을 깊은 합성곱 신경망(CNN)의 개별 계층으로 펼쳐내어(Unrolling), 데이터로부터 최적의 필터와 파라미터를 스스로 학습하게 만든 하이브리드 기반의 초고속 고해상도 CT 재구성 네트워크를 제안합니다.

1. 기존의 문제점 (Pain point): 전통적인 반복 재구성(Iterative Reconstruction) 방식은 연산 시간이 과도하게 소요되며, 영상이 단순한 픽셀 조각으로 이루어져 있다는 인위적인 수학적 가정(총변동성, Total Variation)에 의존하여 인체 조직의 자연스러운 질감을 훼손하는 블록 현상(Blocky artifact)을 유발했습니다.
2. 이 논문의 해결책 (Solution): 반복 최적화 과정의 그래디언트 강하(Gradient Descent) 스텝을 50개의 신경망 계층으로 전개하고, 각 반복 단계에서 요구되는 정규화 항과 파라미터를 방대한 데이터로부터 단계별로 독자적으로 학습하도록 설계한 LEARN 네트워크를 개발했습니다.
3. 달성한 성과 (Key Result): 희소 데이터(Sparse-view) 환경에서 기존 최적화 알고리즘 대비 연산 속도를 최대 수백 배 단축하면서도, 물리적 투영 데이터와의 일관성을 유지하여 미세 혈관 및 전이성 병변의 구조를 보존하는 최고 수준의 화질(State-of-the-art)을 달성했습니다.

 

2. 들어가며: 왜 이 연구가 필요했나? (The "Why")

딥러닝 모델의 세부 구조를 분석하기에 앞서, 의료 영상 분야에서 컴퓨터 단층촬영(CT)의 재구성(Reconstruction)이 어떠한 물리적 한계에 직면해 있었는지 배경을 이해하는 과정이 수반되어야 합니다. 컴퓨터 단층촬영은 환자의 신체 주위를 360도 회전하며 방사선을 투사하고, 신체를 투과하여 감쇠된 엑스선(X-ray)의 강도를 검출기에서 수집하는 방식으로 이루어집니다. 이렇게 수집된 원시 1차원 데이터의 집합을 투영 데이터(Projection Data) 또는 사이노그램(Sinogram)이라고 명명합니다. 이 원시 데이터로부터 인체 내부의 단면 이미지를 수학적으로 역산하여 복원하는 과정이 바로 영상 재구성입니다.

 

수십 년 동안 임상 현장에서 표준으로 자리 잡았던 재구성 기법은 여과 후 역투영(Filtered Back Projection, FBP) 알고리즘이었습니다. FBP는 해석학적으로 명확하고 연산 속도가 빠르며 신뢰성이 높다는 장점을 지니고 있습니다. 하지만 FBP 알고리즘이 고품질의 영상을 생성하기 위해서는 나이퀴스트 샘플링 정리(Nyquist Sampling Theorem)를 만족할 만큼 모든 각도에서 조밀하고 완벽하게 데이터를 수집해야 한다는 물리적 전제 조건이 따릅니다.

 

현대 의료 환경에서는 이러한 이상적인 데이터 수집이 불가능하거나 제한되는 상황이 빈번하게 발생합니다. 환자의 방사선 피폭량을 최소화하기 위해 저선량으로 촬영을 진행해야 하거나, 방사선 발생기의 기계적 한계로 인해 소수의 각도에서만 촬영하는 퓨뷰(Few-view) CT, 수술실의 C-arm 장비처럼 해부학적 구조물에 가려져 제한된 각도에서만 데이터를 수집할 수밖에 없는 제한 각도 토모그래피(Limited-angle tomography) 등이 이에 해당합니다. 이처럼 데이터가 성기게 수집된 '희소 데이터(Sparse-data)'를 FBP 알고리즘에 입력하면, 데이터가 누락된 각도를 메우지 못해 영상 전반에 걸쳐 날카로운 빗살무늬 형태의 줄무늬 인공물(Streak artifact)이 발생하게 되며, 이는 진단적 가치를 완전히 상실한 영상을 초래합니다.

 

이러한 FBP의 치명적인 단점을 극복하기 위해 영상의학계와 공학계가 도입한 대안이 바로 반복 재구성(Iterative Reconstruction, IR) 기법입니다. 반복 재구성은 대수적 재구성 기법(ART), 동시 대수적 재구성 기법(SART), 기댓값 최대화(EM) 알고리즘을 거쳐, 압축 센싱(Compressive Sensing, CS) 이론과 결합하며 비약적인 발전을 이루었습니다. 압축 센싱 기반의 반복 재구성은 본질적으로 불량 조건(Ill-posed) 역문제에 대한 최적화 과정입니다. 연구자들은 "인체 영상은 본질적으로 희소성(Sparsity)을 가지며, 경계가 매끄럽다"는 사전 지식(Prior Knowledge)을 총변동성(Total Variation, TV)과 같은 수학적 정규화 항(Regularizer)으로 모델링했습니다. 이후 생성된 예측 이미지의 가상 투영 데이터와 실제 측정된 투영 데이터를 비교하여 오차(Data Fidelity)를 구하고, 이를 최소화하는 방향으로 예측 이미지를 수십에서 수백 번 반복하여 업데이트하는 방식을 채택했습니다.

 

그러나 압축 센싱 기반 반복 재구성 기술은 두 가지 뚜렷한 한계에 부딪혔습니다. 첫째, 극심한 연산 병목 현상입니다. 반복을 수행할 때마다 거대한 시스템 행렬을 곱하는 순방향 투영(Forward projection)과 역방향 투영(Back projection) 연산을 수백 회 반복해야 하므로 막대한 계산 비용과 시간이 소요되었습니다. 이는 분초를 다투는 응급 의료 현장이나 환자 처리량이 많은 대형 병원의 작업 흐름(Workflow)에 부합하지 않았습니다. 둘째, 수작업으로 설계된 수학적 사전 지식의 한계입니다. 가장 널리 쓰이는 TV 정규화 기법은 이미지가 마치 색종이를 오려 붙인 것처럼 균일한 픽셀들의 조각(Piecewise constant)으로 이루어져 있다고 가정합니다. 하지만 실제 인체의 장기, 근육, 종양의 경계는 계단식으로 끊어지지 않고 부드러운 밀도 변화를 동반합니다. 결과적으로 TV 기반 알고리즘은 노이즈는 효과적으로 제거했으나, 영상의 미세한 질감을 찰흙으로 뭉개놓은 듯한 인위적인 블록 현상(Blocky artifact)을 피할 수 없었습니다.

 

이러한 맥락에서 연구자들은 "느리고 무거운 반복 연산을 획기적으로 줄이면서도, 인위적인 수학적 가정이 아닌 인체 해부학 구조에 정확히 들어맞는 최적의 사전 지식을 기계가 스스로 추출하게 할 수는 없을까?"라는 질문을 던지게 되었습니다. 데이터의 일관성을 유지하는 물리학적 규칙은 보존하되, 복잡한 패턴을 인식하는 데 특화된 딥러닝을 결합하려는 시도가 본 연구의 본질적인 출발점을 형성하게 됩니다.

 

3. 이 논문의 뿌리 (Key Reference)

LEARN 네트워크는 영상 처리, 최적화 수학, 그리고 딥러닝이라는 세 가지 상이한 연구 흐름이 융합된 결과물입니다. 이 논문이 비판적으로 계승하고 발전시킨 핵심 선행 연구들의 계보와 관계를 조명하는 것은 모델의 원리를 이해하는 데 필수적입니다.

• Fields of Experts (Roth & Black, 2009): 본 논문의 명칭인 LEARN(Learned Experts' Assessment-based Reconstruction Network)에 등장하는 'Experts'는 이 연구에서 직접적인 영감을 차용한 것입니다. 전통적인 영상 복원이 TV(총변동성)라는 단일한 수학적 잣대만을 강요했다면, Fields of Experts (FoE) 모델은 영상을 복원할 때 여러 개의 필터와 퍼텐셜 함수(Potential Function) 세트를 도입하여 다양한 측면에서 영상의 지역적 구조를 평가하는 마르코프 무작위 장(Markov Random Field) 기반의 방식을 제안했습니다. LEARN은 이 FoE의 다중 필터 개념을 계승하되, 최적화 과정에서 요구되는 복잡한 확률적 샘플링 연산을 버리고, 이를 합성곱 신경망(CNN)의 가중치(Weights) 커널로 대체하여 실용성을 극대화하는 방향으로 단점을 보완했습니다.
• Learning Fast Approximations of Sparse Coding (Gregor & LeCun, 2010) 및 Deep ADMM-Net (Yang et al., 2016): 이 두 논문은 최적화 알고리즘의 패러다임을 혁신한 '언롤링(Unrolling)' 기법의 효시가 되는 연구들입니다. 전통적으로 해를 구하기 위해 수백 번 루프를 도는 반복 최적화 과정(예: ISTA, ADMM)을, 루프를 풀어서 여러 개의 층(Layer)으로 이루어진 피드포워드(Feed-forward) 신경망 구조로 변환하는 방법론을 확립했습니다. 자기공명영상(MRI) 복원 등에 선도적으로 적용되었던 이 개념을, 본 논문의 저자들은 CT 복원에 적합한 그래디언트 강하(Gradient Descent) 스킴으로 정교하게 재설계했습니다. 이를 통해 끝을 알 수 없던 반복 연산을 단 50개의 고정된 네트워크 계층으로 한정 짓는 결정적인 통찰을 제공받았습니다.
• RED-CNN 및 FBPConvNet (2017): 딥러닝을 CT 영상 처리에 적용하고자 했던 1세대 연구들입니다. 이들은 불완전한 투영 데이터를 FBP로 단순 역투영하여 생성된 저품질 영상(입력)을 고품질 영상(출력)으로 맵핑하는 순수 영상 후처리(Image post-processing) 방식이었습니다. 이 네트워크들은 시각적인 노이즈를 제거하는 데는 탁월했으나, 영상이 원본 투영 데이터(Sinogram)와 물리적으로 일치하는지 확인하는 과정이 부재했습니다. 그 결과, 원본에 없던 해부학적 구조를 생성해내거나(Hallucination), 미세한 병변의 경계를 노이즈로 간주하여 지워버리는 치명적인 오버 스무딩(Over-smoothing) 현상을 겪었습니다. LEARN은 이 1세대 후처리 네트워크들의 구조적 결함을 비판적으로 수용하여, 네트워크의 매 단계마다 원본 투영 데이터와의 오차를 검증하는 '데이터 일관성(Data Fidelity)' 계층을 의무적으로 통과하도록 아키텍처를 설계하는 기반을 마련했습니다.

 

4. 핵심 아이디어: 무엇이 다른가? (The "Aha!" Moment)

LEARN 네트워크가 달성한 혁신의 본질은 "알고리즘의 수학적 최적화 과정 자체를 딥러닝 신경망의 물리적 아키텍처로 1:1 치환했다"는 발상의 전환에 있습니다. 복잡한 수식을 직관적인 비유로 풀어보겠습니다.

 

희소 데이터를 통해 고화질 CT 영상을 복원하는 과정을, 수만 개의 파편화된 조각으로 구성된 복잡한 풍경화 퍼즐을 맞추는 작업에 비유할 수 있습니다.

• 이전에 사용되던 전통적 반복 재구성(Iterative Reconstruction) 방식은, 단 한 명의 수학자가 돋보기를 들고 "모든 퍼즐 조각의 경계는 직선이어야 한다"는 융통성 없는 단 하나의 규칙(TV 정규화)만을 고집하며 퍼즐을 맞추는 상황과 같습니다. 퍼즐 조각을 하나 움직일 때마다 전체 설계도(원본 투영 데이터)를 처음부터 끝까지 다시 검토해야 하므로 시간이 무한정 소요되었으며, 규칙에 맞지 않는 구름이나 혈관 같은 곡선 패턴은 강제로 각지게 찌그러졌습니다.
• 반면, 1세대 순수 딥러닝 후처리(FBPConvNet 등) 방식은 똑똑한 미술 전공 학생에게 듬성듬성 잘못 맞춰진 퍼즐판을 한 번에 보여주고 "네가 아는 지식을 동원해 덧칠해서 자연스러운 그림으로 만들어보라"고 지시하는 것과 같습니다. 그림 자체는 매끄럽고 보기 좋아졌지만, 원본 퍼즐 조각의 형태를 무시하고 덧칠을 하는 바람에 원래 없던 점을 그려 넣거나, 중요한 단서인 작은 선을 실수로 지워버리는 왜곡이 발생했습니다. 의료 영상에서 이러한 왜곡은 곧 치명적인 오진으로 직결됩니다.
• 여기서 LEARN이 제시한 '언롤링(Unrolling)' 기법이라는 해결책의 컨셉이 빛을 발합니다. 한 명의 수학자가 수백 번 반복하던 고된 작업을, 50명의 숙련된 전문가(신경망의 개별 계층)들을 컨베이어 벨트 앞에 일렬로 배치하는 공정으로 탈바꿈시켰습니다.
  1. 첫 번째 전문가(첫 번째 블록)가 퍼즐의 거친 윤곽을 다듬습니다. 이때 자신이 수정한 결과물이 반드시 원본 퍼즐 상자의 설계도와 일치하는지 대조(Data Fidelity)하여 물리적 오차를 수정합니다.
  2. 수정을 마친 퍼즐은 다음 전문가에게 전달됩니다. 두 번째 전문가는 앞사람의 결과를 바탕으로 또 다른 자신만의 노하우(이전 층과 다른 파라미터)를 발휘해 세밀한 명암을 다듬고, 다시 한번 원본 설계도와 대조합니다.
  3. 이 공정을 50명의 전문가(50번의 반복 계층)를 거치며 수행하면 완벽한 퍼즐이 완성됩니다.

즉, 과거의 방식이 맹목적인 수학적 반복(A)이거나 원본 검증 없는 일회성 덧칠(B)이었다면, LEARN 네트워크는 "원본 물리 데이터와의 교차 검증 과정을 최적화 단계마다 강제하면서도, 각 단계에서 영상을 다듬는 규칙(필터와 가중치)을 인간이 정하지 않고 방대한 데이터로부터 모델이 직접 찾아내도록 융합"하는 구조적 진화를 이룩한 것입니다. 이를 통해 모델은 FBPConvNet처럼 영상 정보를 훼손하지 않으면서도, 전통적 반복 알고리즘이 겪던 극악의 연산 속도와 TV 정규화의 한계를 완벽하게 돌파했습니다.

 

5. 작동 원리: 어떻게 돌아가는가? (The "How")

LEARN 네트워크가 불완전한 입력 데이터를 받아 최종적으로 임상 활용이 가능한 고화질 CT 영상을 출력해내기까지의 데이터 처리 흐름(Flow)을 단계별로 추적해 보겠습니다. 엄밀한 수학적 증명은 배제하고, 아키텍처 내부에서 데이터가 변환되는 과정을 서술합니다.

 

전체 시스템 아키텍처는 앞서 비유한 컨베이어 벨트처럼 50개의 반복 블록(Iteration Block)이 직렬로 길게 이어져 있는 잔차 네트워크(Residual Network) 구조를 취하고 있습니다. 하나의 블록은 고전적인 알고리즘에서 한 번의 '루프(Loop)' 연산을 의미하며, 신경망의 관점에서는 데이터를 처리하는 하나의 거대한 '계층(Layer)' 역할을 수행합니다. 데이터가 특정 시점($t$)의 블록에 도달하면, 블록 내부에서는 크게 세 가지의 논리적 작업 경로가 병렬로 전개된 후 최종적으로 합쳐집니다.

 

Step 1: 물리적 오차 수정 경로 (데이터 피델리티 연산)

현재 블록($t$)으로 유입된 예측 이미지(초기에는 노이즈가 많은 상태)를 다시 수학적으로 투영(Forward Projection, 행렬 $A$ 곱셈)합니다. 이는 "지금 이 예측 이미지가 실제 환자의 신체라면, CT 검출기에서는 어떤 투영 데이터가 수집되어야 하는가?"를 시뮬레이션하는 과정입니다. 이렇게 시뮬레이션된 가상 투영 데이터와, 실제 환자를 촬영해서 얻은 진실된 투영 데이터 사이의 차이(오차)를 계산합니다. 이후 계산된 1차원 오차 데이터를 다시 이미지 공간으로 역투영(Back-projection, 행렬 $A^T$ 곱셈)합니다. 쉽게 풀이하자면 "현재 생성된 이미지에서 어느 부분이 실제 센서 측정값과 어긋나 있는지"를 지시하는 물리적인 오차 지도를 생성하여 이미지에 반영하는 과정입니다.

 

Step 2: 해부학적 특징 추출 및 노이즈 정제 경로 (정규화 연산)

Step 1과 동시에, 유입된 예측 이미지는 합성곱 신경망(CNN) 모듈을 통과하게 됩니다. 연구진은 하나의 반복 블록 내부에 3개의 작은 합성곱 층과 활성화 함수(ReLU)를 샌드위치처럼 겹쳐 놓은 3-Layer CNN을 배치했습니다. 이 CNN 모듈은 수많은 학습 데이터를 통해 체득한 "인체의 정상적인 장기와 혈관은 이러한 질감과 곡률을 지녀야 한다"는 사전 지식을 바탕으로, 이미지에 끼어 있는 불규칙한 빗살무늬 노이즈나 계단 현상을 매끄럽게 다듬어내는 역할을 수행합니다.

 

Step 3: 정보 합산 및 다음 단계로의 전달 (잔차 연결, Residual Connection)

앞서 Step 1에서 도출된 '물리적 센서 오차 교정값'과, Step 2에서 도출된 '딥러닝이 추출한 해부학적 구조 정보', 그리고 '이전 블록에서 그대로 넘어온 예측 이미지 원본'을 하나의 결과물로 합산합니다. 잔차 연결(Shortcut connection) 구조를 채택함으로써, CNN이 원본 이미지의 기본 형태를 훼손하는 것을 방지하고 오직 학습해야 할 노이즈와 인공물 형태에만 집중하도록 유도합니다.

 

이러한 1~3단계의 통합 과정이 총 50개의 블록($N_t = 50$)을 관통하며 물 흐르듯 순차적으로 진행됩니다. 여기서 주목해야 할 가장 핵심적인 특징은, 1번 블록에서 작동하는 CNN의 필터 가중치나 원본 데이터의 반영 비율($\lambda$)이 50번 블록에서 작동하는 변수들과 완전히 독립적이고 다르게 학습된다는 점입니다. 초기 블록에서는 굵직한 신체 구조와 강한 노이즈를 걷어내는 필터가 활성화되고, 후반부 블록에서는 미세한 혈관의 경계를 날카롭게 살리는 필터가 활성화되는 식으로, 각 단계별 목적에 맞춰 네트워크가 스스로 최적의 도구를 변경해가며 유연하게 대처하도록 설계된 것이 LEARN의 진정한 작동 원리입니다.

 

6. 작동 원리: 어떻게 학습하는가? (The "How")

딥러닝 아키텍처가 훌륭한 성능을 발휘하기 위해서는 양질의 모범 답안을 보고 자신의 오차를 교정하는 훈련(Training) 과정이 필수적입니다. LEARN 네트워크가 50개의 블록 내부에 존재하는 수십만 개의 가중치와 필터 커널을 어떻게 최적화하는지, 학습에 활용된 실제 데이터의 상세한 포맷과 규격을 살펴보겠습니다.

 

입력 데이터 (Input Data)

네트워크가 풀어야 할 '문제'에 해당하는 불완전한 상태의 입력 데이터입니다. 본 연구는 임상 현장의 현실성을 반영하기 위해 Mayo Clinic에서 주관한 "저선량 CT 그랜드 챌린지" 데이터를 기반으로 훈련 세트를 구축했습니다. 이 데이터셋은 10명의 환자로부터 획득한 1mm 두께의 고해상도 전체 선량(Full-dose) 2D CT 단면 이미지 5,936장으로 구성되어 있습니다.

• 포맷과 수량: 정상적인 일반 CT는 방사선 발생기가 360도를 회전하며 2,304개의 조밀한 각도(View)에서 투영 데이터를 수집합니다. 연구진은 희소 데이터(Sparse-view) 환경을 모사하기 위해, 이 2,304개의 데이터를 인위적으로 64개 또는 128개의 각도만 남기고 균등하게 삭제하는 다운샘플링(Down-sampling) 과정을 거쳤습니다. 최종적으로 8명의 환자로부터 추출한 200쌍의 흉부, 복부, 골반 이미지를 훈련용으로 활용했습니다.
• 구체적인 예시: 신경망의 각 학습 에포크(Epoch)마다 입력되는 데이터 패키지는 다음 요소들로 구성됩니다.
  1. 64개의 각도에서만 투과되어 수집된 불완전하고 희소한 1차원 투영 데이터(Sinogram).
  2. 투영 데이터를 이미지 공간과 연결해주는 장비 고유의 기하학적 특성이 담긴 시스템 행렬 연산자($A$ 와 $A^T$).
  3. 희소 투영 데이터를 기반으로 FBP 알고리즘을 사용해 임시로 대략적인 형태만 잡아놓은, 줄무늬 인공물로 심하게 훼손된 2D 초기 예측 이미지($x^0$).

 

출력 및 정답 데이터 (Target/Label Data)

학습 과정에서 네트워크가 궁극적으로 모방하고 도달해야 할 '정답지(Ground Truth)'입니다.

• 포맷과 구체적인 예시: 동일한 환자 단면에 대해 삭제 없이 전체 2,304개 각도에서 수집된 온전한 투영 데이터를 바탕으로, 이상적인 환경에서 깨끗하게 재구성된 최고 화질의 2D CT 이미지입니다. 이 이미지에는 간(Liver) 내부의 조영제 증강 혈관이나 흉부의 미세한 폐포 구조 등, 의사가 진단에 활용하는 해부학적 디테일이 뚜렷하게 살아있습니다.

 

학습의 흐름과 손실 함수 (Loss Function)

네트워크에 불완전한 입력 이미지와 투영 데이터를 주입하면, 데이터는 50개의 블록을 순차적으로 통과하며 깎이고 다듬어져 최종적으로 하나의 2D 이미지를 출력합니다. 이 출력된 예측 이미지와 정답지(고화질 2D 이미지) 픽셀들 간의 차이를 계산하는데, 이를 평균 제곱 오차(Mean Squared Error, MSE)라는 손실 함수로 정량화합니다. 오차가 계산되면 모델은 맨 마지막 50번째 계층부터 1번째 계층까지 역방향으로 거슬러 올라가며(오차 역전파, Backpropagation 연쇄 법칙), 오차를 줄이는 방향으로 각 블록 내 CNN의 필터 형태와 편향, 그리고 데이터 반영 가중치 변수($\Theta^t = \{\lambda^t, W_{1,2,3}^t, b_{1,2,3}^t\}$)를 미세하게 업데이트합니다. 최적화를 위해서는 Adam 옵티마이저가 사용되었으며, 학습률은 $10^{-4}$에서 시작하여 점진적으로 $10^{-5}$로 감소시키는 전략을 취했습니다. 가중치는 평균이 0인 가우시안 분포를 따르도록 무작위로 초기화되었습니다. 흥미롭게도 연구진은 150개의 깊은 합성곱 층을 가졌음에도 불구하고 단 200장의 이미지 쌍만으로 과적합(Over-fitting) 없이 모델을 수렴시키는 데 성공했습니다. 이는 네트워크 매 층마다 원시 투영 데이터와 비교하는 '물리적 제약 조건'이 강력한 닻(Anchor) 역할을 하여, 모델이 상상 속의 엉뚱한 이미지 특징을 학습하는 것을 원천적으로 차단하기 때문입니다.

 

7. 결과: 얼마나 좋아졌나? (Results)

LEARN 네트워크의 도입은 희소 데이터 CT 재구성 분야에서 화질 개선과 연산 속도의 비약적인 향상이라는 상충하는 두 가지 목표를 동시에 달성한 파격적인 결과를 입증했습니다. 성능 검증은 학습에 사용되지 않은 나머지 환자 2명의 데이터 50장을 대상으로 수행되었습니다.

 

SOTA(State-of-the-Art) 화질 달성 및 해부학적 디테일 보존

재구성된 영상의 품질을 정량적, 정성적으로 평가했을 때 가장 극적인 차이는 복부(Abdomen) 및 흉부(Thorax)의 미세 구조물 복원 능력에서 두드러졌습니다. 64-view 환경에서 기준점인 일반 FBP 방식은 영상 전체를 뒤덮은 인공물로 인해 장기의 윤곽조차 식별할 수 없었습니다. 기존 반복 재구성의 표준인 ASD-POCS 알고리즘은 노이즈는 효과적으로 제거했으나, TV 정규화의 부작용으로 장기 조직이 블록 단위로 뭉개지는 현상이 관찰되었습니다. 사전(Dictionary) 학습 기반의 Dual-DL이나 정교한 최적화 모델인 PWLS-TGV 역시 블록 현상을 완전히 억제하지 못하거나 질감을 흐릿하게 만들었습니다. 특히 순수 딥러닝 기반 후처리 모델인 FBPConvNet은 전체적인 시각적 대비는 우수했으나, 간 조직 내부의 조그마한 병변이나 구조를 평활화하여 지워버리는 치명적인 왜곡을 낳았습니다.

 

반면, 제안된 LEARN 네트워크는 해상도와 구조적 보존을 평가하는 객관적 지표에서 모든 경쟁 모델을 압도했습니다.

측정 지표 (복부 영상 64 views 기준)	FBP (전통 방식)	ASD-POCS (기존 최적화)	FBPConvNet (기존 딥러닝)	LEARN (제안 방법)
RMSE (오차, 낮을수록 좋음)	0.0546	0.0223	0.0212	0.0113
PSNR (신호대잡음비, 높을수록 좋음)	25.26 dB	32.01 dB	33.48 dB	38.97 dB
SSIM (구조적 유사도, 1에 가까울수록 좋음)	0.5815	0.8542	0.8856	0.9488

 

LEARN 네트워크는 간 내부의 조영제가 증강된 미세 혈관 구조와 임상적으로 매우 중요한 전이성 종양(Metastasis)의 위치를 블러링(Blurring) 없이 명확하게 보존하는 데 유일하게 성공했습니다. 영상의학과 전문의 두 명이 참여한 5점 척도의 정성적 블라인드 테스트에서도, 인공물 감소, 노이즈 억제, 대비 보존, 전반적 화질 등 모든 항목에서 LEARN 네트워크의 결과물은 기준점인 최고 화질 정답지(Reference Image)와 통계적으로 유의미한 차이가 없을 정도로($P>0.05$) 완벽에 가까운 임상적 유용성을 인정받았습니다. 수평 프로파일(Horizontal profile) 분석에서도 LEARN의 신호 곡선이 원본 영상의 엣지(Edge) 변화 곡선과 가장 근접하게 일치함을 보였습니다.

 

연산 속도의 혁명

반복 재구성 알고리즘의 가장 큰 임상적 장벽이었던 시간 소요 문제 역시 획기적으로 해결되었습니다. CPU 환경에서 128-view 데이터를 기준으로 처리 속도를 벤치마킹한 결과, 외부 패치를 학습하여 적용하는 Dual-DL 방식은 단 한 장의 단면을 복원하는 데 무려 2914초(약 48분)가 소요되었고, 통계적 최적화 기법인 PWLS-TGV는 898초가 걸렸습니다. 그러나 LEARN 네트워크는 단 9.01초 만에 동일한 단면의 복원을 완료했습니다. 반복 최적화의 무한한 루프를 50개의 고정된 계층 구조로 전개(Unrolling)하고, 파라미터 튜닝 과정을 훈련 단계에서 미리 오프라인으로 완료해둔 덕분에, 기존 알고리즘 대비 최소 8배에서 최대 300배 이상의 연산 속도 단축을 이룩한 것입니다. 이러한 아키텍처는 GPU 병렬 처리에 매우 적합하므로, 최신 하드웨어 가속을 활용할 경우 추론 시간은 초 단위 미만으로 더욱 극적으로 단축될 수 있습니다.

 

실패 케이스 및 모델의 한계점

압도적인 성능에도 불구하고, 연구진은 신뢰성 확보를 위해 모델의 실패 케이스와 한계를 명확히 언급했습니다. 첫째, 손실 함수로 평균 제곱 오차(MSE)를 사용한 태생적 한계로 인해, 저주파 대역의 덩어리진 구조는 완벽하게 복원하지만, 고주파 대역의 미세한 질감(Texture)이나 아주 미세한 경계선 부근에서는 영상이 다소 밋밋해지는 평활화(Over-smoothing) 현상이 관찰되었습니다. 둘째, 노이즈에 대한 내성 한계입니다. 포아송 노이즈(Poisson noise)를 인위적으로 증가시키며 강건성을 테스트했을 때, 블랭크 스캔 팩터(Blank scan factor) $b_0$값이 $10^7$ 이하로 떨어지는 극단적인 노이즈 환경에서는 LEARN 네트워크 역시 훼손된 신호를 견디지 못하고 성능(PSNR)이 급격히 저하되기 시작하는 약점을 노출했습니다.

 

8. 이 논문의 계보와 발전 (Impact & Follow-ups)

2018년(논문 제출 및 사전 공개 2017년)에 발표된 LEARN은 의료 영상 재구성 분야에서 "알고리즘 언롤링 네트워크(Unrolled Network)"라는 거대한 패러다임 전환을 이끌어낸 매우 중요한 이정표가 되는 연구입니다. 순수 딥러닝의 뛰어난 표현력과 전통적 물리 방정식의 데이터 일관성이라는 상호 보완적인 강점을 융합한 이 방법론은, 이후 수년간 쏟아져 나온 의료 영상 후속 연구들의 기본 뼈대이자 벤치마크 표준으로 자리 잡았습니다. 이 논문을 기반으로 갈래를 뻗어 나간 최신 기술 발전의 트렌드를 소개합니다.

• LPD (Learned Primal-Dual, 2018): LEARN 네트워크가 재구성할 이미지 공간(Primal space)에서만 CNN 필터를 적용하여 특징을 학습했다면, LPD 모델은 센서가 수집한 원본 투영 데이터 공간(Dual space)에서의 잡음 제거 및 정제 과정까지 동시에 개별적인 신경망으로 전개하여 성능을 한 차원 더 끌어올렸습니다. 현재 언롤링 프레임워크를 연구할 때 가장 범용적이고 강력한 베이스라인 구조로 채택되고 있습니다.
• ADMM-SVNet (2022) 및 딥 언롤링 최적화: LEARN이 상대적으로 단순한 형태의 그래디언트 강하(Gradient Descent) 스텝을 펼친 것이라면, 후속 연구들은 더 강력하고 복잡한 수렴성을 보장하는 교대 방향 승수법(ADMM)이나 FISTA와 같은 고급 최적화 알고리즘을 신경망으로 펼쳐내기 시작했습니다. 특히, 각 반복 블록 내부에 단순한 3계층 CNN 대신, 특징 추출 능력이 극대화된 U-Net 구조를 결합하여 희소 데이터 극복 능력을 배가시켰습니다.
• Transformer 아키텍처의 융합 (2023~2024): LEARN에서 사용된 합성곱(CNN) 픽셀 필터는 본질적으로 수용 영역(Receptive field)이 좁아 영상 전체의 거시적인 문맥을 파악하는 데 한계가 있었습니다. 이를 극복하기 위해, 최근에는 영상 전체의 글로벌-로컬 특징을 동시에 포착할 수 있는 Swin-Transformer (MIST-net 등)를 언롤링 블록 내부에 정규화 모듈로 탑재하는 연구가 활발히 진행되며 한계점을 넘어서고 있습니다.
• 생성형 AI와 확산 모델(Diffusion Model)의 결합 (2024~2025): 현재 학계의 최전선 트렌드입니다. 단순히 노이즈를 필터링하는 것을 넘어, 완전히 소실된 영역의 해부학적 구조를 사전 학습된 상상력으로 채워 넣되 반드시 물리 법칙의 통제를 받게 만드는 확산 모델 기반 언롤링(예: CvG-Diff, MSDiff, uDiG-DIP)이 등장했습니다. 이는 반복 재구성 수식의 루프 안에 스코어 기반(Score-based) 생성 프라이어를 결합하여, 각도가 극단적으로 적은 초희소 데이터(Ultra-sparse view) 상황에서도 놀라운 수준의 고해상도 영상을 복원해내는 성과를 거두고 있습니다.

 

9. 마무리

"딥러닝 모델은 왜 그런 결론을 내렸는지 수학적으로 설명할 수 없다." 이는 인공지능이 생명을 다루는 의료 현장에 도입될 때 가장 큰 장애물로 작용하는 블랙박스(Black-box) 모델의 숙명입니다. 하지만 본 리뷰에서 다룬 LEARN 네트워크는 딥러닝을 맹목적이고 불투명한 예측기로 방치하지 않고, 수학적·물리적 근거(데이터 일관성 모델)의 엄격한 통제를 받는 해석 가능한 화이트박스(White-box) 형태로 설계함으로써 이 고질적인 신뢰성 문제를 해결했습니다. 기존의 알고리즘이 사람이 짠 수식 위에서 수백 번 삽질을 하는 비효율적인 구조였다면, 이 모델은 작업의 물리적 뼈대는 유지한 채로 각 단계를 다듬는 작업자만 인공지능으로 교체하여 50번의 공정 만에 최상의 결과를 내도록 시스템을 혁신한 것입니다.

 

실무 적용 시 주의점과 한계

현업에서 이와 같은 언롤링 모델 구조를 실제 임상 시스템에 탑재할 때 가장 크게 부딪히는 장벽은 막대한 GPU 메모리 요구량입니다. 네트워크가 50개의 계층을 역전파(Backpropagation)하며 학습을 진행할 때마다, 거대한 시스템 투영 행렬 연산 결과를 모두 메모리에 적재해두어야 합니다. 일반적인 2D 단면에서는 처리가 가능하지만, 데이터의 크기가 기하급수적으로 커지는 3D 콘빔(Cone-beam) CT 환경이나 고해상도 복원으로 넘어갈 경우 최고급 워크스테이션으로도 메모리 부족(OOM) 오류에 직면하기 쉽습니다. 또한, 훈련 단계에서 특정 CT 제조사의 기하학적 장비 특성(시스템 행렬 $A$)이 네트워크의 최적화에 강하게 결합되므로, 병원마다 사양이 다른 CT 기계에서 범용적으로 작동하기 위해서는 투영 행렬 자체의 변수까지 적응형으로 학습시키거나 보정하는 추가적인 엔지니어링 작업이 수반되어야 합니다.

 

발전 방향

논문 저자들 스스로도 한계로 지적했던 평균 제곱 오차(MSE) 기반의 미세한 이미지 뭉개짐(Smoothing) 현상은, 최근 화두가 되고 있는 적대적 생성 신경망(GAN)의 판별자(Discriminator)를 손실 함수에 결합하거나 인간의 시각 특성을 반영한 지각 손실(Perceptual Loss)을 도입함으로써, 더 자연스럽고 날카로운 조직 질감을 부여하는 방식으로 보완될 수 있을 것입니다. 또한 향후 차세대 영상 장비인 광자 계수기 CT(Photon-counting CT)와 같은 다중 스펙트럼 데이터 처리나, 대형 언어 모델(LLM)과 결합한 진단 소견 자동 생성 시스템의 전처리단 등에서도 폭넓게 활용될 잠재력을 보유하고 있습니다.

 

정리하자면, LEARN은 단순히 화질을 약간 개선하거나 속도를 높인 수많은 알고리즘 중 하나가 아닙니다. CT 재구성이라는 깊고 오래된 해석학적 역문제의 세계에 딥러닝이라는 새로운 언어를 가장 합리적이고 신뢰할 수 있는 형태로 통역해 낸 본보기가 되는 연구입니다. 앞으로 의료 영상 획득 시간과 방사선 피폭량을 획기적으로 줄이면서도 진단 정확도를 극대화하는 수많은 미래 기술들이, 이 논문이 단단하게 다져놓은 방법론적 초석 위에서 지속적으로 피어날 것으로 기대됩니다.