논문정보
Improved Cascade-RCNN for automatic detection of coronary artery plaque in multi-angle fusion CPR images
논문정리
Abstract
관상동맥 심장병은 관상동맥의 artherosclerosis(죽상경화), spasm(경련)으로 인해 플라크가 형성되면서 발생
관상동맥 플라크를 의료 영상으로 탐지하면 비파괴적이고 빠르게 진단, 의학적/임상적 가치 high
CTA 영상 시퀀스를 기반으로 한 관상동맥의 위험 플라크를 자동으로 탐지하는 방법 제안
총 132명 환자에게서 CAT 영상 시퀀스 수집, 3D segmentation을 통해 관상동맥 트리 구조 추출
관상동맥의 centerline은 skeleton thinning 기법을 통해 추출
단일 cpr 이미지에서 특징이 부족하기 때문에, 혈관 centerline에 수직인 여러 각도에서 cpr 이미지를 재구성함
학습 데이터셋 8797장, 테스트셋 1552장 구축
Cascade R-cnn, ResNet50-FPN 구조에 CBAM을 결합한 어텐션 기반 탐지 방식 제안
이 방법으로 2차원 multi-angle fused cpr 영상에서 플라크를 자동으로 인식하고 탐지하는데 성공함
ResNet50-FPN 네트워크는 특징을 추출하였고, CBAM 모듈은 첫번째/마지막 합성곱 층 뒤에 추가되어 플라크 특징에 대한 주의력 향상
실험 결과, 딥러닝 기반 신경망은 관상동맥 플라크를 자동으로 탐지하는 데 있어 유효한 접근방법임
제안된 방법은 94.6%의 플라크 탐지 정확도 + 기존 RCNN 방식보다 더 높은 성능을 보임
1. Introduction
전 세계 성인의 약 6%가 관상동맥 심장 질환을 앓고 있음
그 원인은 관상동맥의 artherosclerosis(죽상경화), spasm(경련)에 의해 형성된 플라크 때문에 혈관 루멘이 좁아지거나 막힘
건강한 동맥은 매끄럽고 탄력있음
⚠️ 혈액 내에 지방,콜레스트롤, 기타 물질이 침착되면 동맥이 좁아지고 딱딱해짐
그로 인해 산소가 풍부한 혈액이 심장으로 공급이 안되고, 심근의 급성 저산소증 발생
따라서 관상동맥 내 플라크를 탐지하고 식별하면 의사의 진단 및 병리 연구에 신뢰할 수 있는 근거를 제공
CCTA는 관상동맥 질환이 의심되는 환자를 식별하는데 흔히 사용되는 검사 방법으로 컴퓨터를 이용해 혈관의 구조적 특징을 재구성함
이를 통해 혈관 단면의 병변 부위 원본 영상을 의사에게 제공하면, 의사가 관상동맥 병변을 분석
CTA(CCTA) 기술로 비침습적 탐지가 가능하고 플라크의 위치와 크기 특성을 파악할 수 있음
현재까지 관상동맥 플라크의 판단은 대게 시각적 평가, 루멘 세그멘테이션 이후 플라크 존재 여부를 판단하는 반자동 방법으로 수행함.
but, 시각적으로 평가하는 방식은 관찰자 간 평가가 크며, 숙련된 전문가가 수행되더라도 잘못 판단할 수 있음
후자의 경우, 관상동맥 루멘 세그멘테이션의 정확도와 속도에 의존하므로 ,시간이 오래 걸리고 번거로움
또한 대부분의 관상동맥 세그멘테이션용 상용 소프트웨어는 수작업이 많이 필요하며, 죽상경화 플라크가 과도하거나 영상 노이즈가 있는 경우 조작이 번거로움
최근 몇 년간 딥러닝이 영상 처리 분야에서 놀라운 성과를 보이면서, 이를 의료 영상에 적용하려는 시도가 많아졌음
본 연구에서는 이 딥러닝 기술을 관상동맥에 적용함
CNN은 딥러닝 기술 중에서도 가장 큰 주목을 갖고 있는 구조이며, 객체인식, 분류, 탐지 등 복잡한 영상 처리 문제에 광범위하게 사용되고 있다.
CNN은 이미지 특징을 자동으로 추출함
CNN이 폐 결절 탐지에 처음 적용된 이후, 다양한 의료 영상 처리 분야에서 널리 사용됨
본 연구는 어텐션 메커니즘이 결합된 Cascade R-CNN 모델을 주요 기반으로 하여 학습을 수행함
관상동맥 CTA 영상 기반의 플라크 탐지 모델을 구축하고, 라벨링된 CPR 이미지를 네트워크에 입력하여 학습하고 파인튜닝
▶️의료 영상에서의 특징 추출 능력을 향상시킴
이 방법으로 관상동맥 플라크를 정확하게 탐지할 수 있으며, 임상 보조 진단 요구사항을 충족하고, 의사의 진단 정확도 향상과 영상 판독 부담 감소에 도움이 됨
관상동맥 플라크를 탐지하는 데 있어, 현재는 CCTA가 비침습적 방식 중 가장 우수한 영상 진단 방법
임상적으로는 vulenrable plaque 존재를 확인하기 위해 일부 혈청학적 바이오마커(serological marker)를 사용하기도 함
바이오 마커는 영상 기반 진단만큼 위치나 크기 정보를 제공하지는 못함
관상동맥 죽상경화 플라크는 CT 수치에 따라
- soft plaques (CT value < 50HU)
- fibrous plaques (50-120 HU)
- calcified plaques (CT value > 120 HU)로 분류된다.
석회화 플라크와 경화 아티팩트, 조영제 주입 후 섬유성 플라크의 국소 강화현상 때문에 의사는 육안으로 플라크의 존재 여부 및 유형을 정확히 판단하기 어어려움
지금까지 관상동맥 플라크를 탐지하기 위한 (반)자동화 방법들이 다소 제안되었으며, 이들 대부분은 석회화 플라크의 존재 여부를 탐지하는 데 집중
주변 조직과의 명암 대비가 낮기 때문에, 비석회화 플라크, 특히 혼합형 플라크는 탐지가 더 어려움
CTA 영상 시퀀스를 이용해 비석회화 플라크를 자동으로 탐지하려는 연구는 거의 없었다
[14]: 3D-CNN + RNN 활용하여 관상동맥 협착 탐지를 제안하였는데
두 개의 네트워크를 사용하였으며, 하나는 플라크 유형 탐지, 다른 하나는 협착 존재 및 중증도 분류 수행
이 외에도 많은 연구자들이 협착을 탐지하고 등급화하기 위해 다양한 알고리즘 제안함
플라크를 보다 직관적으로 식별하기 위해 straightened cpr 이미지 사용함
cpr이미지에서는 플라크가 밝은 점처럼 나타나 시각적으로 플라크를 판단하기 쉬워짐
+ 전문가가 수작업으로 최대한 많은 비석회화 플라크를 표시
그후 CNN을 통해 관상동맥 CTA 영상의 자동 플라크 인식 모델 구축
의료 영상 데이터셋은 일반적으로 규모가 작아, 딥러닝을 적용할 때 transfer learning이 사용됨
[15]: ImageNet 데이터셋에서 다양한 CNN 모델을 학습시킨 후, transfer learning을 통해 Covid -19 CT 데이터에 CGENet 백본 적용하였더니 기존 방법보다 높은 정확도 달성
[16]: transfer learning을 이용한 깊은 CNN을 사용하여 image-level representation을 얻고, NAR(neighborhood-aware representation)을 도입하여 ILR 벡터간의 인접성 관계를 활용
Covid-19 데이터셋에는 FC 레이어를 추가하여 특징 차원 축소
[17]: 개선된 AlexNet 네트워크를 tranfer learning을 통해 사전학습 시키고, MRI에서 비정상 뇌를 진단
해당 연구는 의료 영상에서 transfer learning이 효과적임을 보여주었으며, 본 연구 역시 transfer learning을 적용
본 논문은 CNN이 결합된 개선된 Cacade R-CNN 모델을 사용하여 관상동맥 플라크를 탐지하는 딥러닝 신경망 제안
전처리 단계에서는 region-grwoning 알고리즘을 사용해 3차원 관상동맥을 세그멘테이션
Centerline을 추출해야 혈관을 CPR 할 수 있음
개선된 bone thinning 알고리즘을 이용하여 관상동맥 centerline을 추출하고, cpr 진행
얻어진 모든 CPR 이미지는 무작위로 훈련세트와 테스트셋으로 분할
훈련 셋의 CPR 이미지에서 patch와 협착 부위를 수작업으로 라벨링한 후, 어텐션 메커니즘이 결합된 cascade r-cnn 네트워크에 입력
플라크를 자동으로 탐지하는 딥러닝 신경망 모델 구축
<CONTRIBUTION>
🗝️ Multi-angle cpr 알고리즘을 제안하고, Frenet 좌표계 및 초해상도 알고리즘을 도입하여 재구성된 병변 위치를 더 정확하게 시각화
🗝️ 혼합 어텐션 메커니즘 기반의 end-to-end cascade r-cnn 네트워크를 구성하여 관상동맥 플라크를 자동 인식
🗝️ 132명의 환자와 111,448장의 cpr 이미지를 포함하는 NPUCTA 임상 데이터셋을 구축하였고, 이를 기반으로 end-to-end 플라크 탐지 소프트웨어 개발
2. Related work
2.1 Coronary artery segmentation
2.2 Coronary centerline extraction
여기까지는 이미 되어있으니까 skip
2.3 Coronary artery plaque recognition
플라크는 CT값을 기준으로 fibrous(섬유형), calcified(석회화), mixed(혼합형)의 세가지로 분류
석회화 플라크는 비교적 쉽게 식별할 수 있지만 ,섬유형이나 혼합형 플라크는 식별이 어려움
현재 관상동맥 CTA 영상을 기반으로 한 대부분의 연구는 먼저 관상동맥을 세그멘테이션하여 재구성한 후, 석회화 플라크를 식별함
플라크를 식별하는 방법에는 ① 관상동맥의 단면 직경 변화 분석을 통해 플라크를 추정하는 방법, ② CT 값의 임계값 범위를 설정하여 석회화 플라크 의심 영역을 선택하는 방법, ③ 혈관 센터라인 주변 영역에서 추출한 특징을 기반으로 머신러닝 기법을 통해 석회화 병변의 위치를 추정하는 방법, ④ 관상동맥 칼슘 확률 맵을 구축하고 지도학습 기반의 분류기를 사용하여 석회화 플러크를 탐지하는 방법이 있음
일부 연구에서는 신경망 모델을 활용해 석회화 플라크로 의심되는 voxel을 탐지한 후, 폐와 같은 불필요한 영역의 voxel은 제거하여 추가 선별 작업 수행
모든 픽셀을 개별적으로 라벨링 할 필요 없이 학습할 수 있는 weakly supervised learning 기반의 석회화 플라크 탐지 방법을 제안한 연구도 있음
비석회화 플라크는 밀도가 관상동맥 및 배경조직과 유사하여 CT 값도 비슷하므로, 이를 정확하게 식별하기 어려움
특징 추출 + 선형 분류기를 이용하여 의심 영역의 정보를 분석하고 비석회화 플라크를 식별
2.4 The region grwoing algorithm
Region growing(영역 확장) 알고리즘은 의료 영상 후처리에서 널리 사용되는 세그멘테이션 기법
인접한 복셀들 간의 grayscale 값이나 gradeint같은 유사성을 활용하여, 서로 다른 조직이나 병변 부위를 효과적으로 구분
기본 개념은 영상에서 세그멘테이션하려는 목표에 대해 일정한 기준에 따라 적절한 시드 포인트를 선택하고 ,이 시드와 유사한 인접 복셀들을 모아 영역을 형성하며 ,특정 방식으로 새로운 시드 포인트를 반복적으로 탐색
CTA와 같은 혈관영상에서의 HU값은 불균일하게 분포되어 있기 때문에 단일 임계값으로 혈관을 완전히 분할하기는 힘듦
[47]: CBCT 영상에서 초기 시드를 선택하고, 각 포인트의 후보 포인트 집합, local regional energy function 계산
에너지를 감소시키는 포인트는 foreground 영역의 픽셀로 선택
이전 슬라이스의 세그멘테이션 결과는 다음 슬라이스의 초기 형태로 사용되며, CBCT 내의 모든 슬라이스가 분할될때까지 반복
마지막으로 marching cubes 알고리즘을 사용하여 최종 하악곡 모델을 3D로 재구성
[48]: varaible sector search area를 고려한,영역 확장 기반의 관상동맥 세그멘테이션 기법 제안
Hessian 벡터와 varaigble sector search area를 결합한 새로운 세그멘테이션 룰 제안
3. Method
3.1 Coronary artery segmentaiton
skip
3.2 Coronary plaque detection
Multi-angle curved planar reconstruction image fusion
타겟을 탐지할때, 단일 특징만으로는 정보가 부족해 정확하게 탐지하거나 식별하지 못하는 경우가 있음
이럴때는 여러 타겟과 관련된 특징을 융합하여, 정보량을 늘리고 개별 특징의 한계를 줄임
관상동맥 CPR 이미지는 단일 각도에서만 재구성되었을 경우, 잘못 탐지하거나 탐지하지 못하는 경우가 발생
그림 7에서 보면, 잘 맞는 각도로 CPR을 수행하면 플라크의 크기나 위치를 더 잘 시각화 할 수 있음
(적절한 회전 각도를 선택하는 것이 중요!)
cpr 이미지에서 보이는 플라크의 크기는 실제보다 작게 나타나며, 극단적인 경우에는 혈관 단면에서도 플라크의 존재가 보이지 않을 수 있음
multi-angle cpr 이미지의 정보량을 늘리기 위해 early fusion, intermidatite-fusion, late-fusion의 세가지 융합 방식을 설계
Early fusion(그림 8-a)은 특징 추출 이전에 여러 독립적인 데이터를 융합한 뒤, 딥러닝 신경망에 입력하는 방식
일반적으로는 각 모달리티의 데이터를 채널 방향으로 concatenate하거나, 같은 위치의 요소를 더함
다각도 cpr 이미지를 채널별로 싸항서 하나의 다채널 이미지로 만드는 방식
Late fusion(그림 8-b)은 decision-level capacity fusion이라고도 함
서로 다른 모달리티에 대해 각각 다른 모델을 학습시킨 후, 이들 모델의 결과를 후처리 단계에서 결합
이미지 자체가 아니라 모델의 예측 결과를 합침
최대값 결합, 평균값 결합, 베이즈 규칙 등 다양한 전략을 사용해 각 모델의 결과 융합
데이터 간 asynchornism을 효과적으로 처리할 수 있으며, 데이터간 상관관계가 크지 않아도 됨
모달리티가 늘어나더라도 시스템을 유현하게 확장할 수 있고, 각 모달리티에 특화된 예측 모델을 설계하여 사용
하지만 feature level의 관련성이 부족하거나 구현이 복잡해질 수 있음
Intermediate fusion(그림 8-c)은 신경망의 중간 계층에서 서로 다른 모달리티의 데이터를 융합
융합 위치를 자유롭게 선택할 수 있어, 서로 다른 모달리티를 유연하게 융합할 수 있음
세가지 융합 방법을 비교한 결과, 다각도 cpr 데이터를 융합하기 위한 방법으로 early fusion을 선택
WHY? 각 CPR 영상이 유사하고, 병변이 동일한 위치에 나타나기 때문
CTA 영상 시퀀스는 grayscale 단일 채널 이미지이며, early fusion은 다양한 각도의 재구성 이미지를 단순하고 효율적으로 통합
다양한 각도의 CPR 이미지를 단일 이미지의 여러 채널로 결합하여 single channel 이미지▶️ multi-channel 그래프로 변환
채널 어텐션 모듈과 결합함으로써, early fusion은 관상동맥 플라크 인식 정확도를 높이고 모델 전체에서 노이즈의 영향을 줄임
Late fusion이나 intermidate fusion 네트워크에 비해, early fusion은 네트워크를 한번만 통과하면 됨
Improved Cascade RCNN taht incorporates attention mechanism
Cascade RCNN은 Faster RCNN의 향상된 버전으로, 기존 탐지기와는 달리 세개의 탐지 헤드가 직렬로 연결되어 있음
탐지를 한 번만 하는게 아니라 3단계로 점점 더 정밀하게 refinement
두 번째 헤드의 입력이 첫번째 탐지 헤드의 출력이고, 각 탐지 헤드의 출력은 이전 탐지 결과를 점점 더 정밀하게 개선
헤드들은 서로 의존적이며, 각 단계별 IoU 임계값 설정이 다르게 적용됨
이 모델에서는 기존의 슬라이딩 윈도우 방식이 아닌, 새로운 후보 프레임 방식을 이용하여 탐지 정확도를 높이고 속도를 향상시킴
본 논문에서는 어텐션 메커니즘이 결합된 개선된 Cascade RCNN 기법을 사용하여 관상동맥 CTA 영상의 플라크 탐지 모델을 구축
Cascade RCNN 모델은 주로 대상을 식별하고 위치를 지정하는데 사용되며, 입력 이미지 크기에는 제한이 없음
사람마다 관상동맥의 크기가 다르기 때문에, 그에 따라 생성된 CPR 이미지의 크기 역시 달라짐
Cascade RCNN은 이러한 길이차이로 인해 입력 이미지 크기가 불일치하는 문제를 해결하여, 관상동맥 플라크 탐지를 가능하게 함
이미지를 입력한 후에는, 해당 이미지의 크기가 적절히 조정됨
이미지의 짧은 축은 600 픽셀을 넘길 수 없고, 긴 축은 10000 픽셀을 넘길 수 없음
입력 이미지에서는 긴 축을 기준으로 우선 제한을 두며, 원본 이미지가 제한을 초과하면 긴 축과 짧은 축 모두 같은 비율로 resize
그후, CNN을 사용하여 이미지 내 대상의 특징을 추출하고, 분류 및 예측을 위한 feature map을 생성
입력 이미지의 각 위치마다 9개의 다양한 크기와 형태의 anchor를 생성하며, 이 후 슬라이딩 윈도우 전략을 통해 다수의 앵커를 생성
각 앵커는 background/foreground로 분류되며, foreground로 판단된 앵커는 bounding box regression을 통해 보정되어 최종 제안 박스를 생성
NMS 기법을 사용하여 제안 박스를 분류 점수 기준으로 정렬하고, 중복된 박스를 제거한 후, 점수가 높은 박스를 RoI 출력으로 선택
식 3은 훈련 중 RPN의 손실 함수
$i$: 미니배치 내 앵커의 인덱스
$p_i$: 앵커가 타겟일 확률 (양성이면 1, 음성이면 0)
$\lambda$: 분류 손실과 회귀 손실의 균형을 조절하는 하이퍼파라미터
$L_{cls}$: 이진 분류 손실 ($N_{cls}$- 미니배치 크기로 정규화)
$L_{reg}$: 위치 회귀 손실 ($N_{reg}$- 앵커 수로 정규화)
$t_i$: 예측된 앵커의 4차원 좌표 벡터
$t_i^*$: 해당 앵커에 대응하는 GT 벡터
그 다음 CNN이 추출한 특징맵과 RPN 네트워크가 생성한 target suggestion box를 RoI Pooling 레이어에 입력한 후, 각 블록마다 max pooling을 수행하여 모든 지역의 특징 맵 크기를 7*7로 고정하여 FC 레이어의 파라미터를 일정하게 유지하도록 함
마지막으로, FC 층으로 객체를 분류하여 다중 클래스 분류를 수행하고 제안된 영역의 특징 맵을 활용해 각 제안에 대한 다양한 클래스 확률 정보를 계산, bounding box regression을 통해 객체의 정확한 위치를 예측하여 최종 탐지 결과를 얻음
ResNet50을 백본 네트워크로 사용되었고, 전처리 레이어와 4개의 합성곱 레이어로 구성하여 특징 추출에 사용
ResNet50에는 두 가지 기본 모듈이 있음
- Projection block: 입력과 출력의 차원이 달라 직렬로 연결될 수 없으며, 주로 네트워크의 차원을 바꾸는 역할
- Identity block: 입력과 출력의 차원이 동일하여 직렬로 연결될 수 있으며, 네트워크를 깊게 만드는데 활용
CPR 이미지 내의 플라크 밝기 특징에 대한 모델의 집중도를 높이고, 주변 연조직 배경이나 motion artifact를 억제하기 해 Cascade RCNN 모델에 어텐션 메커니즘을 적용함
그림 12에 보이는 어텐션 모듈을 ResNet50-FPN 네트워크에 추가함
이 컨볼루션 어텐션 모듈은 보다 정교한 특징맵을 생성하여 RPN 네트워크가 플라크 위치를 더 정확히 예측할 수 있도록 유도함
CBAM(convolutional attention module)은 채널 어텐션과 공간 어텐션이라는 두 개의 독립적이면서 보완적인 부분으로 구성되어 있으며, 순차적으로 연결됨
이 방식은 모델의 파라미터를 절약하면서 네트워크에 쉽게 추가할 수 있는 장점이 있음
채널 어텐션은 타겟의 '무엇'에 집중하여, 플라크 정보를 많이 담고 잇는 채널은 가중치를 높게, 배경 정보를 담은 채널은 가중치를 낮게 주어, 유의미한 특징만 선택하도록 함
공간 어텐션은 타겟의 '어디'를 알려주어, 네트워크가 특징 맵 내에서 대상의 위치를 더 정확히 탐지할 수 있도록 도움
CBAM 모듈을 네트워크 블록 내에 삽입하면, ResNet50-FPN의 구조가 변경되어 사전 학습된 파라미터를 사용할 수 없게됨
▶️ 네트워크 구조 변경 없이 CBAM을 적용하기 위해, ResNet50의 첫번째, 마지막 합성곱 층 이후에 CBAM 모듈을 삽입하고, 사전 학습된 파라미터를 활용하여 훈련을 수행함
본 논문에서 제안한 알고리즘 모델의 전체 구조는 그림 9에 있음
4. Experiments
4.1 Experimental setup
Dataset
본 실험에 사용된 데이터는 2020년 6월부터 12월까지 산시성 인민병원에서 수집된 132명의 임상 CTA 영상 시퀀스
모든 환자 데이터에 대해 사전 동의 확보
각 환자의 데이터는 Siemens 이중 행 나선형 CT 시스템을 기반으로 획득
사용된 관 전압은 70kV에서 150kV 사이, 일반적으로는 120kV를 사용하였고, 관 전류는 210~300mAs 사이
각 단면은 512×512 픽셀의 표준 영상 재구성 행렬로 되어 있으며, CT 값은 -2048 HU에서 2048 HU 범위이고, 슬라이스 두께는 약 0.4mm
132명의 환자 CT 시퀀스에 대해 일련의 전처리 과정을 거쳐, 플라크가 포함된 528개의 관상동맥이 추출
의료 전문가의 지도 하에, 사용자 정의 소프트웨어를 사용하여 CPR 이미지를 수동으로 주석
각 플라크에 대해, 의료 전문가는 시작점과 끝점의 위치 정보를 명시하며, 이는 학습 세트 이미지의 라벨 파일 생성에 사용
총 132명의 데이터 중 106명(80%)은 학습용, 26명(20%)은 테스트용으로 무작위 선택
병원 전문가에 의해 모두 주석되었으며, CPR 이미지는 관상동맥 수준에 따라 9개 방향에서 주석.
특정 방향에 플라크가 없더라도 모두 주석
관상동맥을 재구성한 후 얻은 9개의 서로 다른 단면들은 60도 간격으로 [1, 4, 7], [2, 5, 8], [3, 6, 9] 세 그룹으로 나눴음
딥러닝 네트워크에서 각기 다른 데이터로 간주될 수 있도록, 각 그룹의 시작 위치를 시계 방향과 반시계 방향으로 다르게 설정
같은 각도라도 시작점을 바꿔 회전 순서를 다양화함 => data augmentation 효과
[1, 4, 7] 그룹을 기준으로 시계방향으로 [1, 4, 7], [4, 7, 1], [7, 1, 4], 반시계방향으로 [1, 7, 4], [4, 1, 7], [7, 4, 1]의 세 그룹으로!
위의 그룹화 방법에 따라, 원래의 9개 단면은 3(그룹) × 3(시작점) × 2(방향)으로 나뉘어 총 18개의 이미지 그룹으로 구성
▶️학습 데이터 2배로 확장 + 원래 평면 이미지 재구성 문제도 개선
최종적으로 사용 가능한 데이터셋은 8797개의 학습 이미지와 1553개의 테스트 이미지로 구성
Implementation details
학습 과정에서 ImageNet 데이터셋으로 사전학습된 ResNet50-FPN 네트웤르르 불러와 총 100번의 iteration 동안 학습
데이터 부족을 보완하기 위해 transfer learning
learning rate는 0.001, 매 20회 iteration 마다 학습률을 0.0002씩 감소
모델은 약 60회 iteration부터 안정되기 시작하여, 100회 iteration 후에는 학습률이 0.0001로 줄고, loss는 0.05로 감소
RPN 학습 시, mini-batch 이미지에서 총 256개의 target suggestion frames이 무작위로 샘플링, 양성 샘플과 음성 샘플의 비율은 1:1로 구성하였으며, 양성 샘플이 부족한 경우는 음성 샘플로 보충함
4.2 Experimental analysis of ablation
학습 결과는 표1에 제시
세그멘테이션이라 skip
단일 채널의 grayscale CPR 이밎와, 융합 이후 3채널 CPR 이미지를 각각 기존의 Cascade-RCNN 네트워크와 개선된 Cascade-RCNN에 사용하여 플라크 탐지 실험 수행
본 논문의 실험은 평가지표로 AP(Average precision), 즉 AP50과 AP75를 사용하였으며, 기존의 Cascade RCNN 알고리즘을 기준으로 하여, 개선 전후의 플라크 탐지 모델의 각 구성요소가 성능에 미친 영향을 표2 에 따라 분석
곡면 재구성 이미지에서의 복잡한 배경 특징과 큰 노이즈 간섭 문제는 어텐션 유닛을 도입하여 해결
최종적으로, multi-angle fused curved surface reconstruction 이미지를 입력으로 사용하여 단일 관상동맥에서 병변을 식별하는 정확도는 94.6%에 도달
의사가 수동으로 표시한 결과와 비교했을때, Baseline(기존 cascade RCNN)이 제안한 관상동맥 플라크 인식 네트워크의 정확도는 65.4%로, 본 연구 결과보다 29.2% 낮았음
테스트셋의 정확도를 비교하면 Cascade-RCNN의 특징 추출 네트워크를 MobileNetV2에서 ResNet50-FPN으로 교체하는 것이 플라크 탐지에 더 효과적이고, 정확도가 현저히 향상됨
입력 이미지를 융합한 후 탐지율이 크게 향상되었고 AP50은 90.7%에 도달
네트워크에 CBAM을 추가하였더니 인식 성능 향상
표2에서 j~i번째 데이터 결과를 비교해보면, AP50은 94.6%에 도달하였는데, 이는 ResNet50을 ResNext50으로 교체하고 grayscale fusion, attention mechanism을 추가한거임
융합된 3채널 이미지에서는 플라크나 협착의 시각화 효과가 떨어지기 때문에, 플라크 예측 박스의 위치 정보를 각각 단일 채널 이미지 및 3차원 관상동맥으로 다시 매핑 (그림 10, 11)
단일 CPR 이미지에서의 탐지 효과와, 융합된 3채널 이미지에서의 탐지 효과 간 비교는 그림 11
(내가볼때 그림하나가 누락되었군!!!! 그림 12가 여기서 말하는 11임!)
5. Conclusion and limitations
본 연구는 딥러닝 기술을 활용한 관상동맥 플라크 자동 탐지를 위한 새로운 접근 방식을 제안
기존 방법들이 관상동맥 루멘 세그멘테이션에 의존하였지만, 본 연구는 센터라인을 따라 생성된 다각도 cpr 이미지 융합을 활용하여 플라크를 탐지
최종 실험 결과에 따르면, 이 방법은 테스트셋에서 95%의 정확도로 관상동맥 플라크를 정확히 탐지
진단 보조를 위한 컴퓨터 기술의 적용에 있어 중요함
플라크가 없다고 진단되면, 건강한 관상동맥을 의미하며 약물이나 추가 치료가 필요하지 않음
세그멘테이션 부분은 skip
Limitations
향후 연구에서 해결해야 할 몇가지 한계점이 있음
(1) 제안된 방법은 플라크의 존재 여부는 정확히 판단할 수 있지만, 플라크의 유형이나 크기를 분류하지는 못함
석회화, 비석회화, 플라크를 구분하는 것은 여전히 힘듦 (대부분이 석회화에 집중되어 있기 때문)
따라서 향후 연구에서는 다양한 유형의 플라크를 자동으로 탐지하고 분류할 수 있는 방법 개발에 집중
(2) 본 연구에서는 관상동맥 센터라인을 추출하고, CPR된 이미지로 플라크를 탐지했지만, 복잡하고 시간이 많이 소요됨
향후 연구에서는 센터라인 추출 없이 CTA 영상 시퀀스로부터 직접 협착이나 플라크를 식별하고 분류하는 방안을 탐색
(3) 본 연구는 95%의 탐지 정확도를 달성했지만, 사용한 데이터셋의 크기가 제한적이고 실제 임상에서 마주하는 다양한 유형과 크기의 플라크를 완전히 대체하지 못함
본 연구에서는 관상동맥 세그먼트를 동맥 수준에서 표기했지만, 환자에서 수평적 플라크 탐지의 의미는 다루지 않음
결론!
본 연구는 주의 메커니즘을 통합한 Cascade R-CNN 네트워크 모델을 제안하여 관상동맥 플라크를 탐지하고 식별함으로써 영항의학 기술자 및 영상의학과 전문의의 업무 부담을 줄일 수 있음
하지만 플라크 분류 성능, 탐지 과정의 간소화, 데이터셋 확장 측면에서 여전히 개선의 여지가 있음
이러한 한계들을 해결하면 임상에서의 진단 정확도와 효율성을 더욱 향상시킬 수 있음