닫기

대한의료관련감염관리학회

View

Original Article

Korean J healthc assoc Infect Control Prev 2024; 29(2): 146-154

Published online December 31, 2024 https://doi.org/10.14192/kjicp.2024.29.2.146

Copyright © Korean Society for Healthcare-associated infection Control and Prevention

Chechk for updates

Seq2Seq Deep Learning Architecture Based COVID-19 Infected Patient Severity Prediction Using Electronic Health Records

Seung Hwan Bae1 , Ki Tae Kwon2 , Inuk Jung1

School of Computer Science and Engineering, College of IT Engineering, Kyungpook National University1, Department of Internal Medicine, School of Medicine, Kyungpook National University2, Daegu, Korea

Correspondence to: Inuk Jung
E-mail: inukjung@knu.ac.kr
ORCID: https://orcid.org/0000-0003-0675-4244

Received: December 7, 2024; Revised: December 11, 2024; Accepted: December 12, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0).

Background: The COVID-19 pandemic has disrupted healthcare systems worldwide, with overwhelmed facilities leading to high morbidity and mortality rates. Deep learning models that predict patient severity can aid in optimizing resource allocation and patient monitoring. However, conventional models rely on excessive clinical features, reduce generalizability, and fail to provide real-time severity tracking. This study proposes a sequence-to-sequence (Seq2Seq) deep-learning model for predicting COVID-19 severity using minimal clinical features.
Methods: Data from 4,462 patients from two tertiary care hospitals in Daegu, Korea (2020–2022) were used to train the model, with 442 external validation cases collected from the National Institute of Health in Korea. Seq2SeqAttn inputs the observation of 17 clinical features of at most five days and outputs the predicted severity level of up to three days.
Results: The model achieved a 98% recall and 97.6% receiver operating characteristic curve for validation. Seq2SeqAttn correctly identified severe cases, with lactate dehydrogenase (LDH) and neutrophil-lymphocyte ratios significantly differing between the severity groups. Integrated gradients revealed that peripheral oxygen saturation and LDH levels were critical predictors. The model outperformed conventional severity assessment tools, such as the WHO Clinical Progression Scale and National Early Warning Score.
Conclusion: This study presented a real-time COVID-19 severity prediction model using minimal clinical features. The high accuracy and interpretability of the model demonstrates its potential to improve resource allocation and patient care during pandemics. Future studies should investigate its applicability to other respiratory and infectious diseases.

Keywords: COVID-19, Clinical prediction rule, Disease severity, Deep learning

코로나19 팬데믹은 전 세계 의료 시스템에 심각한 혼란을 야기 하였으며, 2019년 12월에 시작되어 2023년 5월 5일 세계 보건 기구가 국제적 공중보건 비상사태의 종료를 선언할 때 까지 전 세계적으로 총 약 7억 7,700만 명의 확진자가 보고되었다[1]. 정부 및 민간 부문이 코로나19 팬데믹을 억제하려는 노력에도 불구하고, 의료 시설은 쉽게 포화되어 제때 입원이 어려워 높은 이환율과 사망률을 초래하였다.

전자건강기록(Electronic Health Record, EHR)의 임상 특성 데이터를 이용한 딥러닝 기반 환자의 중증도 예측 모델은 자원 할당과 질병 모니터링에 도움을 주어 이러한 과제를 해결 하는데 기여 할 수 있다. 이러한 모델은 환자의 중증도 수준을 예측하여 고위험 환자들에게 우선적인 치료를 제공하고, 새로운 임상적 요인을 식별하며, 질병에 대한 임상적 상호작용을 제공하여 더 효율적인 의료진의 개입을 가능하게 한다. 하지만, 대부분의 기존 연구는 코로나19 환자의 중증도를 예측하기 위해 영상 처리 작업에 중점을 두거나 종단 임상 데이터를 활용하지 않았다[2]. 그러나 이러한 예측은 시계열 기반의 실시간 중증도 변화를 추적하지 못하여, 적시에 적절한 치료를 제공해야 하는 의료 자원 관리에는 한계가 있다. 더욱이, 종단 임상 데이터는 질병의 진행 과정을 이해하고 조기 진단 방법을 개발하는데 필수적이다. EHR 데이터를 사용한 일부 연구가 존재 하였으나, 해당 연구들은 40개에서 66개의 임상 특성들을 사용하여 코로나19 환자의 사망률이나 중증도를 예측 하였는데, 이렇게 많은 임상 특성들을 포함하면 데이터 수집과 관리에 대한 부담의 증가로 인해 다른 기관이나 병원에서의 적용이 어렵고 일반화 가능성이 떨어진다[3,4]. 따라서 핵심적인 정보를 담으면서도 최소한의 임상 특성들을 사용하는 예측 모델의 개발이 필요하다.

본 논문에서는 위와 같은 문제점을 해결하기 위해 시계열로 수집된 임상 정보를 토대로 Sequence-to-Sequence (Seq2Seq) 구조의 딥러닝 모델을 기반으로 한 중증도 예측 모델을 제안한다. 해당 모델은 최소 3일 전 악화 또는 완화 상태의 징후를 보이는 코로나 환자들을 포착하여 적절한 치료를 받을 수 있기 위한 목적으로 개발됐다.

본 연구의 임상 특성 데이터는 대한민국의 다섯 개의 의료 기관에서 수집되었다. 모델 학습을 위한 훈련 데이터는 2020년 2월부터 2022년 10월까지 칠곡경북대학교병원과 경북대학교병원에서 수집되었다. 외부 검증 데이터로는 질병관리청 국립보건연구원을 중심으로 2021년 1월부터 2022년 9월까지 충남대학교병원, 서울의료원, 삼성서울병원에서 수집하였다. 훈련 데이터는 10,627명, 외부 검증 데이터는 459명의 코로나 환자로 구성되어 있다. 추가적으로, 제안된 예측 모델이 다른 호흡기 관련 감염성 질환에도 적용될 수 있는지 평가하기 위해 지역사회 폐렴 데이터를 칠곡경북대학교병원에서 189명 환자로부터 수집하였다.

본 연구의 모델의 입력으로 활용하기 위해, 수집된 임상 데이터의 전처리를 수행하여, 환자의 입원일 당 17개의 임상 특성 데이터로 구성되게 초기 데이터를 변환하였다. 사용한 17개의 임상 특성 데이터는 6개의 활력 징후(체온, 수축기 혈압, 이완기 혈압, 심박수, 호흡수, 산소포화도)와 11개의 혈액검사(요소질소, 크레아티닌, C 반응성 단백 등)로 구성된다. 활력 징후 특성의 경우 환자가 입원일 당 여러 번 관측되기에 평균 값을 사용하였으며, 혈액 검사는 입원일마다 수행하지 않아 결측치 들이 다수 존재하였다. 이를 해결하기 위해 인접한 관측치들 사이의 선형 보간법을 사용하여 결측치들을 제거하여 환자의 모든 입원일마다 17개의 임상 특성 데이터로 구성되도록 전처리를 수행하였다. 선형 보간법은 결측치들이 데이터의 평균 경로와 비슷한 형태를 가지게 하며, 이는 선행연구의 방식을 따랐다[5]. 모델의 복잡성을 최대한 줄이기 위해, 호중구 수치와 림프구 수치는 호중구 대 림프구의 비율로 변환하여 모델의 입력으로 사용하였다. 최종적으로, 훈련 데이터는 4,462명, 외부 검증 데이터는 442명의 코로나19 환자로 구성되었다. 모델이 입력으로 사용하는 환자들의 임상 특성에 관한 통계치는 Table 1에서 기술하였다.

Table 1 . Statistics of clinical variables collected from KNU and NIH

Model input featuresKNU (n=4,462)NIH (n=443)
Train and test datasetExternal validation set
Temperature (℃)36.54±0.3337.23±0.73
Systolic blood pressure (mmHg)124.11±15.18114.45±15.43
Diastolic blood pressure (mmHg)73.35±9.7572.61±11.50
Heart rate (BPM)81.17±14.4883.05±14.72
Respiratory rate (BPM)20.43±2.9420.11±3.67
SpO2 (%)97.77±1.7796.37±3.07
Blood urea nitrogen (mg/dL)24.11±19.8815.65±11.15
Creatinine (mg/dL)1.27±1.710.95±1.21
Hemoglobin (g/dL)11.83±2.2013.10±1.84
Lactate dehydrogenase (U/L)343.52±266.13427.40±305.77
Lymphocytes (%)19.46±12.4325.60±11.93
Neutrophils (%)70.10±15.5163.91±14.15
Platelet count (103/mL)223.54±109.41233.13±92.02
Sodium (mmol/L)136.85±4.56138.52±3.38
Potassium (mmol/L)3.93±0.564.05±0.46
White blood cell count (103/mL)7.84±5.616.23±3.56
C-reactive protein (mg/dL)3.98±5.242.46±3.55

Abbreviations: BPM, beat per minutes; SpO2, peripheral oxygen saturation.



본 연구에서 제시하는 중증도 예측 모델은 최대 5일의 임상 변수 17개로 구성된 시퀀스를 입력 받아 입력 시퀀스의 마지막 날의 중증 수준을 포함하여 향후 최대 3일 동안의 중증 수준을 예측한다. 모델은 인코더와 디코더(Seq2Seq) [6]로 구성된다. Seq2Seq 구조는 순서가 있는 입력 데이터를 입력으로 받아 순서가 있는 값을 출력하는 딥러닝 구조이며, 주로 입력 데이터와 다른 도메인의 데이터를 출력하며 기계 번역과 같은 자연어 처리 분야에 주로 사용된다. 해당 구조는 출력 시 자신의 이전 출력 값을 활용 할 수 있어, 출력 값들의 상관관계를 높이는데 기여하는 장점이 있다. 본 연구의 중증도 예측 모델의 인코더는 최소 1일, 최대 5입원일의 길이를 가지는 환자의 임상 특성 데이터 시퀀스를 입력으로 받는다. 인코더는 입력된 임상 특성들 간의 복잡한 패턴을 인식하여 환자의 중증도와 관련된 정보를 추출하는 역할을 수행하며, 내부의 Long Short-Term Memory (LSTM) [7] 유닛을 사용한다. 디코더는 인코더가 추출한 정보를 활용하여 입력 시퀀스의 마지막 날부터 향후 3일간의 환자의 중증도를 예측한다. 디코더 역시 LSTM 유닛을 사용하며 예측하려는 각 시점 마다 Bahdanau Attention 메커니즘[8] 을 추가적으로 사용한다. 해당 매커니즘은 입력 시퀀스 사이에서, 환자의 중증도와 관련성이 높은 임상적 특성이 관측된 입력날에 디코더가 조금 더 집중하여 예측할 수 있게 한다. 모델을 학습 및 검증하기 위해 중증도 예측 문제를 이진 분류 문제로 설계했으며, 산소 요법 치료를 라벨로 사용하였다. 이때 ‘ROOM AIR’, ‘NASAL’은 경증 산소치료 요법으로, ‘MASK’, ‘High Flow Nasal Cannula (HFNC)’, ‘MECHANICAL VENTILATION’은 중증 산소치료요법으로 분류하였다. 디코더 직후 위치하는 분류 모듈이 산소치료의 분류를 수행하며, 단층의 완전연결층과 경증과 중증 산소치료요법을 분류하는 출력층으로 이루어져 있다. 층간의 활성화 함수는 Gaussian Error Linear Unit (Gelu) 함수[9]를 사용하였다. 모델의 최종 출력 값은 4개의 확률 값으로 이루어져 있으며, 각 확률 값은 입력 시퀀스의 마지막 날부터 시작하여 향후 3일동안 환자에게 중증인 산소치료요법을 요구하는 확률 값이다. 즉, 모델의 확률 값이 1에 가까울 수록 환자에게 중증 산소 치료요법이 필요함을 예측한 것이다. 인코더와 디코더의 구조는 Fig. 1에서 도식화하였다. 본 연구의 메인 모델을 Seq2SeqAttn으로 명명했으며, 이 모델의 외부 검정 데이터에 대한 일반화 능력을 평가하기 위해 3개의 모델을 추가적으로 구현하였다. Seq2Seq은 메인 모델과 동일한 구조이나 attention 매커니즘이 적용되지 않은 모델이다. VanillaLSTM은 Seq2Seq구조가 아닌, 별개의 LSTM 유닛이 향후 3일의 중증도를 개별적으로 예측하도록 설계된 모델이다. 해당 모델들은 모두 동일한 조건 하에 10-fold 교차 검정을 실시하였고, 각 fold의 평가지표들의 평균으로 최종 성능을 평가 하였다. 메인 모델의 인코더와 디코더가 사용하는 LSTM은 각 32개의 노드로 이루어진 2층의 하이퍼파라미터를 가지며, 분류 모듈은 16차원의 은닉 완전연결층을 가진다. 이는 F1 score에 기반한 그리드 탐색으로 결정되었다.

Figure 1. Structure of the main model. x represents collection of data, consisting of 17 clinical features. t denotes current day, and a maximum input sequence length of Li=5 days can be fed into the model. Model predicts the requirement for severe oxygen treatment for t, t+1,…, t+Lo(=4)−1 days, denoted as o.
Abbreviation: LSTM, long-short term memory.

추가적으로, 모델이 중증 산소치료요법을 예측했을 때, 어떠한 임상 특성이 모델의 예측에 중요하게 기여하였는지 확인하기 위해, 설명 가능한 인공지능 알고리즘 중 하나인 통합 기울기(Integrated Gradients) [10]를 활용하여 각 임상적 특성의 특성 중요도를 계산하였다. 이 특성 중요도 값은 Receiver Operating Characteristic Area Under the Curve (ROC AUC), Recall (Sensitivity), F1 score와 같은 단순히 수치적인 성능지표와 함께 모델이 환자의 중증도를 예측할 때 타당한 근거하에 중증도 예측을 했는지 확인 할 수 있는 중요한 평가 지표이며, 의료 인공지능 분야에서 주로 사용되고 있다.

중증도 예측에 대한 추가적인 검증을 위해, 모델의 예측 값을 통한 추가적인 임상적 분석을 진행하였다. 본 연구에서 제시하는 중증도 예측 모델의 예측 값이 코로나19의 중증도를 대변한다는 점에서, 외부 검증 데이터 환자들의 입원날을 중증도 군에 따라 구분하여 추가 연구를 수행하였다. 모델의 예측값들은 0.4를 기준으로 경증 산소치료요법과 중증 산소치료요법을 가장 잘 분류 하였으며, F1 score 기준으로 선정됐다. 이에 따라, 모델의 예측값이 0.4보다 낮은 날은 경증(Non-Severe)군으로, 0.4 이상의 날은 중증(Severe)군으로 분류하였다. 각 중증도 군에 속하는 임상 특성들에 대해 중증도 간에 유의미한 차이가 있는지 확인하기 위해, t 검정을 실시하였고, Bonferroni correction을 사용하여 이를 교정하였다.

본 연구는 충남대학교병원(IRB no.: CNUH 2020-12-002-008), 서울의료원(IRB no.: SEOUL 2021-02-016), 삼성서울병원(IRB no.: SMC-2021-03-160), 서울대학교병원(IRB no.: C- 1509-103-705), 그리고 질병관리청 국립보건연구원(IRB no.: 2020-09-03-C-A)의 기관생명윤리위원회 승인 후 수행되었다. 추가적으로 대구공동임상연구윤리위원회(IRB no.: DGIRB 2022-05-002-001)의 승인을 받았다. 후향적 데이터를 활용한 연구로 연구대상자 동의는 면제되었다.

외부 검정 데이터에서 중증도 예측 성능 평가 결과, VanillaLSTM 구조에 비해 인코더 디코더 구조 기반의 모델이 월등한 성능을 보였다. 2개의 인코더 디코더 구조 모델 중에 attention 메커니즘 기반의 Seq2SeqAttn이 F1 score에서 가장 우수한 결과를 보여 본 연구의 메인 모델로 사용하였다. t-test를 수행한 결과 해당 모델은 VanillaLSTM에 비해 유의미하게 높은 성능을 보였으며, 모델의 성능은 다음과 같다: 97% (p adj. <0.001)의 recall (sensitivity), 90%에서 96% (p adj. <0.001) 사이의 ROC-AUC를 달성하였다. 모든 지표에서 예측 결과가 가장 우수했던 시점은 현재일로부터 +0일을 예측하는 시점이었으며, 이후 예측에서는 점차 감소하는 경향을 보였다. 따라서, 본 연구는 예측 모델이 코로나19의 중증도 진행을 효과적으로 예측할 수 있음을 입증하였다. 각 모델의 외부 데이터에 대한 성능 지표들을 Table 2에 제시하였다.

Table 2 . Model performance on external validation data

ROC-AUC scoreRecall (sensitivity)F1 score
+0+1+2+3+0+1+2+3+0+1+2+3
Seq2SeqAttn0.9871±0.0020.9769±0.0030.9678±0.0050.9578±0.0060.9304±0.0090.9227±0.0080.9070±0.0120.8904±0.0180.8769±0.0160.8030±0.0250.750±0.0290.7079±0.030
Seq2Seq0.9876±0.0020.9762±0.0040.9666±0.0060.9566±0.0070.9308±0.0130.9185±0.0170.9052±0.0230.8875±0.0250.8689±0.0230.7899±0.0310.7330±0.0350.6908±0.038
VanillaLSTM0.9042±0.0110.9039±0.0110.9021±0.0120.8992±0.0130.8302±0.0340.8373±0.0350.8357±0.0370.8297±0.0390.5692±0.0430.5626±0.0430.5567±0.0410.5532±0.041

The table presents the mean and 95% confidence intervals for each performance metric across 10 folds. Results are shown for each of the three models and their respective performance metrics, with +0, +1, +2, and +3 indicating the days after the last observation, which are used to measure the performance metrics.

Abbreviations: ROC AUC, receiver operating characteristic area under the curve; Attn, attention; LSTM, long-short-term-memory,



중증도 예측모델의 예측값에 기반한 중증도에 따라 분류된 환자 입원날들의 임상적 특성들 값에서, t 검정의 결과를 통해 각 중증도 군에 속하는 임상 대부분의 임상 특성 값들이 유의미한 결과를 보였다. 특히, 중증도가 높은 환자는 젖산탈수효소, 호중구 대 림프구의 비율이 높다는 기존 연구와 일치하였다[11,12]. WHO Clinical Progression Scale (WHO Score) [13] 이나 National Early Warning Score (NEWS) [14] 와 같은 기존 중증도 점수들은 임상검사 결과 특성을 반영하지 못하나, 중증도 예측 모델은 이 특성들을 잘 반영해 표면적이지 않은 중증도를 더 잘 관측함을 나타낸다. Fig. 2에 중증도에 따라 유의미한 차이를 보이는 임상 변수들을 선별하여 특성들을 도식화하였다.

Figure 2. Clinical variables in external validation data. Six clinical features that show significant differences between the Non-Severe group and Severe groups, as defined by our prediction values, are described. Blue points represent feature values included in the Non-Severe group, while red points represent those in the Severe group. Numerical values located under the feature names are P-values calculated using the t-test.
Abbreviations: BPM, beat per minutes; LDH, lactate dehydrogenase; NLR, neutrophil to lymphocyte ratio; CRP, C-reactive protein; WBC Count, white blood cell count.

설명 가능 인공지능 알고리즘을 활용하여 임상 특성의 특성 중요도를 평가한 결과, 훈련 데이터와 외부 검증 데이터, 지역 사회 폐렴 데이터 모두 활력 징후 데이터의 호흡수가 높은 기여를 하는 것으로 나타났으며, 이는 해당 연구에서 사용된 질환이 모두 호흡기 질환임인 것과 관련 있는 것으로 추정된다. Fig. 3에 3개 데이터에 대한 특성 중요도 값들이 도식화되어 있으며, 코로나19 환자 데이터에서는 산소포화도, 호중구 대 림프구 비율, 젖산탈수효소 등이 높게 기여하는 것으로 나타나 있다. 이를 통해 모델이 중증도를 예측할 때, 잘못된 정보가 아닌 코로나19 중증도와 연관이 높은 임상적 특성들을 주로 사용하여 올바른 근거에 기반한 예측을 수행하였다고 해석 할 수 있다. 반면, 지역사회폐렴 환자 데이터는 코로나19 환자 데이터에 비해 다소 다른 임상 변수들의 기여도 양상을 보였다. 특히, 폐렴 환자 데이터에서는 코로나19 환자 데이터에서 주로 기여하지 않았던 임상적 변수인 크레아티닌이 높은 기여도를 차지하는 결과를 보였다.

Figure 3. Average feature importance across data. For each data, when the model predicts that a patient will require severe oxygen treatment, the contribution of each clinical feature to that prediction is calculated using explainable AI. As a feature’s importance value increases, it indicates that the feature is more strongly related to severity.
Abbreviations: SBP, systolic blood pressure; DBP, diastolic blood pressure; SpO2, peripheral oxygen saturation; LDH, lactate dehydrogenase; NLR, neutrophil to lymphocyte ratio; CRP, C-reactive protein; WBC count, white blood cell count.

외부 검증 데이터의 한 환자가 입원부터 퇴원까지 본 연구 모델의 예측 값의 평균과 NEWS, WHO Score를 도식화 하였다(Fig. 4). Fig. 5에서는 해당 환자의 실제 임상 특성들의 값과 설명 가능 인공지능을 활용한 임상 특성 중요도 값을 함께 도식화하였다. 해당 환자는 입원 기간 동안 경증의 산소 치료(ROOM AIR, NASAL)를 받았으나, 실제 임상 특성들 중 혈액 검사 특성에 해당하는 젖산탈수효소, 호중구 대 림프구 비율, 백혈구 수치 등은 모두 경증과는 큰 차이의 값을 보였고, 특성 중요도도 모델이 중증을 예측하는데 크게 기여한 것으로 나타났다. 본 연구의 중증도 예측 모델은 임상검사결과 특성을 올바르게 반영하여 코로나19 감염환자의 중증도가 악화될 것임을 예측했으나, NEWS 및 WHO Score는 이를 반영하지 못하는 것으로 확인되었다. 해당 임상검사결과 특성의 값들이 증가함에 따라, 해당 특성들의 기여도 값 역시 함께 증가하는 것으로 보아, 모델이 임상적 특성들의 증감을 시계열 적으로 잘 반영함을 보여준다.

Figure 4. Predicted Values of the Severity Prediction Model, National Early Warning Score, and WHO Clinical Progression Scale for deteriorating patient. From admission to discharge, our model’s average prediction values, National Early Warning Score, and WHO Clinical Progression Scale are presented for each hospitalized day. The colors at each point indicate the oxygen treatment levels the patient actually received.

Figure 5. Clinical feature values and feature importance values about patient in Fig. 5. The clinical feature values of the patient are displayed in red if they are higher than the average clinical feature values of patients in the non-severe group and in blue if they are lower. Red contribution values indicate that the corresponding clinical feature value at that time contributed to the severity prediction model classifying the patient as severe, while blue contribution values indicate the opposite.
Abbreviations: LDH, lactate dehydrogenase; NLR, neutrophil to lymphocyte ratio; WBC count, white blood cell count; CRP, C-reactive protein; BPM, beat per minutes; SpO2, peripheral oxygen saturation.

코로나 19 팬데믹 상황 속에서, 갑작스러운 감염병의 확산은 전 세계 의료 시스템에 치명적인 마비를 야기하였다. 전 세계는 한정된 의료 시스템 하에 환자의 증상이나 중증도에 알맞은 치료 제공의 필요성을 몸소 느꼈다. 최근 의료 인공지능 분야의 성장과 EHR 데이터의 축적은 환자의 사망과 생존을 예측하거나 분류하는 알고리즘이나 인공지능의 개발을 촉진하였다. 하지만 이들의 대부분을 실제 의료 시스템에 도입하여 상용화 하기에는 많은 제약 사항들이 존재한다. X-ray 이미지 혹은 매우 많은 임상 특성들을 입력으로 요구하는 모델들은 확장성이 떨어져 제한된 의료 기관에서만 사용할 수 있으며, 환자의 사망을 예측을 목표로 설계된 모델은 환자의 중증도에 대한 세밀함이 떨어져 병상 배정과 같은 문제를 해결하기에는 거리가 있다. 본 논문은 이과 같은 제약 사항들을 해결하고, 코로나19 감염 환자의 중증도를 실시간으로 예측 할 수 있는 딥러닝 기반의 모델을 제안한다.

중증도 예측 모델은 최소한의 핵심 임상 특성들을 입력으로 받아들여 여러 기관에서 많은 임상 특성들의 추가 채취를 요구하지 않아 높은 범용성을 보인다. 또한 해당 모델은 비교적으로 타 인공지능 모델들에 비해 적은 용량을 차지하고 낮은 구동 사양을 요구한다. 본 논문의 모델은 산소 치료도 예측을 목표로 지정하여 학습하였다. 이는 모델이 환자의 사망도 예측 할 수 있음과 동시에 환자의 중증도를 조금 더 세밀하게 분류하는 장점을 제공한다. 추가적으로, 모델이 순차적인 환자의 입원날들을 입력으로 사용할 뿐 만 아니라, 예측 역시 향후 3일에 대한 환자의 중증도를 순차적으로 예측함으로써, 환자의 상태를 지속적으로 확인이 가능하며 적절한 시점에 알맞은 치료 제공에 도움이 될 수 있다.

모델은 5일의 길이를 가지는 입력 시퀀스를 사용하여 학습했으나, LSTM의 유동적인 구조로 인해 5일보다 더 짧은 입력 시퀀스가 주어져도 예측으로 사용할 수 있으며, 이는 환자의 입원 초기에도 신속한 대응을 가능하게 한다. 사용 할 수 있는 최소한의 핵심 임상 특성들과 산소치료 수준으로 학습하는 것이 어려운 문제임에도 불구하고, 본 모델은 높은 ROC AUC 와 recall 값을 보였으며, 이는 모델이 코로나19 환자의 중증도 진행을 예측하는 데 효과적임을 보인다. 모델의 예측 결과에서 대부분의 임상 특성에 걸쳐 경증군과 중증군 간에 유의미한 차이가 관찰되었다. 이 중에서 젖산탈수효소와 호중구 대 림프구 비율이 주요 구분 요인으로 확인됐다. 상위 림프구와 호중구는 실제 연구에서 코로나19 사례에서 염증과 면역 반응의 지표로 제시되고 있다[15]. 특히, 백혈구 수치도 경증군과 중증군 간에 유의미한 차이가 있었으며, 기존 연구와 일치하였다[16]. 이는 모델이 입력으로 요구하는 임상적 특성 뿐 아니라 추가적인 임상 특성들의 분석이 가능하다면, 모델이 예측한 결과값을 통해 분류된 중증도군에 관련된 추가적인 연구를 수행하여 코로나19에 특이적인 임상 요인 발굴 기회를 제공한다. 약물의 투여 여부나 백신의 접종 유무에 따른 모델의 예측값 차이를 분석함과 같이 본 모델의 활용 가능성은 단순히 중증도 예측에 그치지 않는다. 또한 설명 가능한 인공지능 기법을 통해 중요한 예측 요인을 확인하였다. 코로나19 환자 데이터를 사용하여 모델을 학습하였음에도 불구하고, 크레아티닌과 같은 폐렴 환자들의 중증도와 관련이 높은 임상 특성들이 높은 특성 중요도를 나타냈다[17]. 이는 모델이 코로나19에 특징적인 패턴을 학습하였을뿐만 아니라 코로나19에 특이적이지 않은 환자의 전반적인 중증도도 어느 정도 학습한 것으로 보인다. 이는 본 논문의 접근 방식이 다른 감염병이나 호흡기 질환에도 효과적으로 적용될 수 있음을 나타낸다.

본 연구는 후향적인 데이터만을 모델의 학습에 이용했고, 전향적으로 환자에게 적용하지 못했다는 한계점을 가진다. 그러나, 학습 데이터와 별개로 다른 기관에서 수집한 외부 검증 데이터를 통해 높은 일반화 능력을 확인했고, 실제 병원에서 활용될 예정이며 높은 예측 성능이 기대된다. 추가적으로, 코로나19 팬데믹이 종식되어 활용성이 떨어진다는 한계점이 있으나, 본 연구의 접근 방식을 향후 폐렴이나 패혈증 등 다른 감염증에도 적용할 수 있도록 고도화 계획을 가지고 있다.

결론적으로, 연구자들은 코로나19 환자의 임상데이터를 활용하여 코로나19 환자의 중증도를 예측할 수 있는 딥러닝 기반의 모델을 개발했으며, 외부 검증 데이터에 적용했을 때 상당히 정확한 중증도 예측 성능을 나타냈다. 또한, 코로나19를 제외한 지역사회 폐렴에도 적용가능성을 확인할 수 있었다. 추가적인 연구를 통하여 이 모델을 다양한 감염병에 적용할 수 있도록 발전시키고, 감염병 환자를 치료하는 여러 의료기관에서 활용할 수 있게 한다면, 향후 다가올 새로운 감염병 팬데믹 상황에서 제한된 의료자원을 효율적으로 활용하는 데에 큰 도움이 될 것이다.

The authors have no potential conflict of interest to disclose.

본 연구는 질병관리청 학술연구용역 사업(연구과제 번호: 2024-ER-0801-00)과 보건복지부의 재원으로 감염병의료안전사업(과제고번호: RS-2022-KH124555 [HG22C0014]) 지원으로 수행되었음.

Conceptualization and Methodology: IJ & KTK. Investigation: SHB. Project administration and Supervision: IJ & KTK. Writing original draft and Review & Editing: all authors.

  1. World Health Organization (WHO). WHO COVID-19 dashboard. ; 2024. Available from: https://data.who.int/dashboards/covid19/cases (updated Dec 1; cited Dec 5).
  2. Nizam NB, Siddiquee SM, Shirin M, Bhuiyan MIH, Hasan T. COVID-19 severity prediction from chest X-ray images using an anatomy-aware deep learning model. J Digit Imaging 2023;36:2100-12. https://doi.org/10.1007/s10278-023-00861-6.
    Pubmed KoreaMed CrossRef
  3. Park H, Choi CM, Kim SH, Kim SH, Kim DK, Jeong JB. In-hospital real-time prediction of COVID-19 severity regardless of disease phase using electronic health records. PLoS One 2024;19:e0294362. https://doi.org/10.1371/journal.pone.0294362.
    Pubmed KoreaMed CrossRef
  4. Schwab P, Mehrjou A, Parbhoo S, Celi LA, Hetzel J, Hofer M, et al. Real-time prediction of COVID-19 related mortality using electronic health records. Nat Commun 2021;12:1058. https://doi.org/10.1038/s41467-020-20816-7.
    Pubmed KoreaMed CrossRef
  5. Lee EE, Hwang W, Song KH, Jung J, Kang CK, Kim JH, et al. Predication of oxygen requirement in COVID-19 patients using dynamic change of inflammatory markers: CRP, hypertension, age, neutrophil and lymphocyte (CHANeL). Sci Rep 2021;11:13026. https://doi.org/10.1038/s41598-021-92418-2.
    Pubmed KoreaMed CrossRef
  6. Cho K, van Merrienboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv . https://doi.org/10.48550/arXiv.1406.1078.
    CrossRef
  7. Hochreiter S, Schmidhuber J. Long short-term memory. Neural Comput 1997;9:1735-80. https://doi.org/10.1162/neco.1997.9.8.1735.
    Pubmed CrossRef
  8. Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate. arXiv . https://doi.org/10.48550/arXiv.1409.0473.
  9. Hendrycks D, Gimpel K. Gaussian error linear units (GELUs). arXiv . https://doi.org/10.48550/arXiv.1606.08415.
  10. Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks. arXiv . https://doi.org/10.48550/arXiv.1703.01365.
  11. Fialek B, Pruc M, Smereka J, Jas R, Rahnama-Hezavah M, Denegri A, et al. Diagnostic value of lactate dehydrogenase in COVID-19: a systematic review and meta-analysis. Cardiol J 2022;29:751-8. https://doi.org/10.5603/cj.a2022.0056.
    Pubmed KoreaMed CrossRef
  12. Toori KU, Qureshi MA, Chaudhry A, Safdar MF. Neutrophil to lymphocyte ratio (NLR) in COVID-19: a cheap prognostic marker in a resource constraint setting. Pak J Med Sci 2021;37:1435-9. https://doi.org/10.12669/pjms.37.5.4194.
    CrossRef
  13. Rubio-Rivas M, Mora-Luján JM, Formiga F, Arévalo-Cañas C, Lebrón Ramos JM, Villalba García MV, et al; SEMI-COVID-19 Network. WHO ordinal scale and inflammation risk categories in COVID-19. Comparative study of the severity scales. J Gen Intern Med 2022;37:1980-7. https://doi.org/10.1007/s11606-022-07511-7.
    Pubmed KoreaMed CrossRef
  14. Alam N, Vegting IL, Houben E, van Berkel B, Vaughan L, Kramer MH, et al. Exploring the performance of the National Early Warning Score (NEWS) in a European emergency department. Resuscitation 2015;90:111-5. https://doi.org/10.1016/j.resuscitation.2015.02.011.
    Pubmed CrossRef
  15. Buonacera A, Stancanelli B, Colaci M, Malatino L. Neutrophil to lymphocyte ratio: an emerging marker of the relationships between the immune system and diseases. Int J Mol Sci 2022;23:3636. https://doi.org/10.3390/ijms23073636.
    Pubmed KoreaMed CrossRef
  16. Zhu B, Feng X, Jiang C, Mi S, Yang L, Zhao Z, et al. Correlation between white blood cell count at admission and mortality in COVID-19 patients: a retrospective study. BMC Infect Dis 2021;21:574. https://doi.org/10.1186/s12879-021-06277-3.
    Pubmed KoreaMed CrossRef
  17. Yeun YR, Kwak YS, Kim HY. Association between serum creatinine levels and pulmonary function of Korean adults: the 2016-2019 Korea National Health and Nutrition Examination Survey. Phys Act Nutr 2023;27:60-5. https://doi.org/10.20463/pan.2023.0008.
    Pubmed KoreaMed CrossRef

Share this article on :

Related articles in KJICP

더보기

Changes in the Infection Control Organization of General Hospitals and the Work of Infection Control Nurses during the COVID-19 Pandemic in South Korea

Song Yi An, Woong Jung, Chang Min Lee, Sung Hyuk Park, Hyun Kyung Park, Myung Chun...

2024; 29(2): 116-127 https://doi.org/10.14192/kjicp.2024.29.2.116

Impact of the Rapid COVID-19 Polymerase Chain Reaction Test on Length of Emergency Room Stay

Song Yi An, Woong Jung, Chang Min Lee, Sung Hyuk Park, Hyun Kyung Park, Myung Chun...

2024; 29(1): 59-62 https://doi.org/10.14192/kjicp.2024.29.1.59

Viral Shedding Kinetics in Patients with COVID-19

Song Yi An, Woong Jung, Chang Min Lee, Sung Hyuk Park, Hyun Kyung Park, Myung Chun...

2023; 28(1): 4-9 https://doi.org/10.14192/kjicp.2023.28.1.4

Most KeyWord