전국의료관련감염감시체계(Korean National Healthcare-associated Infections Surveillance System, KONIS) 중환자실 부문은 2006년 7월 전국 44개 종합병원/대학병원의 76개 중환자실에서 요로감염, 혈류감염, 폐렴에 대해 감시를 시작하여 2007년 7월부터 연간 중환자실 의료관련감염률을 보고하고 있다[1]. 전국적인 의료관련감염 감시체계의 자료는 감염률을 다른 병원과 비교할 때나 국가의 의료관련감염관리 정책을 수립할 때 참고자료가 되므로 자료의 정확성이 무엇보다 중요하다. 따라서 의료관련감염 감시체계를 안정적으로 유지하는 것과 함께 중요한 것은 자료의 정확도를 일정 수준 이상으로 유지하는 것이다. 여기서는 의료관련감염 감시체계에서 자료 타당도 조사의 필요성과 외국의 사례, KONIS 타당도 조사의 방법과 결과에 대해 중환자실 부문 자료를 중심으로 기술하고자 한다.

의료관련감염 감시를 위해서는 복잡하고 다양한 병원의 정보 시스템을 추적하고 종합해야 하고 많은 자료를 수집하여 관련성을 파악해야 한다. 여러 감시담당자가 자료를 입력하고 해석 방법에서 주관적인 판단이 개입할 수 있는 여지가 있기 때문에 진단에 차이가 생길 수 있다. 의료관련감염을 조사하고 상호 비교한다는 것은 표준화된 진단기준을 근거로 조사자들간 일치율이 높은 신뢰할 만한 자료를 입력하고 있다는 것을 전제로 하므로 의료관련감염 감시체계에서 감시 자료의 정확도를 일정 수준 이상으로 유지하는 것이 중요하며 타당도 조사를 통해 감시 자료의 정확도를 정기적으로 평가해야 한다[2]. 타당도 조사는 참여병원에서 의료관련감염 감시 기준을 적용하는데 문제가 없는지, 감시 시스템에 보완할 점이 있는지, 감시 자료의 오류는 어느 정도인지 등을 확인하여 궁극적으로 정확한 의료관련감염 감시 자료를 수집하고 보다 정확도가 높은 자료를 제공하고자 하는데 목적이 있다.

KONIS 중환자실 부문의 참여병원과 참여 중환자실의 수는 2006년 감시체계 시작 이후 지속적으로 증가 추세를 보여 왔다(Fig. 1) [3]. 특히 2016년 7월에는 건강보험심사평가원의 의료질향상 분담금 지표 중 하나로 KONIS 참여 여부가 포함되었고 참여병원의 기준이 300병상 이상에서 200병상 이상의 병원으로 확대되면서 참여병원이 전년도 103개에서 195개, 참여 중환자실이 178개에서 285개로 크게 증가하였다. 또한 의료기관의 상황에 맞게 감시 기간을 분기별로 정하고 자료를 입력하던 방식에서 연 단위로 참여하는 방식으로 변경되었다. 이후 2019년에는 참여병원 기준이 150병 이상으로, 2022년에는 100병상 이상의 병원으로 더욱 확대되었다[1]. KONIS 중환자실 부문에서는 2년마다 매뉴얼을 개정하고 있으며 이 때 감시의 기준이 변경되기도 한다. 2016년 7월에는 진단기준을 표준화하고 객관성을 유지하기 위해 미국 NHSN (National Healthcare Safety Network)의 변경된 기준을 반영하여 진단기준 충족기간(infection window period), 동일감염 불가기간(repeat infection timeframe) 등의 새로운 개념이 도입되었고 중환자실 의료관련감염의 진단 기준이 48시간에서 캘린더 데이(calendar day) 2일로 변경되었다[4]. 이러한 변화의 상황에서 변경된 감시 기준이 정확하게 반영되어 감시가 이루어지고 있는지, 자료의 질이 적절하게 유지되는지 평가하는 것이 KONIS 자료를 이용하는 데에 있어 중요하다.

Figure 1. Participating hospitals and intensive care units (ICUs) in the Korean Healthcare-associated Infections Surveillance System since 2006.

의료관련감염 감시체계의 감염률에는 오류가 있을 수 있으나 표준화된 검증 과정(audit process)을 적용하면 감염 보고의 정확도를 향상시키는 데에 도움이 되는 것으로 알려져 있다[5]. 그러나 의료관련감염 감시체계 자료의 정확도를 평가하는 것은 간단하지 않다. 외부 타당도 조사(external validation)는 가장 중요한 타당도 조사 방법이지만 기술적으로 어렵고 많은 노력과 시간, 비용이 소요된다[2]. 이를 보완하면서 자료의 질 향상을 도모하기 위해 각 참여병원에서 자체 점검을 하도록 하는 내부 타당도 조사(internal validation), 증례 문항에 대한 응답으로 자료의 질을 추정하는 증례에 대한 설문조사(case studies or case vignettes) 등의 방법이 사용되고 있다.

1. 외부 타당도 조사

감시 자료 수집에 관여하지 않는 외부 기관의 전문 인력이 각 참여병원을 방문하여 의무기록을 직접 조사하고 보고된 감염 자료와 차이가 있는지 확인하는 방법이다. 객관적으로 자료의 질을 평가할 수 있는 방법이지만 후향적 조사이고 조사자가 여러 지역의 병원을 방문해야 한다. 대부분의 경우 일부의 자료만 평가할 수 있으며 비용과 시간이 많이 소요된다는 제한점이 있다[2]. 외부 타당도 조사에 표준화된 방법이 있는 것은 아니다. 전체 자료를 조사하는 것은 현실적으로 불가능하기 때문에 표본 추출 과정이 필요한데 Table 1에 정리한 바와 같이 조사대상병원이나 조사대상환자를 선정할 때 각 감시체계의 특성, 참여병원의 수, 자원의 가용성, 조사의 목적 등에 따라 다양한 방법으로 시행되고 있다[6-13]. 참여병원 선정 방법을 예로 들면 연구에 따라 모든 참여병원을 대상으로 조사하기도 하고[9,10] 감염률이 높은 병원을 일부 선정하여 조사하기도 하며[6] 무작위로 정해진 수만큼 선택하기도 한다[7,8,11]. 조사대상환자 선정 방법도 연구마다 다양하여 병원별로 일정한 수의 요로감염, 혈류감염, 폐렴 환자, 비감염 대조군 환자를 선택하여 조사하거나[6,7] 일정한 기간에 입원한 중환자실 환자 전체를 조사하는 방법, 혈류감염의 경우에는 혈액배양 양성 환자 전체 혹은 일부를 선택하여 조사하기도 한다[8-12]. 외국의 의료관련감시체계에서 시행한 타당도 조사의 구체적인 방법과 민감도, 양성 예측도 등의 타당도 조사 결과는 각각 Table 1과 Table 2에 정리하였다.

Table 1 . Comparison of previous external validation studies by retrospective medical chart review [23]

Reference number (year)	Surveillance system	Target HAI of ICU	Number of patients	Target period	Selection of hospitals or ICUs	Selection of patients	Investigators	Survey method
[6] (1998)	NNIS (National Nosocomial Infections Surveillance, precursor to NHSN)	UTI, BSI, PNEU	1,136	January 1991-June 1993	Nine hospitals that reported a sufficient number of infections to permit an adequate sample	A stratified random sampling: 15 BSI, 15 PNEU, 25 SSI, 15 UTI; 65 high- and 15 low-risk non-HAI patients at each hospital	Four-to-six-member teams out of a total of 32 infection control professionals	Each chart was reviewed independently by two reviewers. If there was a disagreement, the two reviewers reread the chart together to reach a consensus. Two epidemiologists confirmed or rejected the discrepant cases.
[7] (2007)	KISS (Krankenhaus Infektions Surveillance System)	BSI, LRTI	1,481	Before August 2000	Random selection of 20 ICUs from among 77 KISS ICUs	Fifteen BSI or LRTI and 60 non-HAI patients at each ICU	Trained physicians	In cases of discrepancy, a supervising epidemiologist was consulted.
[13] (2010)	SPIN-UTI (Italian Nosocomial Infections Surveillance in Intensive Care Units project)	PNEU, BSI, UTI, CRI	832	November 2006-May 2007	Random selection of 8 ICUs from 49 SPIN-UTI ICUs	All medical records of 75 HAI patients and 757 non-HAI patients	Trained physicians	In cases of discrepancy, a supervising epidemiologist was consulted.
[8] (2009)	VICNISS (Victorian Hospital Acquired Infection Surveillance System)	CLABSI	108	January 2006-December 2006	Random selection of 6 hospitals from among 18 hospitals in VICNISS	Up to 10 results reported as positive and 10 results reported as negative (of under 100 cases of bacteremia) Up to 20 results reported as positive and 20 as negative (among more than 100 cases of bacteremia)	Trained ICP, surveillance system investigator, infectious diseases physician, senior ICP	Discussion with investigators and consensus was reached.
[9] (2010)	NHSN (National Healthcare Safety Network), Connecticut	CLABSI	410	October 2008-December 2008	All 30 hospitals in Connecticut to report CLABSI cases	ICU patients with positive blood culture results	Two reviewers (a nurse microbiologist for primary chart review and a hospital epidemiologist)	All identified and reported CLABSI cases were also reviewed by a hospital epidemiologist. Discrepant cases were discussed with hospital IP.
[10] (2009)	NHSN, Oregon	CLABSI	817	January 2009-December 2009	All 44 hospitals in Oregon to report CLABSI cases	All 76 patients with reported CLABSI and a systematic sample of 741 other patients with ICU-related bacteremia (all patients in hospitals with no more than 60 ICU-related bacteremia episodes, and a random sample up to 44 patients in hospitals with more than 60 ICU-related bacteremia episodes)	Five reviewers (a physician, an infection prevention nurse, a public health nurse, an epidemiologist, a research analyst)	Reviews were conducted by two to four reviewers. Multiple reviews of the same record were not routinely performed. From 2-4 weeks after the review, discordant findings were reviewed during a single telephone conference with each hospital.
[11] (2013)	NHSN, Colorado	CLABSI	519	January 2010-March 2010	Selection of 43 hospitals from among the total of 60 hospitals in Colorado	A facility-stratified random sample of ICU patients with positive blood culture	Two reviewers (a nurse and an epidemiologist)	Reviews were conducted independently, discrepant cases were discussed, and consultation was sought.
[12] (2013)	NHSN, New Mexico	CLABSI	123	November 2009-March 2010	Six pilot hospitals in New Mexico	ICU patients with positive blood culture results	Reviewer 1: an IP. Reviewer 2: Four members (an IP, an epidemiologist, a medical epidemiologist, and a nurse epidemiologist)	Reviews were conducted independently by a pair of reviewers (reviewers 1 and 2). Final case determinations for discordant cases were made by two medical epidemiologists in conjunction with hospital IP.

Abbreviations: HAI, healthcare-associated infection; ICU, intensive care unit; UTI, urinary tract infection; BSI, bloodstream infection; PNEU, pneumonia; LRTI, lower respiratory tract infection; CRI, catheter-related bloodstream infection; CLABSI, central line-associated BSI; IP, infection preventionist; ICP, infection control practitioner.

Table 2 . The results of validation study in foreign surveillance system

	Sensitivity (%)	Specificity (%)	Positive predictive value (%)	Negative predictive value (%)
Urinary tract infections
NNIS	59	98.7	92
Bloodstream infections (BSIs)
NNIS	85	98.3	87
KISS	83	99.8
C-line associated BSIs (CLABSIs)
NHSN, Connecticut	48	99
NHSN, Oregon	72	99	92	98
NHSN, Colorado	67.3	99.8
NHSN, New Mexico	66.7	100	100	96.5
Pneumonia
NNIS	68	97.8	89
KISS	69	99.8
Healthcare-associated infections
SPIN-UTI	82.3	97.2	83.5	97.3

Abbreviations: NNIS, National Nosocomial Infections Surveillance System; KISS, Krankenhaus Infektions Surveillance System; NHSN, National Healthcare Safety Network; SPIN-UTI, Sorveglianza Prospettica delle Infezioni Nosocomiali nelle Unità di Terapia Intensiva.

NNIS는 1970년에 31개 주(State)의 62개 병원으로 시작하였고 2005년에 NHSN으로 변경되었다. NNIS에서는 1991년 1월부터 1993년 6월까지 감시에 참여한 중환자실 중 9개 중환자실의 자료를 검토하였다[6]. 9개월간 1차로 32명의 감염관리 전문가들이 4-6명으로 팀을 이루어 요로감염 142명, 혈류감염 132명, 폐렴 185명의 감염 환자를 포함하여 총 1,136명의 자료를 조사하였다. 1차 조사에서 참여병원의 진단과 일치하지 않는 증례를 선택하여 CDC (Center for Diseases Control) 소속의 역학자 2명이 2차로 검토하였다. 감염 환자 보고의 양성 예측도는 요로감염 92%, 혈류감염 87%, 폐렴 89%이었으며 NNIS 참여 병원에서 감염으로 보고하는 경우에는 실제 감염일 가능성이 높은 것으로 평가하였다.

2000년대에는 코네티컷, 오레곤, 콜로라도, 뉴멕시코 등 주 단위로 중심정맥관 관련 혈류감염에 대한 타당도 조사 결과가 보고되었다[9-12]. 2009년 이후 CDC에서는 51개 주에 의료관련감염 예방 프로그램 개발을 위한 자금을 지원하였고 일부 주에서는 이를 NHSN 감시 자료의 타당도 조사를 위해 사용하였다[14]. NHSN에서는 주 단위로 감시체계를 운영하고 있는데 2012년에 중심정맥관 관련 혈류감염, 2013년에는 유치도뇨관 관련 요로감염의 타당도 조사에 관해 지침을 마련하였고 주 정부의 보건부서나 기타 감독기관에서 정기적으로 외부 타당도 조사를 시행하도록 권고하고 있다[15]. 폐렴 또는 인공호흡기 관련 폐렴에 대한 타당도 조사는 시행하지 않고 있다. 2008년부터 2016년까지 23개 주에서 시행된 중심정맥관 관련 혈류감염 자료의 타당도 조사결과를 종합한 결과는 평균 민감도 82.9%, 특이도 98.5%, 양성예측도 94.1%, 음성예측도 95.9%였다[16]. 중심정맥관 관련 혈류감염의 진단에 오류가 있었던 경우는 약 4.4%였고 과대보고(overreporting)보다는 과소보고(underreporting)로 인한 것이었다. 2010년부터 2018년까지 19개 주에서 시행된 유치도뇨관 관련 요로감염에 대한 타당도 조사 결과를 종합한 자료에서는 평균 민감도 88.3%, 특이도 98.8%, 양성예측도 93.6%, 음성예측도 97.6%였다[17]. 진단이 잘못된 경우 중 66%는 과소보고, 34%는 과다보고로 분석하였다. 각 주마다 자원의 가용성과 참여병원의 수에 차이가 있어서 감시 자료의 타당도 조사를 위해 다양한 방법이 사용되었기 때문에 타당도 조사의 결과를 직접 비교하거나 일반화하는 데에는 제한이 있다[14].

1997년부터 자료 수집을 시작하였고 2000년에 20개의 무작위로 선정된 중환자실을 대상으로 각 중환자실 당 15명의 감염 환자와 60명의 비감염 환자를 선정, 조사하여 자료의 정확도 평가를 시행하였다[7]. 총 286명의 감염 환자(혈류감염 51명, 폐렴 180명, 기관지염 154명)와 1,195명의 비감염 환자에 대해 2명의 교육받은 의사가 조사하였고 조사자 2명의 진단이 일치하지 않는 경우에는 역학자가 추가로 자료를 검토하였다.

2006년 11월부터 2007년 5월에 SPIN-UTI에 참여한 49개의 중환자실 중 8개(16.3%)의 중환자실을 무작위로 선정하여 요로감염, 혈류감염, 중심정맥관 관련 혈류감염, 폐렴 등 총 75명의 감염 환자와 757명의 비감염 대조군을 포함하여 총 832명 환자의 의무기록을 조사하였다. 각 중환자실 당 한 명의 교육받은 의사가 환자의 감염 정보를 모르는 상태로 의무기록을 조사하였다. 진단에 차이가 있는 경우 위원회의 역학자가 검토하고 각 중환자실 감시 담당자와 토의하였다. 의료관련감염의 종류에 상관없이 통합하여 통계 자료를 산출하였으며 민감도 82.3%, 특이도 97.2%, 양성예측도 83.5%, 음성예측도 97.3%로 보고하였다[13].

ECDC에서 주관하여 유럽연합 전체에서 의료관련감염 유병률과 항생제 사용에 대한 시점 유병률 조사를 주기적으로 시행하고 있다[18]. 의료기관 감시 자료의 정확도를 평가하기 위해서 시점 유병률 조사를 수행하는 시기에 조사위원이 방문하여 타당도 조사를 진행하고 있다. 조사하는 내용은 감염 진단의 정확도뿐 아니라, 감염감시를 수행하는 체계, 감염감시와 관련된 다양한 의료기관 정보 보고의 정확도 등도 타당도 조사의 대상이 된다.

2. 내부 타당도 조사

NHSN에서는 각 병원에서 자체적으로 분모자료(denominator) 입력 시스템이나 감시 기준에 대해 적어도 매년 월별/분기별, 연도별로 내부 타당도 조사를 시행하여 감시 자료에 대해 자체 점검을 하도록 권고하고 있다[15]. 외부 타당도 조사와 동일하게 중심정맥관 관련 혈류감염, 유치도뇨관 관련 요로감염을 비롯한 일부 감시대상 의료관련감염을 대상으로 하고 있다[15]. 누락된 자료는 없는지, 분모자료는 정확하게 계산되었는지 등에 대한 자료의 질 관련 체크리스트는 매 분기마다 감시 자료 제출 마감 전에 확인하도록 권고하고 있고 구체적인 자료 수집 방법, 각 참여 병원의 감시 자료 수집 현황, 관련 증례 등 자료의 질 관련 설문은 감시 자료 수집에 대한 지식을 확인하기 위해 매년 시행하도록 권고하고 있다.

3. 증례에 대한 설문조사

외부 타당도 조사를 자주 시행하는 것이 현실적으로 어렵기 때문에 정기적으로 자료의 정확도를 평가할 수 있는 방법들이 고안되었다. 실제 환자의 의무기록을 이용하여 증례를 개발하고 전체 참여 중환자실의 감시 담당자에게 배포한 후 진단에 대한 질문을 하고 정답과 비교하는 방법으로 감시 자료의 질을 평가하기도 한다. KISS에서 이러한 증례를 이용한 감시 기준 평가가 자료의 타당도 유지에 효율적이라고 보고하였으며[2,19] 이후 ECDC에서도 유사한 방법으로 증례를 이용한 타당도 조사를 시행하고 있다[20]. NHSN에서도 증례 문항을 개발하여 웹 기반 시스템에 올리거나 학회지에 발표하고 문항에 대한 정답율을 평가하여 감시 기준에 대한 이해도를 평가하고 있다[21].

KONIS 중환자실 부문에서는 2008년부터 방문조사를 통한 외부 타당도 조사를 시행하였다[22]. 조사 시기에 따른 타당도 조사의 구체적인 방법에 대해서는 Table 3에 정리하였다. 민감도, 특이도 등 타당도 조사의 결과는 Table 4에 종합하여 기술하였다.

Table 3 . External validation method of the Korean Healthcare-associated Infections Surveillance System (KONIS) intensive care unit (ICU) module

Survey year	Target HAI of ICU	Number of surveyed patients	Target period	Selection of hospitals or ICUs	Selection of patients	Investigators	Survey method
2008	UTI, BSI, PNEU	307	January 2008-March 2008	Hospitals were divided into 6 groups based on HAI rate percentiles: <10, 10-25, 25-50, 50-75, 75-90, and >90. One hospital was then randomly selected from each group, total 6 hospitals	All reported HAIs and randomly selected non-HAI ICU patients In hospitals ≤10 HAIs: non-HAI patients were selected at a ratio of 1:4 In hospitals >10 HAIs: non-HAI patients were selected at a ratio of 1:2	A 2-member validation team visited each hospital for 1 day and conducted a retrospective chart review	Discrepant cases were discussed by the KONIS Steering Committee.
2010	UTI, BSI, PNEU	321	July 2009-September 2009	The same as above	The same as above	A 2-member validation team visited each hospital for 1 day and conducted a retrospective chart review	Discrepant cases were discussed by the KONIS Steering Committee.
2012	PNEU	55	January 2012-March 2012	Selection of 5 hospitals randomly based on the PNEU rate	All reported 11 PNEU patients and non-PNEU ICU patients randomly selected at a 1:4 ratio.	A 2-member validation team visited each hospital for 1 day and conducted a retrospective chart review	Discrepant cases were discussed by the KONIS Steering Committee.
2014	UTI, BSI, PNEU	406	January 2014-March 2014	Hospitals were divided into 6 groups based on HAI rate percentiles: <10, 10-25, 25-50, 50-75, 75-90, and >90. Then, two hospitals were randomly selected from each group, resulting in a total of 12 hospitals	All reported HAI patients were included in the review. For each hospital, a number of non-HAI patients, two-fold (for the hospitals that reported ≥10 HAI patients) or four-fold (for the hospitals that reported <10 HAI patients) that of HAI patients, were selected at random.	A trained one- to three-member validation team visited each hospital for one day and conducted a retrospective chart review	Discrepant cases were discussed by the KONIS Steering Committee. The participating hospitals were notified of the results of the validation survey
2017	UTI, BSI, PNEU	282	July 2016 - September 2016	Hospitals were divided into five groups based on the HAI rate percentiles: 0, 0-25, 25-50, 50-75, 75-100. Hospitals within each percentile group were then stratified into new participating hospitals and existing participating hospitals. After this stratification, a total of 10 hospitals were randomly selected, with one from each of the 10 groups.	All HAI patients were included in the review. The control patients without HAI was selected randomly from all patients aged ≥15 years in the participating of each hospital who had positive blood or urine cultures during the validation period. Hospitalized for < 3 days were excluded.	A 2-member validation team visited each hospital for 1 day and conducted a retrospective chart review	The validation team provided the survey results to the staff in charge at each hospital and confirmed the final diagnosis after a post-review discussion. Cases in which it was difficult for the investigators to determine whether HAI had occurred were discussed by the KONIS Steering Committee.

Abbreviations: HAI, healthcare-associated infection; UTI, urinary tract infection; BSI, bloodstream infection; PNEU, pneumonia.

Table 4 . Validation data of the Korean Healthcare-associated Infections Surveillance System (KONIS) intensive care unit module between 2008 and 2017

	Sensitivity (%)	Specificity (%)	Positive predictive value (%)	Negative predictive value (%)
Urinary tract infections
KONIS 2008	92.5	100	100	98.0
KONIS 2010	88.4	97.9	88.5	97.7
KONIS 2014	85.3	98.7	85.3	98.7
KONIS 2017	72.0	99.3	90.0	97.5
Bloodstream infections
KONIS 2008	86.7	100	100	98.6
KONIS 2010	90.6	98.6	87.9	98.9
KONIS 2014	74.0	99.1	94.7	94.6
KONIS 2017	63.2	98.8	88.9	94.8
Pneumonia
KONIS 2008	71.4	98.6	78.9	97.9
KONIS 2010	55.6	99.3	71.4	98.7
KONIS 2012	91.7	100	100	97.7
KONIS 2014	66.7	98.7	78.3	97.7
KONIS 2017	70.6	99.6	92.3	98.2

1. 2008년(1차)

2008년 1분기 참여병원 39개 중에서 6개 병원(15%)을 선정하여 방문조사를 하였다. 감염률에 따라 참여병원을 6개의 군으로 나누고 각 군별로 무작위로 한 개 병원을 선정하였다. KONIS에 의료관련감염으로 보고된 감염 환자와 감시대상 중환자실에 최소 48시간 이상 입원했던 15세 이상의 환자 중에 무작위로 대조군을 선정하여 조사하였다. 감염 환자가 총 10명 미만인 병원에서는 감염 환자와 대조군을 1:4의 비율로, 10명 이상인 병원에서는 1:2의 비율로 대조군을 선정하였다. 2인 1조의 조사위원들이 1일간 선정된 병원을 방문하여 총 103명의 감염 환자와 204명의 비감염 대조군 환자의 의무기록을 조사하였다.

2. 2010년(2차)

2008년도와 동일한 방법으로 2009년 3분기 감염률 자료를 기준으로 총 57개 참여병원 중 6개 병원(10.5%)을 선정하여 진행하였다. 97명의 감염 환자와 224명의 비감염 대조군 환자를 조사하였다. 12명의 조사 위원이 2인 1조로 총 6개 조를 구성하여 1일 동안 방문 조사를 하였다.

3. 2012년(3차)

2012년에는 중환자실 부문과 함께 수술부위감염 부문에 대한 타당도 조사를 처음으로 같이 시행하였다. 자원이 제한되어 있는 점을 고려하여 중환자실 부문에서는 2008년과 2010년 타당도 조사에서 민감도가 가장 낮았던 폐렴에 대해서만 조사를 하였다. 2012년 1월-3월에 보고된 폐렴의 감염률에 따라 전체 67개 참여 병원 중에서 5개 병원(7.5%)을 선정하였고 폐렴으로 보고된 11명과 비감염 대조군 44명, 총 55명의 의무기록을 검토하였다[14]. 비감염 대조군 환자는 감시대상 중환자실에 입원했던 환자 중에 1:4의 비율로 무작위로 선정하였다. 2인 1조로 총 5개 조를 구성하여 1일간 방문 조사를 하였다.

4. 2014년(4차)

참여병원이 증가 추세인 점을 반영하여 2014년 1분기 참여병원 81개 중 12개 병원(14.8%)에 방문하여 감염 환자 110명, 비감염 대조군 296명, 총 406명의 의무기록을 조사하였다[23]. 2014년 1분기 의료관렴감염률을 기준으로 6개 그룹으로 구분하였고 구간별로 2개 병원을 무작위로 선정하였다. 비감염 대조군은 조사대상병원의 참여 중환자실에 48시간 이상 입원한 환자 중에서 감염 환자가 10명 이상인 경우 1:2, 감염 환자가 10명 미만인 경우는 1:4의 비율로 선정하였으며 각 병원당 최소 조사 환자수가 20명 이상 되도록 하였다. 조사 건수에 따라 1-3명의 조사위원이 방문하여 조사하였다.

5. 2017년(5차)

신규 참여병원이 대거 참여한 2016년 3분기 감시 자료를 대상으로 하였다[24]. 2016년에는 90개(46.6%) 기관이 신규로 참여하여 193개 병원의 285개 중환자실이 감시에 참여하였다. 참여병원이 급격하게 증가하였고 방문조사를 할 수 있는 자원은 제한적인 상황에서 외부 타당도 조사를 보완할 수 있는 방법을 마련하기 위해 외부 타당도 조사와 함께 내부 타당도 조사를 병행하였다. 또한, 기존 타당도 조사들이 분자 자료 중심이었고 분모 자료 수집 현황에 대해서도 평가가 필요하여 분모 자료 수집에 관한 설문조사와 관련 증례에 대한 정답율을 평가하였다.

193개 참여병원을 중환자실 감염률 분포에 따라 5군으로 구분하고 신규 참여 여부에 따라 층화하여 10개의 그룹에서 각각 1개씩 총 10개의 조사대상병원을 선정하였다. 2016년 3-4분기에 KONIS에 요로감염, 혈류감염, 폐렴으로 보고된 감염 환자 전수를 조사하였고 이전 타당도 조사에서는 해당기간 중환자실 입원 환자 중에서 무작위로 대조군을 선정하였던 것과 달리 감염 진단 가능성이 높은 혈액배양과 소변배양 양성 환자 중에서 비감염 대조군을 선정하였다. 감염 환자 60명과 비감염 대조군 222명, 총 282명의 환자에 대해 조사하였다. 2명의 조사위원이 조사대상병원에 1일간 방문하여 의무기록을 검토하고 중환자실 의료관련감염 여부를 평가하였다.

내부 타당도 조사는 2017년 타당도 조사에서 처음 시행되었으며 선정된 환자를 대상으로 각 참여기관에서 자체적으로 조사기록지를 작성하고 KONIS 보고에 오류가 없었는지 후향적으로 점검하였다. 혈액이나 소변 배양검사 결과로 조사 대상 환자를 선정하기에 용이하고 주관적인 판단이 개입할 여지가 상대적으로 적은 요로감염과 혈류감염을 대상으로 하였고 폐렴은 제외하였다. 내부 타당도는 총 21개 병원에 대해 1차와 2차로 나누어 시행되었다. 1차 내부 타당도 조사는 외부 타당도 조사 대상인 10개 병원에 대해, 2차 내부 타당도 조사는 2016년 7월-2017년 6월까지 1년간 KONIS에 의료관련감염 증례를 전혀 보고하지 않은 11개 병원을 대상으로 하였다. 외부 타당도 조사와 1차 내부 타당도 조사 결과의 일치도(kappa)는 요로감염 0.754, 혈류감염 0.674로 상당한(substantial) 일치도를 보였다. 2차 내부 타당도 조사 결과 감염 증례 보고가 없었던 11개 병원 중 10개 (90.9%) 병원은 신규 참여 병원이었고 10개 병원이 200-299병상, 1개 병원이 300-399병상으로 규모가 작고 의뢰된 혈액배양이나 소변배양 건수 자체가 적었다. 1년 간 의뢰한 혈액배양 건수가 중앙값 51건(사분범위, 23-102), 소변배양 건수가 40건(사분 범위, 29-57)이었다. 11개 병원 중 3개(27.3%) 병원에서 자체 점검 과정에서 보고하지 않았던 8건의 요로감염을 새롭게 진단하였고 3개 병원에서 3건의 혈류감염을 진단하였다.

재원일수와 유치도뇨관, 중심정맥관 기구일수 수집 과정에 관한 설문조사를 시행하였다. 재원일수와 유치도뇨관, 중심정맥관 기구일수 자료는 전산 프로그램을 이용하는 경우보다 수기로 계산하는 병원들이 더 많았고(각각 52.4%, 61.9%, 66.7%) 전산으로 계산된 자료가 맞는지 수기로 검증하는 과정을 거치는 경우는 3개 병원(14.8%)에 불과하였다[25]. 유치도뇨관 기구일수를 계산하는 5개의 증례 문항에 대한 정답율은 33.3%-95.2%였고 중심정맥관 기구일수를 계산하는 8개의 증례 문항에 대한 정답율은 19.0-81.0%로 분모 자료 수집에 있어서도 추가적으로 교육이 필요한 부분이 있음을 확인하였다.

의료관련감시 자료에 대한 타당도 조사는 감시체계의 특성에 따라 다양한 방법으로 시행되기 때문에 타당도 조사 결과를 직접적으로 비교할 수는 없다. KONIS 중환자실 부문 타당도 조사의 경우에도 조사의 큰 틀은 유사하지만 참여병원 선정이나 비감염 대조군 환자를 선정하는 과정에 KONIS의 운영 현황이나 이전 타당도 조사의 결과를 반영하여 수정 보완하기 때문에 방법이 동일하지는 않다. 전체 참여 병원 중 일부만 조사한 자료이기 때문에 KONIS를 대표하는 자료라고 단정하기는 어렵지만 2017년에 시행된 KONIS 타당도 조사 결과를 보면 의료관련감염 진단의 양성예측도, 특이도, 음성예측도는 높게 유지되고 있으나 전반적으로 민감도가 이전 조사에 비해 더 낮은 경향을 보였다. 특히 요로감염과 혈류감염 진단의 민감도가 이전 조사에 비해 낮았다(85.3% vs. 72.0%, 74.0% vs. 63.2%). 감시 자료의 민감도가 낮고 과소보고가 문제가 되는 것은 외국의 타당도 조사 결과들과 유사하지만[6,9] 2017년도 조사는 참여병원이 급격하게 증가하고 신규 참여병원의 비율이 높아진 상태에서 처음 시행한 타당도 조사이고 기존 참여 병원의 경우에도 감시의 기준에 큰 변경이 있었던 점이 반영된 결과로 추정해 볼 수 있다.

KONIS에서는 참여병원 교육, 워크숍을 통한 증례토의, 현장조사, Q&A 등 다양한 교육 프로그램을 진행하고 있으므로 2017년도 타당도 조사에서 낮게 나타났던 민감도가 향상되고 있는지 정기적인 타당도 조사를 통해 모니터링이 필요한 상태이나 인력과 자원이 제한적이고 코로나19 유행 상황이 겹쳐 KONIS 중환자실 부문에 대한 자료 타당도 조사는 2017년 이후 시행되지 못하고 있다. KONIS 참여병원이 과거에 비해 크게 증가한 현 상황에서 충분하다고 할 만한 수의 병원을 선정하여 제한된 기간에 각기 다른 기관에 소속되어 있는 소수의 조사위원이 방문하는 형식의 외부 타당도 조사는 분명히 필요하지만 현실적으로는 수행하는 데 많은 어려움이 있다. 장기적으로는 외부 타당도 조사를 전담하는 별도의 기관을 두거나 숙련된 인력을 질병관리청에 별도로 배정하여 충분한 기간 동안 보다 많은 참여병원의 자료를 조사하고 지속적으로 피드백 하는 방향으로 나아가야 할 것이다.

외부 타당도 조사를 지속적으로 시행하는 데에 어려움이 있기 때문에 보완할 수 있는 다른 방법을 찾는 것도 중요하다. NHSN과 같이 내부 타당도 조사에 대한 도구를 만들어 각 참여병원에서 정기적으로 자체점검을 시행하도록 하여 자료의 질 향상을 도모하거나 KISS, ECDC와 같이 실제 환자의 증례를 이용한 문항을 개발하고 이에 대한 정답을 회신 받는 형식으로 정답율을 평가하여 감시 담당자들의 감시 기준 이해의 수준을 평가하는 방법도 고려해 볼 수 있겠다. 2017년 타당도 조사 결과에서 내부 타당도 조사와 외부 타당도 조사의 일치도는 상당히 높았다. 내부 타당도 조사가 외부 타당도 조사를 대체할 수는 없겠으나 조사방법과 조사기록지 내용, 조사 이후의 피드백 방안 등이 보완된다면 신뢰도 향상을 위한 방안 중 하나로 사용할 수 있을 것이다.

지금까지의 KONIS 타당도 조사는 감염 증례인 분자 자료에 국한되어 있었는데 분모 자료에 대해서도 평가할 수 있는 도구를 마련해야 하겠다. 2017년 타당도 조사에서 증례 응답 자료를 통해 분모 자료에 대해서도 교육이 필요한 부분이 있음을 확인하였으므로 재원일수/기구일수 자료에 대해서도 자료의 정확도 향상을 위해 각 병원에서 자체적으로 자료 검증 과정을 거치도록 권고하고 증례를 통해 구체적인 상황에 대해 지속적으로 교육해 나가는 것이 필요하겠다. KONIS에서는 실무자 교육이나 워크숍 자료를 웹사이트에 게시하여 참고할 수 있도록 하고 있는데 필요할 때 바로 교육을 받을 수 있고 교육을 이수한 경우에만 감시 자료를 입력할 수 있도록 하는 web-based training 시스템을 도입하는 것도 장기적으로 교육 방법의 하나로 고려해볼 수 있겠다.

The author has no potential conflict of interest to disclose.