헬스케어 AI 윤리에서 환자·시민 참여 모형: 주제범위 고찰과 방법론적 검토에 기초하여

아직 발전, 개발 중인 헬스케어 AI의 특성상 그에 대한 확정적인 정의를 내리기는 어려울 수 있다. 따라서, 본 논문은 일단 헬스케어 AI의 실천적 정의를 도입하여 논의를 전개하고자 하며, 이때 헬스케어 AI는 헬스케어 영역에서 검토, 연구, 활용되는 AI로 제시될 수 있을 것이다[5]. 물론, “헬스케어 영역” 또한 언급되는 분야나 판단 방식에 따라서 다른 방식으로 이해될 수 있을 것이며, 여기에서 헬스케어란 세계보건기구(WHO)의 건강 정의 및 그 권리 부여에 기초하여[6], 개인이나 인구 집단의 신체적, 정신적, 사회적 건강을 유지하고 회복하기 위해 제공되는 모든 종류의 서비스를 가리킨다. 특히, 헬스케어 AI 담론에 있어서 헬스케어는 그 데이터 수집 방식과 관련하여 정의될 수 있으며, 이때 스마트폰과 웨어러블에서 컴퓨터 사용에 이르기까지 다양한 장비와 센서 측정 및 카메라 촬영으로부터 개별 문항까지에 이르는 다양한 측정을 통해 수집 가능한 RWD(real-world data)를 대상으로 한다는 점을 강조할 필요가 있다[7]. 즉, 헬스케어 AI는 병의원의 의무기록뿐만 아니라 일상생활에서 측정, 획득되는 건강 관련 데이터의 분석이나 사회에서 포착, 종합되는 인구 수준의 건강 관련 데이터를 모두 그 대상역(對象役)으로 하며, RWD 기반 알고리듬을 다시 개인과 인구 집단의 건강 유지 및 회복을 위해 적용하는 모든 활동을 가리킨다.

헬스케어 AI가 RWD를 기반으로 한다는 점은 프라이버시로부터 정의에까지 이르는 윤리적 고려사항을 야기하는 한편[8], 그 수집, 분석, 활용에 따른 책무를 제시하는 근거가 되기도 한다. 물론, RWD를 대상으로 전통적인 임상 데이터 수집 및 활용의 틀, 즉 개별 사안 전부에 대한 충분한 활용에 의한 동의, 데이터 각 항과 그 정보 주체(data subject)에 대한 이득-위해 분석, 그리고 데이터 편향으로 인해 발생 가능한 차별과 불공정한 자원 분배의 고려를 모두 적용한다면 별도의 책무가 발생할 이유는 없다. 그러나, RWD가 이런 틀에 동일 적용을 받지 않을 것이라고 상정하는 것은 타당한데, 당장 “데이터 3법”(개인정보보호법, 정보통신망법, 신용정보법 개정안)이나 「보건의료데이터 활용 가이드라인」이 만들어진 이유를 따져볼 때 이들 법령이나 지침은 특정 조건에서(예컨대, 과학적 목적의 연구에서 적절한 가명처리가 된 경우) 정보 주체의 동의 없이 데이터 전송이나 결합을 가능케 하고자 만들어졌다[9]. 다시 말하면, 이들 법령 및 지침은 사회적 이득(및 그에 따른 개인의 이득)을 근거로 동의 및 이득-위해 분석을 우회하려는 것이나, 그것이 정당화될 수 있다고 해서 아무런 추가적 고려사항이 발생하지 않는 것은 아니다. 오히려, 헬스케어 AI에서 RWD의 활용은 위 사안들이 다른 방식으로 어떻게 고려될 수 있는지를 묻는다. 동의, 이득-위해 분석, 차별 완화를 적용하지 않는다고 하여, 헬스케어 AI에서 자율성 존중의 원칙, 해악 금지의 원칙, 정의의 원칙이 검토될 필요가 없는 것은 아니다. 헬스케어 AI가 구현되는 21세기의 상황이 이들 원칙이 정해진 1960–70년대의 상황과 다르다고 할지라도, 헬스케어 AI는 여전히 현대 의료 지식, 제도, 환경 안에서 구현되는 보건의료적 대상이며, 따라서 추가적인 고려사항이 검토될 필요는 있으나 기존의 원칙이 폐기되어야 할 이유는 어디에도 없다.

원칙들이 여러 영역의 합의(consensus) 또는 일관성(consistency)의 수준에 위치한다는 전통적인 이해에 비추어 볼 때[10], 헬스케어 AI의 연구와 활용에서도 원칙이 동일하게 적용될 수 있어야 한다. 이때 현재 가명처리 기반 데이터 정책이 자율성, 악행금지, 정의에 대한 적극적인 답변이 될 수는 없는데, 이는 첫째, 익명화가 아닌 한, 가명처리를 했다고 하여 개인 식별이 완전히 불가능해지는 것이 아니며, 둘째, 개인이 개별적으로 식별되지 않는다고 할지라도, 그가 속한 데이터 집합의 분석과 활용이 그를 포함한 인구 집단에게 이득과 위해를 발생시킬 수 있으며, 셋째, 개별 데이터의 포함과 배제라는 행위 자체가 데이터 편향을 일으켜 개인에게 차별의 우려를 일으킨다는 점에서 그렇다.

다시 말하면, 가명처리가 헬스케어 AI 연구 및 개발을 위한 RWD의 활용에서 전제 조건을 제시할 수는 있다고 할지라도, 가명처리만으로 개인과 데이터의 연결성이 완전히 소멸되는 것이 아니므로 여전히 개인에 대한 윤리적 검토가 필요하다. 더불어, 의학적 판단과 관련한 척도만을 다루던 전통적인 임상 및 연구와 달리, RWD 기반 접근은 전제 상 개인에 대한 훨씬 다양한 측정값을 분석에 활용한다. 이전, 인간 신체 또는 정신의 특정 특성을 포착한 것이 데이터였다면, 지금은 그 총합을 통해 개인의 다면적 특성을 반영하는 것이 데이터이며, 그에 대한 분석과 알고리듬 개발 또한 개별 데이터 항목을 다루는 것이 아니라 데이터의 포괄 집합을 다루게 된다. 예컨대, 이전 개인의 고혈압이나 당뇨 진단은 해당 인구 집단의 혈압, 혈당 수치와 그에 따른 개인의 해당 측정값에 기초하였다. 그러나, 이를 헬스케어 AI로 옮겨올 경우, 개인의 행동 특성이나 습관, 유전적 특성, 사회문화적 특징 등이 고혈압이나 당뇨의 조기 진단 및 예방을 위해 활용할 것이다[11]. 즉, 의학적 의사결정을 위하여 활용되는 것이 개별 데이터 항목에서 데이터 집합으로 변경되며, 이는 이전에 깊이 검토하지 않았던 차원, 대표적으로 소유권(ownership)이나 AI 리터러시(literacy)를 윤리적 논의에 본격적으로 끌어들인다[12,13].

데이터 수집 및 관리에 관한 내용을 다루는 데이터 윤리(data ethics)는 가명처리 적절성까지만 논의해도 그 범위가 충분하다 할지라도, RWD 기반 헬스케어 AI 연구는 그런 데이터를 받아 알고리듬을 개발하고 현실에서 적용하는 것까지를 목적으로 하므로 그 이상의 윤리적 검토를 수행할 필요성이 발생한다[14]. 그리고, 이것은 기존의 보건의료가 환자와 사회에 대하여 지니는 전문직업적 책무에 더하여 추가적인 윤리적 책임을 그 연구·개발자와 활용자에게 더한다. 이런 헬스케어 AI 윤리의 원칙에 있어 선행 연구는 WHO가 제시한 여섯 가지 원칙과[15], 이를 바탕으로 문헌 조사, 국내 전문가 자문, 설문 조사를 통해 수립한 헬스케어 AI 윤리 원칙을 기반으로 하여[16], 헬스케어 AI 연구 과정에서 자율규제를 지원하기 위한 절차적 프레임워크를 제안하였다[17].

전문가 합의와 검토, 설문 등을 통한 공공 의견 수렴으로 제안된 상기 문헌이 제시한 헬스케어 AI 윤리 원칙은 다음 여섯 가지로 이루어져 있다[16]. 첫째, 인간의 자율성 존중과 보호, 둘째, 인간의 행복, 안전, 공공의 이익 증진, 셋째, 투명성, 설명가능성, 신뢰성, 넷째, 책무, 법적책임, 다섯째, 포괄성, 공정성, 여섯째, 대응성, 지속가능성이다. 아래에선 후속 설명을 위해 각 원칙을 간략히 제시하였다.

인간의 자율성 존중과 보호 원칙은 헬스케어 AI 활용이 인간 자율성을 보호하는 한편, 그 연구가 개인의 의도와 권리를 보호하는 방향으로 수행될 것과 자동화 의사결정 체계가 인간 감독 하에 있을 것을 요청한다. 이는 생명의료윤리의 환자 자율성 원칙과 대응한다.

인간의 행복, 안전, 공공의 이익 증진 원칙은 헬스케어 AI 연구와 활용이 인간 건강, 행복, 안전, 공공의 이익 증진을 목표할 것과, 기술로 인한 해악의 방지 및 그 안전성과 정확성의 요구를 충족할 것을 지시한다. 이는 생명의료윤리의 선행 및 악행금지 원칙과 대응한다.

투명성, 설명가능성, 신뢰성 원칙은 헬스케어 AI 연구 설계, 과정에 대한 투명한 공개, AI가 도출한 결과에 관한 이해 가능한 설명 제공, 연구에 대한 외부 검증·평가를 받을 것을 요구한다. 연구 투명성은 이미 자율 규제와 외부 모니터링을 적용한 IRB 체계에서 확보된 바 있다. 보건의료와 AI 연구가 결합하는 헬스케어 AI 연구의 특성상, 두 전문 분야 어느 한쪽이 접근에 대한 장벽을 만들 가능성을 내포한다. 이 이중의 장벽은 헬스케어 AI가 어떻게 답을 내놓는지를 모르고 그저 결과에 따라가도록 만들 가능성을 만든다. 헬스케어 AI 윤리는 AI의 사용 데이터와 알고리듬 설계에 대해 외부에서 접근 가능할 것을 요구한다.

설명가능성과 신뢰성은 아직 AI가 결정에 도달한 과정을 충분히 이해하지 못하는 현재 기술 상황에서 강조되고 있다. 설명가능성은 AI가 도출한 결과에 관해 설명을 요청한 개인이 이해하기 쉽도록 개발자 또는 활용 전문가가 설명을 제공할 수 있어야 함을 의미한다. 신뢰성은 연구 및 개발 과정을 주관하는 원칙이며, AI 연구와 사회를 연결하는 핵심 원칙이다. 헬스케어 AI 연구 및 개발 과정이 앞서 논의한 인간 자율성, 이득, 투명성 등을 구현하고 있는지 신뢰할 수 없다면, 아무리 그 연구·개발 과정이 윤리적으로 진행되었다고 해도 사회가 이를 인정하는 것은 불가능하다. 따라서, 헬스케어 AI 개발, 연구의 신뢰성 확보 기작이 요청되며, 이는 외부의 독립적인 기관이 연구 및 개발 과정을 엄밀하게 검증할 필요성을 제기한다. 특히, 외부 검증 및 평가의 요구는 이들 원칙을 종합할 때 핵심적인 절차로 제기된다.

책무, 법적책임 원칙은 책임 있는 연구와 피해 보상 방안의 사전 검토 및 마련을 요청한다. 책무란 좁게는 연구자와 개발자의 책임 있는 연구·개발 수행을 의미하지만, 넓게는 의료인, 환자, 시민을 포함한 AI 사용자가 자신의 책임하에 해당 알고리듬이나 앱을 활용할 것을 요청함을 의미하기도 한다. 법적 책임은 헬스케어 AI의 개발 및 활용과 관련하여 발생한 피해를 보상함에 있어 각 행위자의 피해 최소화의 노력과 함께, 구체적인 보상 방안이 마련되어야 할 것을 요구한다.

포괄성, 공정성 원칙은 헬스케어 AI의 포괄적 활용과 접근 가능성을, 또한 데이터·알고리듬 편향의 식별과 완화를 제시한다. 헬스케어 AI의 도입은 기존의 실천적 편향을 넘어 인식론적 편향을 가져오며, 이는 인식론적 부정의(epistemological injustice)를 초래한다[18]. 이에 대한 해결 요구는 생명의료윤리의 정의 원칙에 대응한다.

대응성, 지속가능성 원칙은 헬스케어 AI 연구 및 활용에 대한 인식 개선 노력과 지속가능한 자원 활용을 요구한다. 특히, 지속가능성에 대한 요구는 헬스케어 빅데이터, 머신러닝, AI, 로봇 등의 연구가 그 환경적 영향을 개발 단계에서 염두에 두고 진행할 것을 강조한다. 이런 상황에서 개별 기관과 정부는 헬스케어 AI가 제기하는 이슈에 대응해야 하며, 사회 인식 변화부터 교육에 이르기까지 헬스케어 AI 활용에 있어서 개인과 집단이 누릴 권리와 져야 할 책임을 전달해야 하며, 이것이 대응성 원칙이다.

질병관리청의 「보건의료 분야 인공지능 연구자를 위한 연구윤리 지침」은 위 여섯 가지 원칙을 바탕으로 여섯 단계의 자율규제 절차 프레임워크를 제시하였다[19]. 이는 전통적인 의과학 연구윤리 및 4상 임상연구 절차를 헬스케어 AI 연구 과정에 맞게 확장한 것이다[17].

외부 검증을 생각할 때 가장 먼저 떠올릴 수 있는 대상은 외부 전문가나 전문 검증 기관, 또는 국가 기관일 것이다. 그러나, 이들 주체가 외부 검증을 수행하는 것은 정당성이나 합당성에서 좋은 선택이 되기 어렵다. 독립된 외부 전문가의 경우 투명성의 요건은 만족할 수 있다. 그러나, 이들 외부 전문가가 환자 집단이나 사회 전체를 대표하는 집단은 아니며, 따라서 이들이 포괄성, 공정성, 통제권의 사안에 있어서 대표성 있는 검증을 수행하기는 어렵다. 심지어, 외부 전문가가 검증을 하는 경우, 연구자나 개발자가 제시하는 관점과 큰 차이가 없다는 점에서 이미 내부 검증 과정 및 IRB를 통한 모니터링 절차가 있는데 굳이 외부 검증을 또 거쳐서 절차만 복잡하게 만드는 것은 아닌지에 대한 문제 제기가 가능하다. 헬스케어 AI 연구 또한 인간대상연구라면(기본적으로 데이터 출처가 인간일 것이기에, 인간대상연구의 범위에 대부분 속할 것이다) IRB 승인을 받았을 것이다. 그렇다면, IRB와 같은 기관이 외부 검증 기관으로 충분하다면, 후속 단계에서 외부 검증을 굳이 추가하는 것은 절차적 낭비이다. 한편, 현행 IRB 절차는 인간대상연구를 검토하기 위해 구성된 것으로서, 그 절차나 구성원이 헬스케어 AI 연구를 검증하는 데 충분한지에 대한 의문이 제기될 수 있다. 이 두 질문은 전문 검증 기관에도 동일하게 적용된다. 국가 기관의 경우엔 대표성의 문제는 해결할 수 있을지 모르지만, 이미 규제와 지침 등을 제시하는 주체가 국가 기관인 상황에서 같은 사안을 이중으로 검토하여 행정력만 낭비하는 것은 아니냐는 문제 제기가 제시될 수 있다. 무엇보다, 국가 기관이 환자 또는 시민의 대표성은 지닐 수 있다고 해도, 그들로부터 데이터 통제권을 이양받을 수 있다고 보는 데에는 한계가 있다. 집단으로서 국가의 결정과 개인으로서 시민의 결정은 별개의 것이며, 국가의 대리 결정을 시민의 자유 행사로 이해해선 안 되기 때문이다.

따라서, 개념적으로 볼 때 헬스케어 AI의 외부 검증은 전통적인 외부 감사 기관이 아닌 다른 형태의 주체가 시행하는 것이 타당하다. 그러나, 이들 외에 어떤 주체가 외부 감사 기능을 수행할 수 있는가? 본 논문은 환자·시민 참여가 외부 감사 역할을 수행할 수 있다고 주장하며, 이들만이 헬스케어 AI 윤리의 틀 안에서 검증의 정당성과 합당성을 획득할 수 있는 유일한 주체라고 주장한다. 그러나, 환자·시민 참여와 외부 검증은 언뜻 연결되는 개념으로 이해하기 쉽지 않다. 게다가, 국내에서 관련 논의가 전혀 이루어지지 않은 상황에서, 환자·시민 참여를 헬스케어 AI와 연결 짓는 것은 무리한 논의처럼 읽힐 수 있을 것이다. 그러나, (동의 여부와 별도로) 전술한 것처럼 헬스케어 AI가 민주화와 공공성을 달성하기 위한 기술적 수단으로 이해되고 있다면, 헬스케어 AI의 환자·시민 참여는 반드시 논의되어야 할 주제다. 또한, 국내에서 해당 논의가 전무하다고 하더라도, 전 세계적으로 관련 논의가 수행되었는지 검토할 필요가 있다. 만약 관련 논의가 이루어지고 있음이 확인된다면, 해당 논의의 지반 위에서 구체적인 방법을 살필 수 있을 것이다.

따라서, 본 논문은 주제범위고찰(scoping review)의 방식을 통해 헬스케어 AI 환자·시민 참여 개념과 실천의 현황을 검토하여 이것이 헬스케어 AI 윤리의 정당화 기작으로 사용될 수 있는지 검토하고자 한다.

헬스케어 영역에서 환자·시민 참여는 임상보다 연구 과정에서 더 부각되고 있으며[20], 특히 데이터와 관련하여 연구 영역에선 데이터 수집과 분석에, 임상 영역에선 임상적 결과 평가에서 영향을 미치고 있다. 북유럽 국가의 보건의료 연구에서 환자·시민 참여에 관한 고찰은 이런 접근에 있어 문화적 검토가 중요함을 강조하고 있다[21]. 한편, 헬스케어 혁신에서 환자·시민 참여가 논의되고 있으나, 문제 인식과 고안 등 거의 혁신의 초기 단계에서만 검토될 뿐 도입이나 확산과 같은 혁신의 후기 단계에선 그 역할이 축소되고 있다[22]. 한편, AI 기반 정신건강 돌봄으로의 전환에서 환자·시민 참여는 환자로부터 피드백을 받는 것뿐 아니라 윤리적 숙고와 AI 기술 활용에서도 참여가 요청됨을 제시한다[23].

윤리 원칙이 당사자에 따라 적용되는 방식을 근거이론 접근으로 제시하는 윤리 매트릭스(ethical matrix)를 도입하여 헬스케어 AI의 윤리적 이슈를 환자·시민 참여로 검토한 작업은 헬스케어 AI 윤리의 다관점적 접근에서 환자 참여가 필수적이며, 이들이 보건의료인과 윤리적 사안을 이해하는 방식이 다름을 보여주었다[24]. 천식에서 AI를 활용한 자기 관리와 관련한 환자·시민 참여 워크숍은 AI가 신뢰성과 안정성을 지녀야 하며, 인간 보건의료인을 대체하지 않는 범위에서 지원을 제공해야 함을 강조하였다[25]. 아동청소년 암환자 관련 기존 데이터를 활용하는 연구에 관한 환자·시민 참여는 투명성 및 인간 의사결정을 대체하는 대신 증진하는 AI의 필요성을 강조하였다[26]. 진단 AI에 관한 당사자 관점 연구는 환자들이 AI의 가능한 이득을 인지하고 있으나, 돌봄의 비인간화와 오류 위험을 염려하고 있음을 드러내었다[27]. 임상 진료에 대한 AI 활용의 대중 인식 연구는 대중이 헬스케어 AI와 관련하여 신뢰, 설명책임(accountability), 현재 보건의료의 격차 악화 가능성을 염려함을 보였다[28].

또, 일본에서 환자·시민 참여 패널을 대상으로 헬스케어 AI에 관한 기대와 염려를 확인하였을 때, 의료 관리 및 돌봄의 질 향상, 격차 해소 등의 기대가 나타났지만, 자율성 상실, 책임 문제, AI로 인한 새로운 차별의 발생 등을 염려하고 있음을 확인하였다[29]. 영국 보건의료 체계에 AI 도입에 관한 설문 연구는 AI의 도입에 대한 열광이 있지만, 데이터 프라이버시, 편향 가능성, AI 시스템 개발에서 지속적인 환자 참여의 필요성이 요청되고 있음을 보였다[30]. 호주에서 보건의료 혁신과 관련한 소비자 협력의 가능성에 관한 연구는 참여자의 관여가 최종 결과물에 얼마나 영향을 미쳤는지에 대한 명확한 의사소통과 투명성이 필요함을 강조하였다[31].

영국 맥락에서 헬스케어 AI 연구와 관련한 의사결정 과정에 시민 참여의 중요성은 이미 검토된바[32], 데이터 접근 위원회의 일반인 대표자, 환자·시민 참여 그룹, 시민 포럼의 형식으로 가능하다고 하였다. 이 연구는 헬스케어 AI 연구의 공적 신뢰와 거버넌스 증진을 위해 이들 참여를 다규모(multi-scale) 형식으로 통합하여 활용할 것을 제안하였다. 상기 주장은 전반적인 헬스케어 AI 활용에서 신뢰 확보의 기작 및 안전성과 효율성 증진의 방식으로서 환자·시민 참여를 요청한 연구에서도 강조된 바 있으며[33,34], 이는 환자와 보건의료인이 함께 AI 알고리듬을 설계해야 할 필요성으로 연결되었다. 비슷하게, 헬스케어에서 윤리적 AI 개발을 위해 공동 설계(co-design)를 주장한 논문은 AI가 그 활용 대상의 필요와 가치를 반영하기 위해 설계 단계부터 환자와 시민의 참여가 필요함을 강조하였다[35]. 공동 설계는 헬스케어 AI의 기술적 견고성에 더하여, 윤리적 건전성과 사회적 수용성을 확보하는 필수적인 전략으로 제시되었다.

헬스케어 AI 윤리와 관련하여 환자·시민 참여는 현재 임상보다는 연구 영역에서 부각되고 있으며, 주로 문제 인식, 기획 등 초기 단계에서 실천되고 있는 것으로 조사되었다. 여러 영역 및 지역의 경험을 검토할 때, 당사자 관점과 공적 기반을 헬스케어 AI에 제공할 수 있으며 문화적 민감성이 필요한 것으로 나타났다. 패널 등 전통적인 방식을 활용할 경우 다차원적 접근이 요청되며, 환자·시민을 공동 연구나 설계의 주체로 포함시키는 것 또한 검토되고 있음이 확인되었다. 무엇보다, 이런 환자·시민 참여는 헬스케어 AI의 신뢰 증진을 위한 주효한 기작으로 이해되고 있음을 알 수 있다. 그러나, 몇몇 논문이 제시한 공동 설계는 하나의 논문을 제외하고[35], 환자나 시민을 헬스케어 AI 설계에 직접 참여시키는 것이 아니라 전통적인 패널 의견 수렴의 방식을 준용하고 있었다[25,26,28,31-33].

앞서의 논의를 바탕으로, 헬스케어 AI의 환자·시민 참여는 이미 여러 문헌을 통해 검토된 바 있으며, 이것이 신뢰 확보를 위한 중심 기작이라고 할 때 외부 검증의 핵심 요소가 될 수 있음이 이미 여러 문헌에서 제시된 바 있음을 확인하였다. 그러나, 패널이나 포럼과 같은 환자·시민 참여의 전통적인 방법론을 외부 검증의 절차로 삼는 것에는 어려움이 있는데, 이런 패널 등 외부의 목소리를 듣고 반영하기 위한 방법론이 검토 대상과 외부의 엄격한 분리를 고수하고 있기 때문이다. 이를 통해 앞서 지적되었던 환자·시민 참여의 형식주의를 벗어날 수 있을지 의심스러우며[37], 더구나 헬스케어와 AI가 교차하는 전문 영역에서 환자와 시민은 몇 가지 불만을 제기하는데 그 역할이 한정될 수 있음이 우려된다.

따라서, 본 논문은 헬스케어 AI 공동 설계의 개념을 확장, 헬스케어 AI의 환자·시민 참여가 역량강화와 공동 생산의 형식으로 구현될 수 있는 세 가지 모형을 제시하고자 한다. 첫째, 참여적 설계(participatory design) 모형, 둘째, 헬스케어 AI 리터러시 모형, 셋째, 헬스케어 AI 시민과학 모형이 그것이다.

헬스케어 AI 환자·시민 참여의 첫 번째 방법은 참여적 설계이다. 참여적 설계란 전술한 공동 설계 개념을 AI 단에서 개발 및 적용을 통해 구현한 것으로, 사용자가 능동적으로 헬스케어 AI 설계 및 개발부터 참여할 수 있도록 초기 단계부터 고려하는 것을 의미한다. 기초적이며 전통적인 방법으로는 피드백 수용이 있으며, 여기에서 헬스케어 AI는 앱이나 도구 층위에서 사용자 피드백을 구체적으로 받도록 처음부터 설계되고, 기관은 피드백의 수용을 절차적으로 규제한다. 사용자 피드백의 대표적인 예시는 사용자 설문이며, AB 테스트(사용자에게 특정 요청에 대한 두 가지 이상의 결과를 생성하여 각각 보여준 다음, 어느 쪽이 더 나은지 묻는 방식으로 의견을 수렴하는 방식) 등을 활용하는 방안도 가능하다. 이것이 이미 널리 활용되는 방안이지만, 기술의 사용과 환자, 시민 의견 수렴 단계가 명확하게 구분되는 전통적 환자·시민 참여와 달리 헬스케어 AI 자체에서 사용자 피드백을 받는 것은 문제를 실시간으로 확인, 반영, 수정할 수 있다는 점에서 차별점을 보인다. 또한, 사용자 패널 등을 구성하기 위해 상당한 노력과 시간이 들고 이들 또한 참여를 위해 별도의 시간을 내야 하므로 결국 참여 대상자의 범위가 제한되는 한계를 지니지만, 헬스케어 AI가 직접 피드백을 받아 설계를 능동적, 지속적으로 수정하는 참여적 설계는 대상자의 참여 폭을 쉽게 넓힐 수 있다는 강점을 지닌다.

피드백을 넘어 환자·시민이 함께 AI 개발에 참여하는 방식도 제시될 수 있으며, 이를 이미 앱의 개발에 다수 활용되고 있는 얼리 액세스(early access) 모형에서 살펴볼 수 있다. 얼리 액세스는 미완성인 프로그램을 사용자에게 현재 개발 수준과 향후 계획을 미리 고지하고 판매하는 것으로, 이후 사용자의 의견과 반응을 수렴하여 함께 개발해 나가는 것을 가리킨다. 사용자는 아직 완성되지 않은 프로그램을 구입하므로 프로그램의 완성을 계속 기다려야 한다는 리스크를 지지만, 저렴한 가격으로 프로그램을 일찍 사용해 볼 수 있으며, 자신의 피드백이나 주장이 프로그램 개발 방향에 적용될 것이라는 기대를 가지고 참여한다. 개발자는 개발 과정에서 먼저 개발 비용을 모아 추가적인 개발 과정에 활용할 수 있고, 무엇보다 개발 과정 중간에 획득한 사용자 데이터를 통해 앱을 대상자의 필요와 요구에 더 적합하게 맞출 수 있다는 이점을 지닌다. 이런 접근을 적용한 헬스케어 AI 얼리 액세스 모형 또한 가능하며, 이는 특히 대상자가 특수하고 대상자의 요구를 반영하며 개발에 접근하는 것이 상호 유리한 희소 질환의 연구, 관리 등에 있어 강점을 보일 것으로 기대된다. 더 나아가 개발자와 환자가 AI를 공동 제작하는 방식도 가능하며, 이는 애초부터 환자 단체가 앱이나 장비 등의 개발에 직접 참여하여 공동 훈련, 심지어 출시까지도 진행하는 것을 의미한다. 이미 제1형당뇨병환우회의 김미영 대표가 지속형 혈당측정기를 들여와 개조하고, 환자 집단에 확산시켜 데이터를 수집하여 정밀한 측정, 예측 모형을 만들고 있는 것을 개발자와 환자의 AI 공동 제작 모형의 사례로 제시할 수 있을 것이다[38]. 이런 헬스케어 AI 공동 제작은 단지 환자의 요구를 반영하는 것을 넘어, 헬스케어 AI가 어떤 보건의료의 문제를 해결할지에 있어 환자의 생각과 경험을 직접 따르는 평등한 개발과 발전의 모형을 구현하는 데에 있어 핵심적인 단계를 제공할 수 있다.

둘째, AI 기반 환자 리터러시이다. 이것은 환자와 시민의 헬스케어 관련 지식 및 실천의 향상을 헬스케어 AI 설계 단에서 함께 고려하는 것을 의미한다. AI 리터러시 개념은 단순히 AI를 활용하는 방법을 아는 것을 넘어, 사용자가 그 기술을 비판적으로 평가하는 역량을 함양하는 것을 포함한다[39]. 헬스케어 AI 리터러시를 높이는 것을 앱이나 도구 차원에서 고려하여, 환자 및 시민이 헬스케어 AI의 적용을 비판적으로 검토, 평가하여 더 높은 수준의 적용과 활용을 목적하는 것이다.

이것은 헬스케어 AI의 활용에 대한 대중 교육과 홍보를 의미하지 않는다. 헬스케어 AI 자체에 기술에 대한 접근성과 이해 가능성을 포함시키는 것과 동시에, 사용자 집단이 이를 검토할 수 있는 자체적인 틀을 수립하는 것을 의미한다. 설명가능한 AI(explainable AI)에 대한 요구가 이를 위한 전제로 요청된다고 볼 수도 있다[40]. 그러나 꼭 설명가능한 AI(즉, AI 알고리듬 자체가 결과를 도출한 이유나 요소를 제시하도록 설계, 훈련하는 것)를 강제하지 않더라도, 헬스케어 AI가 제공하는 결과를 이해가능하도록 만드는 보조 자료의 제공, 질의응답형 AI의 구성, 휴먼 인 더 루프(human-in-the-loop, AI의 결정 과정 중간에 인간의 의사결정을 강제하는 루틴을 도입하여 AI가 자동적으로 의사결정을 내리지 않도록 확보하는 접근 방식) 등을 통해 헬스케어 AI의 사용자가 결과를 이해하고 자신에게 적용하도록 돕는 방식을 추구하는 것으로 헬스케어 AI 단에서의 리터러시의 증진이 가능하다. 또한, 사용자 집단이 직접 헬스케어 AI가 제공해야 할 결과의 수준과 정확도, 제공해야 할 정보 등의 표준을 논의하는 온라인 포럼 등을 구축하여 집단적으로 의견을 수렴하여 기술에 비판적으로 접근할 수 있다. AI 앱 자체에 이런 기능을 부가하여 환자·시민의 참여를 정책적으로 보장하는 방식도 검토해 볼 수 있다.

마지막으로, 시민과학(citizen science) 모형이다. 시민과학이란 과학 지식의 향상을 위한 과학 연구에 시민이 참여, 협력하는 것으로, 구체적으로는 과학 연구(자료 수집, 분석, 결과 확산 등)에 플랫폼이나 도구 등을 통해 시민이 직접 참여함을 의미한다. 대표적인 사례로 세티앳홈(SETI@home), 이버드(eBird), 주니버스(Zooniverse) 등이 있으며, 이들은 시민의 자원과 노력을 과학적 탐구에 통합하여 함께 과학을 발전시키는 것을 목적으로 한다. 이제 시민과학은 우주나 환경 분야를 넘어 다양한 영역으로 확장될 가능성을 제안하고 있다[41]. 아쉽게도 시민의 다양한 참여와 활동이 이루어지는 국외의 시민과학과 달리, 국내의 시민과학 활동은 제한적인 상태다[42]. 그러나, AI의 확산은 과학의 시민 참여를 확대할 가능성을 지니고 있으며[43], 이는 역으로 AI에 대한 시민 참여 또는 “AI 시민과학”의 구현을 요청하고 있다. 대표적인 데이터사이언스 플랫폼인 캐글(Kaggle)은 주어진 데이터세트에 대한 머신 러닝 및 AI 알고리듬 적용을 통한 모델을 참여자 경쟁을 통해 발전시키는 방식을 제시해 왔다. 비슷하게, 헬스케어 AI의 개발과 훈련에 시민들이 자유롭게 참여할 수 있는 플랫폼의 개발은 얼마든지 가능하며, 이는 시민들에게 헬스케어 AI의 개발과 적용이 그들과 완전히 유리된 전문가만의 영역이 아니라 스스로 참여하여 설계하고 누릴 수 있는 권리임을 보장하는 방식을 제안할 수 있다. 시민과학은 헬스케어 AI를 평가하고 분석할 수 있는 충분한 역량을 지닐 수 있으며, 이는 앞서 살핀 헬스케어 AI 검증에 대한 환자·시민 참여의 가장 확실한 방법을 제안한다.

이런 헬스케어 AI 환자·시민 참여의 대안 모형들은 기존의 질적 연구 기반 패널 모형과 달리, 즉시성, 통합성, 지식 기반, 직접 참여 요청이라는 차이를 보인다. 첫째, 전술한 모형들은 헬스케어 AI 자체에서 환자와 시민이 참여할 수 있는 방안을 제공할 것을 요구하며, 그에 따라 개선점 등이 도출되었을 때 즉각적인 방안이 마련될 것을 요청한다. 둘째, 전술한 모형들은 전통적 모형이 연구와 의견 수렴을 완전히 별개의 절차로 여겼던 것과 달리, 개발과 사용을 통합하여 개발 과정에서 사용자의 피드백을 받는 순환 구조를 마련하거나 개발 자체가 사용과 동시에 이루어지는 절차를 활용할 것을 제안한다. 셋째, 헬스케어 AI가 직접적인 정보 및 지식 제공, 확산의 수단이 될 수 있으므로, 헬스케어 환자·시민 참여의 대안 모형은 환자와 시민이 헬스케어와 AI에 관한 지식을 생산하고 유통하는 경로를 직간접적으로 마련할 것을(특히, 리터러시와 관련하여) 제시한다. 넷째, 그동안 보건의료 영역에서 수동적인 위치로만 놓여 있던 환자와 시민이 직접 헬스케어 AI의 개발과 검증에 참여하도록 요청하는 것은 이들을 능동적인 위치로 전환시키는 실천으로 기능한다[44].

또한, 이런 헬스케어 AI 환자·시민 참여 모형은 헬스케어 AI와 관련하여 확장된 동의 모형(extended consent model)을 검토하고 있는 현 상황에서 환자 및 시민의 구체적인 연구 이해, 검토, 확인을 구현하는 방안이라는 점에서 자율성을 보장할 수 있다. 또한, 특정 대상이 데이터에 포함되지 않거나 알고리듬이 그를 반영하지 않을 수 있다는 AI 편향에 대한 우려를 그 당사자가 확인하고 문제 제기를 할 수 있는 경로를 확보한다는 점에서 정의의 요청에 대응한다. 이에 더하여, 단지 의료계의 요구뿐만 아니라 시민의 요구를 헬스케어 AI의 개발과 활용에 적용한다는 점에서 지속가능성의 목표 구현에 대응할 수 있다.

그러나, 헬스케어 영역의 특수성을 고려할 때, 위 모형이 아무런 제한 요소를 지니지 않는 것은 아니다. 무엇보다, 환자·시민 참여의 범위가 확대될수록, 데이터 활용 및 관리와 관련된 우려가 커질 수 있다. 예컨대, 시민과학 모형으로 접근한다면, 이들이 헬스케어 AI 개발을 위해 활용하는 데이터는 어디서 수집된 무엇이어야 하는가? 공개된 공공 헬스케어 데이터를 활용하는 것도 현재 국내에선 제한적인 참여와 절차를 마련해 놓은 상태다[45]. 시민이 자유롭게 참여하도록 공개하는 것은 데이터 유출이나 남용에 대한 안전망을 제공할 수 없을지도 모른다. 또한, 환자·시민 참여가 검증의 영역을 넘어 유사 보건의료 행위를 시행하는 범위까지 확대될 가능성을 배제할 수 없다. 규제와 처벌이 있음에도, 시장에는 수많은 유사 의료인이 존재한다. 헬스케어 AI 영역에서 환자·시민 참여를 허용하는 것은 이런 유사 의료인이 마음대로 활동하는 경로를 제공하여 오히려 환자와 시민의 건강을 해치는 결과를 낳을 수 있는 것은 아닌가. 꼭 의료 행위가 아니라고 할지라도, 이런 환자 또는 시민의 참여가 오정보(misinformation)나 역정보(disinformation)를 생산하는 경로로 악용될 가능성을 배제할 수 없을 것이며, 이는 인포데믹(infodemic)의 현실적 위험을 우려하는 현 세태에서 결코 무시할 수 없는 리스크다[46].

따라서, 본 논문은 헬스케어 AI에서 환자·시민 참여의 범위를 외부 검증으로 일단 한정하며, 앞에서 제기한 세 가지 모형 또한 검증의 범위 안에서 기능하는 것을 우선적으로 제안한다. 참여적 설계나 리터러시의 경우엔 현실적으로 문제가 발생할 가능성이 극히 낮을 것으로 보이나, 시민과학의 경우엔 이 범위를 넘어서는 실천(예컨대, 환자 또는 시민이 디지털 치료제를 직접 개발하는 것)을 관리하기 위해선 위의 문제들을 정밀하게 다룰 필요가 있다. (앞서 논문[35]이 제기한 공동 설계의 위험 세 가지, 절차에 대한 협소한 초점, 제한된 설계 행위자성, 대표성 맥락의 경시를 참조할 수 있을 것이다.) 환자 또는 시민이 직접 헬스케어 AI를 통해 진단 또는 치료 행위를 하는 수준까지 관여한다면, 이를 어떻게 규제할 것인가. HIV/AIDS 맥락에서 논란이 되었던 약물 자가 투여 논란을 검토할 때, 어디까지 허용할 것인가?의 선은 모든 경우에 모호하다[47]. 따라서, 이를 검토하기 위해선 별도의 작업이 필요할 것이다.

마지막으로, 과학기술학에서 당사자 참여와 시민 참여는 정치적으로나 실천적으로 구분되는 모형이며, 따라서 환자 참여와 시민 참여는 같이 묶기 어려운 개념이라는 점을 살필 필요가 있다[48]. 그러나, 보건의료 영역에서 환자·시민 참여라는 개념이 이미 오랫동안 사용되어 왔으며, 과학과 달리 보건의료에선 환자 참여와 시민 참여가 완전히 다른 개념이 아니라 공통점과 차이점을 지니는 유사 개념으로 다루어지므로 여기에선 환자·시민 참여라는 개념을 구분하지 않고 유지했다는 점을 언급해 두고자 한다.

배경에서 제시한 질문, 헬스케어 AI가 보건의료의 민주화와 공공성을 확보할 것인가?에 대하여 본 연구는 헬스케어 AI 자체가 아니라, 상기에서 검토한 환자·시민 참여가 그를 구현하기 위한 수단임을 언급하고자 한다. 현재, 헬스케어 AI가 환자와 시민을 능동적인 참여자로 만들고 있다는 증거를 찾기는 쉽지 않으며, 오히려 헬스케어 AI 자체의 복잡성이 이들을 의료와 기술에서 더 이격하고 있는 것은 아닌지 의심해야 하는 상태다. 대표적인 사례로 코로나19 이후 급격히 확산한 헬스케어 관련 가짜 정보와 인터넷을 통해 강고해진 백신 거부 운동을 생각해 볼 수 있다[49].

이런 상황에서, 본 논문은 환자와 시민이 헬스케어 AI의 외부 검증에 참여하기 위한 구체적인 절차를 마련하고, 이들에게 그를 위한 역능을 부여하기 위한 기술적, 사회적 방안을 도입하는 노력을 검토하였다. 이러한 노력은 헬스케어 AI가 단순히 기술적 혁신을 넘어 보건의료의 민주화와 공공성 확보에 진정으로 기여할 방안을 제안한다. 환자와 시민의 적극적인 참여는 헬스케어 AI 시스템의 투명성과 책임성을 높이고, 이를 통해 기술에 대한 신뢰를 구축할 수 있다. 또한, 이러한 참여 과정은 헬스케어 AI가 다양한 사회적 가치와 윤리적 고려사항을 반영하도록 하여, 궁극적으로 보다 포용적이고 공정한 보건의료 시스템의 발전에 기여할 수 있다. 그러나 이를 실현하기 위해서는 지속적인 연구와 실천, 그리고 사회적 합의가 필요할 것이다.

본 논문은 환자·시민 참여가 이미 오랫동안 보건의료 영역에서 논의, 적용되어 왔다는 점을 배경으로 하여 헬스케어 AI에서 환자·시민 참여의 역할을 검토하였다. 그러나, 주제범위고찰 결과가 보여주듯 환자·시민 참여가 헬스케어 AI와 연결되어 논의된 것은 그리 오래되지 않았으며, 아직 연구의 양도 극히 적다. 이런 상황에서 헬스케어 AI 환자·시민 참여라는 개념을 전제하는 것은 무리일 것이다.

더구나, 한국의 경우 환자·시민 참여의 논의에 관한 지반은 무척 약하고, 이에 대한 실천도 찾아보기 매우 어렵다. 즉, 환자·시민 참여 자체에 대한 세부적인 검토가 필요할 것이나, 그 경우 논문이 필요 이상으로 길어져 하나의 작업에 다 담을 수 없는 분량이 될 것이다. 국내에서 환자·시민 참여의 경험적, 이론적 논의가 이루어질 필요가 있음을 이 지면을 빌어 지적하는 것으로 검토를 대신하며, 여기에서 해당 내용을 다루지 못했음에 대한 양해를 구한다.

또한, 앞서 언급한 공동 개발의 사례를 제외하면, 본 논문이 제시하는 방법론은 저자가 아는 한 아직 헬스케어 AI 영역에서 구체적으로 수행된 바가 없다. 이들 방법론은 다른 영역(얼리 억세스: 애플리케이션 개발, 리터러시 및 역능강화: 커뮤니티 케어, 시민과학: 과학기술학)에서 헬스케어 AI 영역에 수용 가능할 것으로 기대되는 것을 빌려온 것이다. 구체적인 실천 사례를 제시하지 못한 것에 대해 양해를 구하며, 본 지면을 통해 관련 접근법의 구현을 위한 노력을 촉구하는 한편, 논문의 저자 또한 이런 접근법을 구현하여 그 결과를 별도 지면에서 소개할 것을 약속드린다. 김준혁