I. 서론
인공지능(artificial intelligence, AI)이란 용어는 이미 수십 년 전부터 사용되어 오고 있었고, 인간의 생활을 윤택하게 하고 보조적 역할을 하는 약한 인공지능(week AI)를 중심으로 법적·윤리적 측면이 논의되어 왔었다. 그러다가 2022년 OpenAI사 개발한 ChatGPT가 출시되면서 인간을 대체할 수 있거나 인간의 지적 판단능력을 능가하는 범용인공지능(artificial general intelligence, AGI)의 개발이 공상과학이나 먼 미래에서나 실현가능한 일이 아닌 우리 눈 앞에 현실로 다가올 수 있음[1]을 절감하고 있다.1) 헬스케어 영역에서도 AI 기술의 접목을 통해 각종 질병의 예방, 진단, 치료, 관리 등의 다양한 의료서비스 제공에 있어서 혁신적인 변화가 이루어질 것이라고 예상되고 있다. 이러한 상황에서 AI로 인해 발생할 수 있는 위험이나 부작용에 대한 우려 또한 커지고 있으며, 이를 방지하기 위한 법적·윤리적 대응방안들이 적극적으로 논의되기 시작하고 있다.
헬스케어 AI로 인한 위험이나 부작용을 합리적으로 방지하기 위한 방안으로 김준혁은 논문에서 헬스케어 AI 윤리에서 환자·시민 참여모형을 제안하고 있다고 생각한다. 본인은 김준혁이 제안하고 있는 헬스케어 AI 윤리에서 환자·시민 참여모형에 기본적으로 공감하면서 헬스케어 AI의 위험 및 부작용과 그를 방지하기 위한 실체적 방법과 절차적 방법을 구분하여 간략히 기술하고자 한다. 그리고 그 과정에서 김준혁이 논문에서 주장하는 바와 차이가 있는 점에 대해서도 언급하고자 한다.
II. 헬스케어 AI의 위험 내지 부작용
헬스케어 AI의 경우 발생가능한 위험 내지 부작용들로 여러 가지 것[2]들이 있을 수 있지만 주요하게 논의되고 있는 것들은 다음의 3가지로 요약될 수 있다.2)
첫째, 기존의 의료행위 결정과정을 보면 의료행위에 대한 표준가이드라인이 있고 동일한 질환을 가진 환자라고 하더라도 의학적 데이터 이외에 경제 사회적 다른 여러 상황을 고려하여 최선의 방법이라고 생각할 수 있는 치료법이 행해질 수 있다. 그러나 헬스케어 AI의 경우에는 축적된 의학적 데이터에 따라 동일한 질환의 경우 동일한 치료법이 제안될 가능성이 클 수 밖에 없다. 즉 헬스케어 AI가 행하는 의료행위3)가 의료윤리적 견지에서 옳다고 평가될 수 없는 측면이 있을 수 있다[3].
둘째, 헬스케어 AI에 적용되는 알고리즘은 인간이 쉽게 파악할 수 없는 딥러닝 과정을 거쳐 이루어질 것이기 때문에 개발자라고 하더라도 모든 상황을 통제할 수는 없을 것이다. 특히 최근 범용인공지능(AGI)의 개발이 가시화된 시점에서는 AI가 행하는 의료행위에 대해 인간의 통제범위를 벗어나서 이루어지지 않을까 하는 불안감은 더욱 증폭될 수 있다.
셋째, 헬스케어 AI 알고리즘의 가치편향성 및 공정성 문제이다. AI 알고리즘이 가치편향성을 가지게 되는 이유에는 개발자인 개인의 편향된 가치판단기준에 알고리즘 설계에 반영된 것일 수도 있고, 부지불식간에 사회구조적으로 편향된 데이터들이 알고리즘에 반영되어 나타날 수 있다. 이러한 알고리즘에 기반한 헬스케어 AI가 수행하는 의료행위의 경우 인종 간, 남녀 간 또는 사회소수자에 대한 차별적 성향을 가진 채 의료행위를 수행할 위험성도 제기되고 있다. 그리고 이러한 행위들이 명시적으로는 잘 드러나지 않고 부지불식간에 이루어지는 경우 사후적으로도 교정이 어렵게 되거나 고착될 우려도 있기 때문에 더욱 문제가 될 수 있다.
위에서 언급한 이러한 헬스케어 AI가 가질 수 있는 위험 및 부작용 등으로 인해 헬스케어 AI 개발에 있어서의 윤리적 원칙 및 규제 시스템을 통해 보건의료의 민주화와 공정성4)을 지키고자 하는 것이다[4]. 헬스케어 AI의 위험 내지 부작용을 방지할 수 있는 방법으로 실체적 규제방법과 절차적 규제방법으로 나누어 볼 수 있는데 이에 대해서는 단락을 바꾸어 논의하겠다.
III. 헬스케어 AI의 위험 및 부작용 방지를 위한 규제 방법
헬스케어 AI의 위험 및 부작용 방지를 위해 WHO는 2021년 ‘의료분야 인공지능윤리와 거버넌스 지침서(Ethics & Governance of Artificial Intelligence for Health)’를 통해 (1) 자율성 보호, (2) 인간의 복지와 안전 증진, (3) 투명성, 설명성, 지적 능력의 보장, (4) 책임의 함양, (5) 포괄성과 형평성 보장, (6) 대응성과 지속 가능한 AI를 촉진하는 것 등의 핵심원칙에 따라 AI가 개발되어야 함을 천명하였다[5]. 그러면서 의료진이 AI 시스템과 의사결정에 대한 완전한 통제권을 유지해야 함을 명시하고 있다. 이러한 AI 윤리는 2024.3.14 EU가 제정된 AI 규제법에도 상당부분 반영되어 있다. 그리고 우리나라에서도 2023년 8월 질병관리청과 국립보건연구원이 공동으로 ‘보건의료분야 인공지능 연구자를 위한 연구윤리 지침’(이하 ‘연구윤리 지침’이라 한다.)을 개발하여 시행하고 있다. 이 지침에서도 WHO의 지침[6]의 영향을 받아 인공지능 연구·개발에 있어 연구자와 기관의 사회적 책임을 구현하기 위한 윤리원칙으로 (1) 인간의 자율성 존중과 보호, (2) 인간의 행복, 안전, 공공의 이익 증진, (3) 투명성, 설명 가능성, 신뢰성, (4) 책무, 법적 책임, (5) 포괄성, 공정성, (6) 대응성, 지속 가능성을 제시하고 있다.5) 따라서 현재 시행되고 있는 이러한 AI 윤리원칙들이 헬스케어 AI를 개발함에 있어서 실체적 규제의 주요한 내용이 될 것이다.
헬스케어 AI의 위험 내지 부작용을 방지하기 위한 절차적 방법은 위에서 언급한 실체적 방법을 어떻게 합리적 절차를 통해 구현해 나갈 것인가의 문제일 것이다. 질병관리청이 제시하고 있는 연구윤리지침에 따르면 AI 연구·개발 절차적 고려사항으로 다음의 6가지를 제시하고 있다. (1) 사전고려 단계에서 헬스케어 AI 연구·개발 착수전에 지침에 근거해서 연구의 명확한 윤리 프레임 워크를 설정했는지 여부, (2) 데이트셋 생성단계에서는 헬스케어 AI 모델개발을 위한 데이터 수집과 처리과정에서 개인정보보호 조치들이 충분히 이루어졌는지 여부, (3) 모델 개발 단계에서는 연구목적에 맞는 알고리즘을 설정하고 예비데이터를 적용하여 적절성을 판단했는지 여부, (4) 훈련, 검증, 평가 단계에서는 수집한 데이터로 알고리즘 훈련 및 검증, 연구목적에 적용가능 여부에 대한 평가가 제대로 이루어졌는지 여부, (5) 적용단계에서는 개발된 모델이 사전 설정한 윤리 프레임 워크와 법적 규제를 준수했는지 여부, (6) 사후 고려 단계에서는 헬스케어 AI 모델의 향상을 위해 사용자와 지속적인 소통과 피드백을 하고 있는지 여부이다. 이러한 사항들은 AI 연구·개발을 단계별 절차로 나누어 검토되어야 할 사항들을 적시하였다는 점에서 절차적 사항으로 볼 수 있지만, 적절한 검증기관이나 주체에 의해서 이루어졌는지에 대한 논의가 빠졌다는 점에서 제대로 된 절차적 규제방법이라고는 할 수 없다. 이러한 점에서 김준혁도 논문에서 헬스케어 AI 연구·개발에 있어 신뢰성을 보장하기 위한 윤리적 논의나 절차적 고려는 거의 없었다는 문제점을 지적하고 그 대안으로 검증 주체로서 환자·시민 참여 모형을 제시하고 있다고 생각한다. 이러한 그의 문제점 지적에 전적으로 동감하는 바이며 독립적인 외부기관에 의해 단계별로 실체적인 사항들을 고려하여 개발되고 있는지를 검토해야 한다고 생각한다. 그리고 김준혁은 전문가, 전문검증기관 및 국가의 경우에는 검증 주체로서 정당성이나 합법성을 인정할 수 없기 때문에 외부검증 주체로서 환자·시민이 주체가 되어야 함을 주장하고 있는 것으로 보인다. 그러나 그러한 그의 주장에는 일견 동의할 수 없는 측면이 있다. 환자·시민이 헬스케어 AI로 영향을 받는 주요한 이해관계자로서 검증주체로 참여하여야 함에는 동의하지만 전문가 및 국가기관을 배제하고 주체가 되어야 함에는 동의할 수 없는 측면이 있다. 전문가, 국가기관, 그리고 환자·시민은 각각의 고유한 영역에서의 역할 및 기능이 있기 때문에 이들 모두가 참여하는 협의체를 외부검증주체로 하여 각각의 단계별로 검토가 이루어지는 것이 바람직하다고 생각한다.
IV. 결론
AI 연구·개발이 가속화되면서 범용인공지능(AGI) 출현이 가시화되고 있는 상황에서 헬스케어 AI로 인한 위험 또는 부작용의 우려 또한 커지고 있다. 이러한 상황에서 헬스케어 AI 규제방안은 실체적 측면과 절차적 측면이 동시에 고려되어야 한다. 실체적 규제방법은 윤리지침 등을 통해 어느 정도 구체화되었다고 볼 수 있지만 절차적 규제방법과 관련해서는 검증주체와 관련해서 여전히 모호한 측면이 있다. 절차적 측면에서는 우선적으로 헬스케어 연구·개발 및 실용화 각 단계에서 실체적 규제 내용들이 제대로 작동하고 있는지를 검증할 수 있는 주체가 명확히 설정되어야 한다. 그러한 검증은 외부전문가 내지 전문기관, 국가기관 및 환자·소비자가 모두 참여한 협의체를 통해 이루어져야 할 것이다.
