Commentary

보건의료 AI 개발에서 환자 시민 참여 모델 적용을 위한 제언

이정현1https://orcid.org/0009-0001-1744-6418, 김한나1,2,*https://orcid.org/0000-0003-2938-9745
Junghyun Lee1https://orcid.org/0009-0001-1744-6418, Hannah Kim1,2,*https://orcid.org/0000-0003-2938-9745
Author Information & Copyright
1연세대학교 의료법윤리학연구원
2연세대학교 의과대학 인문사회의학교실
1Asian Institute for Bioethics and Health Law, Yonsei University, Seoul, Korea
2Department of Medical Humanities and Social Sciences, College of Medicine, Yonsei University, Seoul, Korea
*Corresponding author: Hannah Kim, Asian Institute for Bioethics and Health Law, Yonsei University, Seoul, Korea. Tel: +82-2-2228-2537, E-mail: HANNAKIM83@yuhs.ac

ⓒ Copyright 2024 The Korean Society for Medical Ethics. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Nov 11, 2024; Revised: Nov 14, 2024; Accepted: Dec 20, 2024

Published Online: Dec 31, 2024

Abstract

This commentary builds on the lead article for this volume by proposing additional considerations for implementing a healthcare AI framework centered on patients and citizens. It argues that rather than being mere data providers, patients and citizens must serve as external validators, thereby enhancing transparency and fairness in the development of healthcare AI. The participation of patients and citizens is essential to safeguarding the rights of data providers, ensuring transparent AI usage, and promoting equitable healthcare access. However, current domestic systems, including broad consent mechanisms, limit meaningful involvement. This commentary addresses these limitations by highlighting the need for centralized, provider-focused data governance, clear information dissemination, and ongoing education initiatives. Ultimately, while the participation of patients and citizens is crucial for fostering trust in healthcare AI, that participation must be supported with systematic strategies and long-term investments.

Keywords: artificial intelligence (AI); healthcare AI; centralized data control; data sharing; patient and public engagement

I. 서론

이 글은 김준혁 교수의 “헬스케어 AI 윤리 환자·시민 참여 모형(2024)”과 관련하여 환자 시민 모델을 적용하기 위하여 필요한 추가적인 고려사항을 제안하는 것을 목적으로 한다. 저자는 환자와 시민이 단순히 데이터를 제공하는 역할에서 벗어나 헬스케어 인공지능(이하 AI) 개발에서 일반인 관점으로 데이터 관리 활용을 감시하거나 의견을 제시할 수 있는 참여자가 되어야 한다고 강조한다. 연구 결과에 따르면, 헬스케어 AI 개발에 환자와 시민이 외부 검증자로 참여하는 모델을 통하여 AI 알고리즘의 투명성을 높이고 데이터 활용 과정에서 발생할 수 있는 편향이나 오류를 최소화하는 역할을 할 것으로 기대된다.

이를 위하여, 헬스케어 AI의 발전과 사회적 수용성 증대를 위해 환자와 시민이 데이터 제공자로서의 권리를 실질적으로 행사할 수 있는 시스템의 필요성을 제기한다. 구체적으로, 환자와 시민이 검증자로서 참여할 수 있는 구조는 헬스케어 AI가 단순한 기술 혁신을 넘어 의료 서비스의 민주적 접근성 및 사회적 신뢰성을 보장하는 방법이라고 전망하고 있다.

데이터 기반 의료 체계로 전환되는 추세에서, 본 연구자들은 헬스케어 AI의 보편적 사용과 접근성을 향상해야 한다는 저자의 의견에 동의하며, 특히 AI 개발자들이 AI 개발 과정에서 외부 검증의 방식으로 환자와 시민의 참여를 허용해야 한다는 점에 동의하는 바, 본 연구 자들은 저자의 연구 결과에서 AI 연구개발의 거버넌스를 실질적으로 개선시키기 위한 추가 방안을 제시하고자 한다.

Ⅱ. 헬스케어 AI 발전 과정에 환자·시민 참여의 함의

AI가 정확하고 효율적이라 해도, 사회적 신뢰는 AI뿐 아니라 그 기술의 기반이 되는 데이터가 공정하고 투명하게 관리하는 체계와 이를 운영하는 범위까지 포함하여 구축된다. AI 학습에 필요한 데이터를 제공하는 주체는 바로 시민들이므로 데이터 기증자는 AI를 개발하기 위한 자원의 공급자로만 머물 것이 아니라, AI가 우리 사회에 유익하게 작용하도록 운영과 관리에 참여할 권리가 있다[1].

환자와 시민의 적극적 참여는 그들이 단순히 데이터 제공자가 아니라 헬스케어 AI의 주체적 참여자가 될 수 있도록 하는 계기를 만들고, 이를 통해 헬스케어 AI의 공정성과 신뢰성을 강화하는데 긍정적으로 기여한다[2]. 시민들의 참여는 AI가 공공성을 실현하는 과정으로써, 헬스케어 서비스의 접근성을 높이고 AI 시스템의 투명성 강화 검토과정을 추가한다[3]. 이러한 관점은 헬스케어 AI가 단순한 기술 혁신을 넘어 서비스의 민주적 접근성을 보장하고, 사회적 신뢰도 함께 구축하기 위해서는 환자와 시민이 검증자로서 참여할 수 있는 구조가 필요함을 보여준다.

이러한 구조적 기반은 AI의 신뢰도를 높이는 데 그치는 것이 아니라, 헬스케어 AI 서비스가 공공적 가치를 실현하는 길이 될 수 있을 것이다. 환자와 시민이 검증자로서 참여한다면, 헬스케어 AI는 보다 투명하고 공정한 시스템으로 발전할 수 있으며, 궁극적으로 더 많은 사람에게 혜택을 주는 방향으로 나아갈 수 있을 것이기 때문이다[4].

AI 기술의 발전은 헬스케어 서비스를 더욱 효율적이고 정밀하게 변화시키고 있으며, 이를 통해 개인 맞춤형 헬스케어와 데이터 기반의 신속한 의사결정이 가능해지고 있다[5]. 하지만 우리 건강과 직접적으로 연계가 되는 AI 기술을 도입하기 위해서는 무엇보다 투명하고 신뢰할 수 있는 검증 과정이 요구된다. 헬스케어 AI 개발 초기 단계에서부터 환자와 시민 참여가 보장된다면, 이것은 AI의 신뢰도를 높이는 데에만 그치지 않고, 데이터 제공자인 환자와 시민이 기술 발전 과정의 일부가 되어 권리를 보장받을 수 있다는 점에 의미가 있다. 이는 단순한 기술 검증의 차원을 넘어서는 것으로 개인의 내밀한 정보를 집합적 학습해 이루어지는 헬스케어 서비스의 민주적 접근성을 확보하고자 하는 저자의 주장과 맞닿아 있다. 즉 환자와 시민이 AI를 검증하는 과정에 직접 참여함으로써 헬스케어 서비스의 보편적 접근성과 공정성이 증대될 수 있을 것이다. 이는 헬스케어 분야에서 모든 계층과 개인이 동등하게 AI의 혜택을 누릴 수 있도록 하는 데 기여할 수 있을 것이다[6].

Ⅲ. 외부 검증자가 참여하는 윤리적 거버넌스 모델 구성

데이터 연구에서 환자·시민 참여 모형의 원형은 데이터 제공의 자기결정권에 기초하고 있다. 환자는 데이터 제공자로서 헬스케어 AI 연구의 중요한 이해당사자이다. 그래서 환자는 자신이 제공한 정보가 어떤 방식으로 활용되고, 시스템에 어떤 영향을 미치는지를 알 권리가 있다. 그러나 현재 국내에서 진행한 빅데이터 연구에서 자신의 데이터가 어떻게 쓰이는지에 대해 데이터 제공자가 실제로 확인하고 참여하도록 해당 권리를 구체화하는 측면으로 살펴보면 현재 동의 체계는 문제점이 존재한다. 대표적으로 빅데이터를 활용하는 바이오뱅크 연구가 포괄적 동의를 도입한 점이다. 포괄적 동의는 기존 개별동의가 가진 한계의 대안으로써, 미래의 연구를 위한 넓은 범위 사용을 정당화 하는 동의 방식으로 생명윤리 및 안전에 관한 법률 상 법정 서식으로 도입되었다. 이 동의서와 관련된 절차는 기증한 정보를 어떻게 사용할지를 기증 당사자가 아닌 기관위원회가 권한을 위임받아 승인한다는 점이다. 즉, 기증자들은 기증된 현재 정보의 사용 범위뿐만 아니라 미래의 사용 방식 등을 잘 인지하였고, 기관위원회가 충분히 신뢰할 만하다는 것을 전제로 한다. 문제는 그러나 현재까지 사용되는 연구·기증 법정 동의 양식 도입 당시에는 빅데이터에 대한 고려가 크지 않았기 때문에 최근 개인정보보호법 개정에 따라 도입된 정보 사용에 대한 주기적인 고지 및 재동의 절차가 포함되지 않았다. 따라서 데이터 제공자는 본인의 정보가 기존의 포괄적 동의에 의해 데이터뱅크에 투입되어 계속 활용되는 상황을 인지하기 어렵다[7].

현재 데이터 제공 시스템은 데이터기증자의 실제적인 권리 행사가 가능한 구조인가? 만약 정보 제공자가 자신의 데이터를 다른 연구 목적 등으로 활용할 수 있다고 동의했더라도, 언제든지 정보 제공자의 의사에 따라 사후 동의 철회 절차(opt-out)가 마련되어야 한다고 응답한 대상자가 86.5%에 달하는 연구결과에서 알 수 있듯이[8], 정보 제공자가 정보의 사용처를 알 수 있다면 제공 동의를 철회할 대기 수요도 많다고 볼 수 있다. 그러나 현재 포괄적 동의 하에 진행되는 연구에서는 나의 데이터 정보가 사용되는 것을 인지할 수 없으므로 권리 행사에 한계가 있다.

국내에는 환자나 시민들이 적극적으로 검증하는 모델에 대한 사회적 요구 및 의향에 대한 연구결과가 없으며, 그보다는 낮은 단계 참여 수준인 데이터 기증에 대한 사회적 의향 연구 결과가 존재한다. 국가 바이오빅데이터 사업 관련 수행 연구결과에서는 데이터 제공자들의 우려가 확인된다. 연구참여자들은 프로젝트에 갖는 기대에 비해 참여 의지는 상대적으로 낮았다. 참여의 긍정적 동기는 건강정보 수신(75%)이라는 보상 기제 때문이었고, 데이터 제공 의지는 민간 비율이 커질수록 감소하였으며, 이는 미국의 커프만 등(Kaufman, 2016)의 연구 결과와 부분적으로 겹치는 것이었다[9]. 참여를 거절하는 부정적 요인으로는 데이터 유출우려와 차별우려가 각각 60% 이상 나타났는데, 국가바이오빅데이터사업은 데이터베이스 접근권한이 제한적이고 개인정보 보호 장치가 갖춰진 사업임에도 이러한 연구 결과가 나타고 있었다[10]. 데이터 제공자의 재동의 작성 불편을 해소하고 연구 활성화도 추구하는 포괄적 동의는 데이터 제공자들이 기증 기관의 IRB를 통한 심의 활용까지는 신뢰한다는 것을 전제하지만, 기관 외 민간 영역 제3자 비율이 증가하는 상황에서 재동의를 받아야 한다고 하면 그 때의 동의율도 같이 증가한다고 보기 어려울 수 있다는 뜻이다. 결과적으로 IRB의 결정과 데이터 제공자들의 의사가 일치하지 않게 될 수 있다는 것이다.

그래서 낮은 수준의 참여인 데이터 제공수준에서 살펴보면 포괄적 동의를 통해 기관별 기관위원회를 통해 진행되는 국내 빅데이터 연구에서는 데이터 제공자의 인지가 제한되어 권리행사에도 한계가 있으므로 환자의 실질적 참여가 높다고 보기에 어렵다고 할 수 있다. 현재 통상 데이터 제공자인 환자는 대부분 초기 단계에서 단순히 데이터를 제공하는 역할만 맡고, 연구 과정에서 의미 있는 피드백이나 의견을 제시할 기회가 거의 주어지지 않는다. 특히 대규모의 개인 의료 데이터를 필요로 하는 AI 연구에서는 데이터 제공자가 실제로 데이터 활용의 어떤 부분에서 영향력을 미칠 수 있는지 알 수 있는 방법이 거의 없다. 앞서 살펴본 바와 같이[10], 국내 연구 체계가 갖고 있는 이러한 구조적 한계는 데이터 제공자인 환자와 시민이 자신이 제공한 데이터가 어떻게 쓰이고 있는지에 대해 불안감을 가질 수 있는 여지를 만들고, 장기적으로는 환자들이 연구에 자신의 데이터를 제공하는 데 있어 신뢰도를 떨어뜨리는 요인이 될 수 있다. 이는 기술 발전과 활용에 저해가 될 요소로 작용하게 될 것이다. 이를 해소하기 위해 초기 단계인 지금은 보수적이고 강력한 조절 기능을 갖춘 기관 주도의 연구 결과가 누적되어 데이터를 기증할 시민사회의 신뢰가 쌓인 후에는, 저자의 말처럼 시민 참여 모니터링 단계로 나아가는 방향이 가능할 것이다.

지금까지 보건의료 분야에서 데이터 제공자가 데이터 활용에 대한 충분한 관심과 이해를 갖고 있는지 여부가 중요하게 다뤄지지는 않았다. 데이터 제공자들이 기증동의서를 작성할 당시 기증을 통해 어떤 문제가 발생할 수 있는지 정확히 인지하지 못 했기 때문이다[11]. 국외의 유사한 사례로 2015년 연구에서는 부모들이 신생아 유전체 검사의 필요성을 인정하면서도, 자신의 자녀가 검사를 통해 어떤 데이터를 제공하게 되는지에 대한 이해 부족으로 불안감을 드러냈다[12]. 2022년 연구에서는 신생아 혈액검사 데이터를 제공하는 부모들이 데이터 활용 과정에서 발생할 수 있는 윤리적 이슈나 프라이버시 문제에 대해 충분히 인식하지 못한 채 동의를 한 경우가 많았다[13]. 이는 가장 기초적인 부분에서 데이터 제공자가 데이터 활용 과정에 대한 충분한 정보를 가지고 자신의 권리를 행사할 수 있도록 하는 연구와 교육이 필요함을 시사한다.

만약 환자·시민 참여 모델이 실패할 경우 헬스케어 AI 개발에 대한 신뢰도가 약화될 수 있으며, 이는 데이터 제공 자체에 대한 사회적 거부감으로 이어질 수 있다. 환자와 시민이 자신이 제공한 데이터가 불투명하게 관리되거나, 그 과정에서 자신의 권리가 충분히 보장받지 못한다고 느낄 경우, AI 연구에 필요한 데이터 기증이 감소할 수 있다는 뜻이다. 예를 들어 2022년 미국에서 진행된 데이터 공유에 관한 연구에서는, 데이터 제공자가 자신의 데이터가 비윤리적이거나 불투명하게 사용될 가능성에 대해 우려하거나[14], 소송을 거는 경향이 있음을 보여준다[15]. 이는 AI 연구의 데이터 부족 문제로 이어질 수 있으며, AI의 편향 문제를 더욱 심화시킬 수 있다. 이러한 상황을 방지하기 위해 환자와 시민이 AI 검증자로서 참여하는 구조가 필요하지만 현재 이를 바로 실행하기는 어려움이 따르므로 먼저 거버넌스 구축을 통해 프로토콜을 확립하는 등의 체계적 방안이 필요할 것으로 생각된다[16].

Ⅳ. 맺으며: 환자·시민 참여 모델 운영과 장기적 개선 방향 제언

데이터 제공자의 자기결정권을 보장하는 환자·시민 참여 모델 도입은 장기적인 관점에서 진행할 것을 제안하며, 이는 단순한 기술 혁신이 아니라 윤리적이고 신뢰할 수 있는 헬스케어 AI를 구축하기 위한 필수 조건이 될 것이다. 이 운영 모델은 교육·홍보·인식조사를 포함한 다양한 방식의 장기 투자를 통해 실패에서 성공으로 전환되는 경험이 축적되며 가능해진다. AI 기술이 복잡한 만큼 이를 환자와 시민이 단기간에 이해하고 수용하는 것이 쉽지 않기 때문이다. 데이터 제공자가 자신의 데이터가 어떻게 활용되는지 충분히 이해하고 참여할 수 있도록 지속적인 교육과 홍보의 토대가 필요하다.

이러한 관련 조치들이 진행되는 동안 데이터 제공자 권리 보호를 위해 중앙화된 데이터 관리 거버넌스를 지속적으로 개발해야 할 것이다. 현재 정부와 민간 부문에서 진행되고 있는 AI 연구 및 대규모 임상 데이터 활용은 중앙화 된 협력 형태로 존재하고 있다[17]. 중앙집중화 된 구조는 데이터 제공자의 권리를 보호하고 책임을 명확히 하는 데 도움이 될 수 있을 것이다. 데이터 제공자는 자신의 데이터가 윤리적 기준을 충족하며 활용되고 있음을 확인할 수 있기 때문이다. 투명한 데이터 관리 거버넌스는 명확한 형태의 데이터 컨소시엄(data consortium)이나 데이터 관리자(data controller) 같은 책임 주체를 설정하는 것으로 데이터 사용의 일관성을 보장하고 데이터 신뢰성도 높일 수 있을 것이다[18]. 국외 사례로 인도의 경우 데이터의 품질 관리를 위해 편향 없는 AI 기술을 당국에 제출하도록 지침을 마련하였고[19], 캐나다의 퀘벡 주는 개인정보 보호에 관한 법률 조항 현대화 법(Act to Modernize Legislative Provisions Respecting the Protection of Personal Information)를 통해 데이터 수집 관리의 주체와 책임을 규정하고 있다[20].

데이터 활용 과정에서는 제공자의 자기결정권의 적극적 행사와 동의 면제를 구분하는 것이 필요할 것이다. 임상 목적의 데이터 교류나 AI 적용 플랫폼을 활용한 임상 목적 데이터 활용의 경우, 개별 동의를 면제하거나 포괄적 동의를 허용해 최소화 하는 방식이 효과적일 수 있을 것이다. 매번 개별적인 동의를 요구하는 경우, 데이터 제공자가 불필요한 부담을 느끼게 되어 데이터 제공을 기피하거나 연구의 효율성을 저하시킬 수 있기 때문이다. 포괄 동의를 통해 데이터 활용을 허용한다면 연구자와 데이터 제공자 모두가 효율적으로 AI 개발에 기여할 수 있는 환경을 조성할 수 있다. 단, 이러한 환경의 전제로 포괄적 동의는 제공자가 자신의 데이터가 어떻게 사용될지를 충분히 이해한 상태에서 동의해야 하며, 이를 위해서는 데이터 활용 과정에 대한 사전 고지와 정보 제공이 반드시 필요하다. 그리고 이를 뒷받침해 줄 신뢰할 수 있는 거버넌스가 이미 구축된 상태여야 할 것이다. 저자의 고찰이 국내에서 이와 관련한 논의의 시작점이 되기를 기대한다.

Conflict of interests

No potential conflict of interest relevant to this article was reported.

Acknowledgements

Not applicable.

Funding information

This work was supported by the ‘Improvement of Ethics Guidelines for the Use of Artificial Intelligent in 24 Healthcare Research’ from the Korean National Institutes of Health (2024-ER0808-01), and the ‘Development of Research Ethics Guidelines for Healthcare AI Researchers and Its Educational Program from the Korean National Institutes of Health (2022-31-0860).

Data availability

Upon reasonable request, the datasets of this study can be available from the corresponding author.

Author contributions

Conceptualization: Kim H.

Writing - original draft: Lee JH.

Writing - review & editing: Lee JH, Kim H.

Ethics approval

Not applicable.

REFERENCES

1.

Price WN 2nd, Cohen IG. Privacy in the age of medical big data. Nat Med 2019;25(1):37-43.

2.

Sieber R, Brandusescu A, Adu-Daako A, et al. Who are the publics engaging in AI? Public Underst Sci 2024;33(5):634-653.

3.

OECD. Focus on citizens: public engagement for better policy and services. Paris: OECD Studies on Public Engagement; 2009.

4.

Cameron H, Ethical considerations in health data sharing: balancing privacy, confidentiality and data utility. J Health Med Inform 2024;15(2):520.

5.

Loftus TJ, Vlaar APJ, Hung AJ, et al. Executive summary of the artificial intelligence in surgery series. Surgery 2022;171(5):1435-1439.

6.

Cowls J. Deciding how to decide: six key questions for reducing AI’s democratic deficit. In: Burr C, Milano S, editors. The 2019 yearbook of the digital ethics lab. Digital Ethics Lab Yearbook; 2020.

7.

Kwangsu M. The ethical use of biomedical big data: shifting from a consent model to an agreement model. Korean J Med Ethics 2019;22(1):1-19.

8.

Cho SJ, Choe BI. The overview of the public opinion survey and emerging ethical challenges in the healthcare big data Research. J KAIRB 2022;4(1):16-22.

9.

Kaufman DJ, Baker R, Milner LC, Devaney S, Hudson KL. A survey of U.S adults’ opinions about conduct of a Nationwide Precision Medicine Initiative cohort study of genes and environment. PLOS ONE 2016;11(8):e0160461.

10.

Yang JH, Kim H, Lee I. Public perceptions and attitudes of the national project of bio-big data: a nationwide survey in the Republic of Korea. Front Genet 2023;14:1081812.

11.

Pearce A, Mitchell LA, Best S, et al. Publics’ knowledge of, attitude to and motivation towards health-related genomics: a scoping review. Eur J Hum Genet 2024;32(7):747-758.

12.

Waisbren SE, Bäck DK, Liu C, et al. Parents are interested in newborn genomic testing during the early postpartum period. Genet Med 2015;17(6):501-504.

13.

van der Pal SM, Wins S, Klapwijk JE, et al. Parents’ views on accepting, declining, and expanding newborn bloodspot screening. PLOS ONE 2022;17(8):e0272585.

14.

Michelson KN, Adams JG, Faber JMM. Navigating clinical and business ethics while sharing patient data. JAMA 2022;327(11):1025-1026.

15.

Dinerstein v. Google, LLC. In the United States Court of Appeals for the Seventh Circuit, No. 20-3134 (2023).

16.

Abdala MB, Ortega A, Pomares J. Managing the transition to a multi-stakeholder artificial intelligence governance [Internet]. Global Solutions Initiative; 2020 [cited 2024 Nov 7]. https://www.realinstitutoelcano.org/en/analyses/managing-the-transition-to-a-multi-stakeholder-artificial-intelligence-governance/

17.

Ministry of Health and Welfare. Improving public health through artificial intelligence-based medical technology innovation [Internet]. Ministry of Health and Welfare; 2024 [cited 2024 Nov 7]. https://www.mohw.go.kr/board.es?mid=a10503000000&bid=0027&list_no=1483021&act=view&#share

18.

Bioethics Advisory Committee. Advisory report: big data and artificial intelligence in human biomedical research [Internet]. Bioethics Advisory Committee; 2024 [cited 2024 Nov 7]. https://www.bioethics-singapore.gov.sg/activities/current-projects/1

19.

Indian Council of Medical Research. Ethical guidelines for application of artificial intelligence in Biomedical Research and Healthcare 2023 [Internet]. Indian Council of Medical Research; 2024 [cited 2024 Nov 7]. https://www.icmr.gov.in/ethical-guidelines-for-application-of-artificial-intelligence-in-biomedical-research-and-healthcare

20.

Assemblee Nationale Du Quebec. Bill 64, an act to modernize legislative provisions as regards the protection of personal information [Internet]. Assemblee Nationale Du Quebec; 2024 [cited 2024 Nov 7]. https://www.assnat.qc.ca/en/travaux-parlementaires/projets-loi/projet-loi-64-42-1.html

[2025년 3월 임상사례] 실제 말기암 환자의 진료 과정을 통해 살펴본 한국의 사전돌봄계획 현황


2025년 3월 호(3월 31일 발행)에서는 특집호를 계획하고 있으며, 임상사례(Report)에 대한 논평을 받고 있습니다.

 - 임상사례에 대한 논평을 작성하시고자 하는 선생님께서는 논평자의 학문적 지견과 관점을 담아 특집논문을 논평해 주시기 바랍니다.

 - 임상사례의 전체 본문은 공지사항 첨부파일 PDF로 올라와 있습니다.

 

공지사항 바로가기


I don't want to open this window for a day.