I. 서론
2024년도 노벨 화학상은 단백질 구조 예측 분야에 주어졌다. 인공지능(artificial intelligence, AI) 기반 프로그램이 획기적인 성과를 거둔 것으로 평가받았기 때문이다. 구글 딥마인드 CEO인 데미스 허사비스와 수석 연구 과학자인 존 점퍼는 알파폴드를 개발한 공로로, 미국 워싱턴대학교 생화학과 교수인 데이비드 베이커는 성능이 비슷한 로제타폴드를 개발한 공로를 인정받아 공동수상했다. 서울대 생명공학부 백민경 교수도 로제타폴드 개발 과정에서 핵심적 역할을 담당한 것으로 언론에 크게 주목받았다.
참여와 관련하여 알파폴드는 우리에게 흥미로운 관심을 불러온다. 알파폴드 이전에 폴드잇(FoldiIt)이라는 시민과학 프로그램이 있었다. 이 프로그램은 게임 형식으로 시민들을 참여시켜 단백질 접힘 구조를 밝혀내는데 크게 기여한 것으로 찬사를 받고 있었다. 디지털 기술과 참여의 교차가 이뤄낸 성과로 평가받았다. 그런데 알파폴드가 등장하면서 상황이 바꿨다. 단백질 구조를 밝혀내는 속도와 정확도에서 폴드잇과 알파폴드는 경쟁 자체가 불가능했기 때문이다. 이 놀라운 기술 진전은 AI 시대에는 참여가 더 이상 필요없다는 생각을 강화해주는 것 같다.
보건의료 분야에서도 헬스케어 AI가 적극적으로 도입되고 있고, 그에 따라 참여가 화두로 자리 잡아나가고 있다. 그런 현실을 고려할 때, 이 논문의 문제의식과 접근법, 실천적 대안 모색을 위한 노력은 시기적절할 뿐만 아니라 학술적·실천적으로도 그 의미가 매우 크다고 할 수 있다. 특히, 헬스케어 AI 윤리에서 필수적인 요소로 외부 검증이 도출되며, 정당성의 확보를 위해 헬스케어 AI 환자·시민 참여가 그 역할을 수행하는 것이 적절함을 논리 내재적이고, 현실 토대적으로 입증하려는 시도는 충분한 근거와 함께 설득력이 충분하다고 판단된다.
이 글에서는 저자의 논의를 세부적으로 검토·평가하기보다는 보완하고 추가한다는 차원에서 크게 다음의 세 가지 점에 주목해보고자 한다. 첫째, AI를 “지능적 기술시스템”으로 정의하려는 시도를 검토하고 있다. AI를 무엇으로 볼 것인지를 묻고자 하는 것인데, 이는 AI에 대한 이해가 AI와 참여의 관계에 대한 인식에 영향을 미친다고 보기 때문이다. 둘째, 저자가 실천적 대안 중 하나로 제시하고 있는 “참여 설계”(participatory design)를 토대로, 참여 설계를 AI에 적용하려는 시도라고 할 수 있는 “참여형 AI”(participatory AI)를 둘러싼 논의를 소개하고자 한다. 셋째, AI에서 참여-세탁(participation-washing)에 대한 우려를 살펴보고 있다. AI 시스템에서 참여의 스펙트럼은 폭이 넓은데, 이는 참여의 맥락에 대한 논의가 필요함을 말해준다.
II. AI 인식론: 기술시스템으로서 AI?
디지털 시대를 지나 인공지능 시대로 접어들면서 AI가 불러올 미래사회의 전망은 더욱 극단화되고 있다. 풍요롭고 테크노피아적인 미래가 한쪽에 놓여 있다면 파괴적이고 디스토피아적인 미래가 그 반대쪽에 있다. AI의 예찬론 못지 않게 지나친 공포도 문제다. 무엇보다 기술결정론적 사고를 부추김으로써 AI의 사회적 영향력에만 관심이 쏠리거나, AI에 대한 무기력증에 빠지거나, 특히 현실 속 복잡다단한 변화 양상에 대한 민감성과 균형감각을 상실케하는 역효과를 낳을 수 있기 때문이다.
AI 시대 참여의 필요성을 두고 부정적이고 비관적인 입장이 대세다. 디지털 기술의 경우와는 양상이 조금 다르다. 디지털 기술의 경우에는 참여에 대한 논의가 일정 정도 평행선을 달리는 것으로 보이기 때문이다. 디지털 기술이 참여의 의미를 퇴색시킨다는 지적이 없지 않지만 참여의 기회와 접근성을 늘리고 참여의 문턱을 낮춤으로써 참여 활성화에 기여한다는 주장이 맞선다. 정치경제적 영역의 경우, 2010-11년도의 ‘아랍의 봄’이나 ‘월가 점령 시위’를 두고 디지털 기술이 시민참여의 신기원을 연 사례로 평가하기도 한다. 과학기술 영역에서도, 시민과학 프로그램은 디지털 기술이 시민참여 과학 활동의 신기원을 연 사례로 손꼽힌다. 대표적 글로벌 시민과학 프로그램인 SETI@home1), eBird2), Zooniverse3), GLOBE4) 등은 물론 국내의 시민과학 프로젝트들(예, 네이처링5))도 디지털 기술에 크게 의존하고 있다.
AI 시대의 참여에 대한 부정적 시각은 AI에 대한 인식과 관련이 깊어 보인다. 예상을 뛰어넘는 놀라운 퍼포먼스를 선보이고, ‘인간’지능을 뛰어넘는 ‘인공’지능이라는 이미지가 강력하게 각인되면서 AI는 이전의 어떤 기술과도 비교할 수 없는 새로운 존재로 비춰지고 있다. 이런 인식은 참여와 관련된 논의에서 AI 기술의 특수성과 불연속성이 강조되는 효과를 낳는다.
Berditchevskaia et al.[1]은 AI를 “환경으로부터의 투입에 반응하여 결정을 내리고, 환경에 영향을 미칠 수 있는 행동에 나서는 지능적 기술 시스템”으로 정의하고 있다. 이 정의로부터, AI를 “지능”과 “기술시스템”이라는 두 가지 요소로 분리해낼 수 있다. AI와 참여의 관계에 대한 논의에서 전자가 불연속성의 영역이라면 후자는 연속성의 영역이라 할 수 있다. 전자의 관점에서 보면, 인간‘지능’을 대신할 수 있는 기계‘지능’의 등장은 인간의 참여 가능성을 극도로 낮출 것이다. 하지만, AI를 기술시스템으로 보면, 기술시스템의 설계, 개발, 이용의 과정에서 참여 가능성은 여전할 것으로 기대해볼 수 있을 것이다.
과학기술학(STS)은 기술시스템에 대한 연구를 통해 기술시스템이란 사회-기술시스템을 뜻하는 것으로 사회와 기술이 상호작용을 할 뿐만 아니라 공동생산된다는 점을 밝혀냈다. 기술과 사회가 긴밀하게 상호작용을 한다는 새로운 인식은 기술시스템의 설계, 개발, 이용 과정에서 참여의 중요성에 더욱 주목하게 만들었다. 참여적 전환(participatory turn)을 둘러싼 논의가 이를 잘 보여준다[2]. 그 결과, 전문가의 영역으로 여겨졌던 과학기술 활동에서 시민들의 참여는 핵심적이고 효과적인 것으로 자리 잡게 되었고, 참여 활동에서는 전문가와 시민의 협업이 강조되고 있다. 또한, 과학기술에 대한 시민참여의 필요성으로는 도구적/실용적 필요성(절차적 정당성과 합법화), 규범적 필요성(민주주의 강화), 인지적 필요성(지식의 질 향상) 등이 손꼽힌다[3].
기술시스템에 대한 STS의 연구 성과가 연속적으로 적용될 수 있다는 점에서, AI 기술시스템에 대한 관심은 AI의 참여적 전환을 둘러싼 고민을 촉진할 수 있을 것이다. 이와 관련하여 AI의 참여적 전환을 둘러싼 상반된 입장은 흥미로운 시사점을 던져준다. 먼저, AI의 주요 개발자들은 중앙집중화된 강력한 모델들에 코드화될 수 있는 규칙들을 찾는데 혈안이 되어 있다. 여기서 참여란 개발자들의 거버넌스 행위에 정치적 합법성을 제공해주는 역할에 머문다. 이와 대조적으로, 비판적 AI 윤리 및 공정성 연구 및 실천에서는 참여란 이용자, 피해자, 일반시민 등을 AI 시스템의 설계 및 운용 방식에 대한 의사결정 과정에 등록시키는 거버넌스 및 설계 행위를 촉진하는 역할을 지향한다[4].
III. 참여형 AI와 참여-세탁
참여 설계(participatory design)란 1970년대 스칸디나비아반도의 노동자들이 현장에서 기술 설계에 참여하기 위한 시도로 시작되었으며, 현재에는 기술을 통한 사회혁신을 위한 설계라는 맥락에 놓여 있는 공동설계, 공동창작, 가치 민감성 설계(vaule-sensitive design), 가치 지랫대 설계 등을 포괄한다. 또한, 참여 설계의 과정에서 이해당사들의 범주도 인간 노동자로 국한되지 않고 점차 알고리즘 및 기계와 같은 비인간 행위자들과 다수종(미생물, 식물, 동물, 자연환경 등)으로 확대되고 있는 추세다[5].
참여형 AI란 참여의 전통적 흐름의 연장선 속에서 AI의 특수성을 고려하려는 시도로서 참여 설계의 목표와 접근법을 AI에 적용하려는 시도와 맥을 같이 한다. 참여형 AI에 대한 고려가 본격화된 것은 AI 3차 붐 이후다. AI 1, 2차 붐과 달리 3차 붐에서는 데이터-기반 패러다임과 새로운 인적 인프라(예, Amazon의 Mturk)에 기초하게 되면서 “비전문가”의 참여가 중요해졌다. 이때, 참여 형태는 1) 대규모 벤치마크 데이터셋(예, 이미지넷) 구축 작업(167개 국의 Mturk 플랫폼을 통해 49,000명의 작업자 참여), 2) 콘텐츠 조정(유해 콘텐츠 제거 작업과 기계학습 분류기를 위한 훈련 데이터 라벨링 작업)이 주를 이뤘다. 이 과정에서 ‘참여’의 규모는 대폭 늘어났지만, 참여자들로서는 불이익을 감수할 수밖에 없었고, 임금이 낮은 국가 및 사람들을 대상으로 한 “유령 노동”의 형태가 남발되고 있다는 보고가 잇따랐다. 기계학습의 활용이 늘어남에 따라 연구자, 시민사회, 규제당국은 알고리즘 조정이나 변환을 통해 통제할 수 없는 사회기술적 위험을 완화시키려는 목적으로 참여 방법론을 활용하는데 보다 적극성을 띨 수밖에 없었고, 그 대안으로 참여형 AI가 추구되었던 것이다[6].
참여 설계의 원리를 참여형 AI에 그대로 적용하기는 힘들다. AI의 경우에는 그 행동이 기존의 컴퓨터 기술과 다르게 시간이 흐르면서 데이터가 축척되고, 그에 따라 예측불가능성이 늘어나기 때문이다. AI의 영향력을 예측하기 힘든 까닭에 참여 설계처럼 이용자가 자신의 활동에 대한 통제권을 강화하려는 의도도 그대로 관철시키기는 힘들다. 따라서 AI 시스템을 이용자와 통제권을 공유하도록 설계할 수 있을지는 모르지만 불확실성을 피하기는 어렵다[7].
참여형 AI는 공공선을 위한 AI(AI4SG)를 추구하고, 알고리즘 시스템의 공정성, 설명책임성, 투명성 등의 실현에 힘쓴다. 이때, AI4SG란 인간 생활이나 자연환경에 미치는 악영향을 예방, 완화, 해결하고자 사회적으로 선호되고, 지속가능발전에 기여하는 AI 시스템의 설계, 개발, 전개를 말한다. 그리고 불리한 상황에 처한 개인들과 집단에게 권력을 옮겨줄 수 있는 도구이자 사람에 의한 그리고 사람을 위한 AI를 의미하기도 한다[8].
참여형 AI를 구현하기 위한 노력의 구체적 사례로는 WeBuildAI를 들 수 있다. WeBuildAI는 시민들이 지역사회를 위한 알고리즘 정책을 수립할 수 있도록 역량을 강화시켜주는 집합적 참여 프레임워크이다. 이 프레임워크의 핵심 아이디어는 개인들에게 알고리즘 정책에 대한 자신들의 신념을 체화하는 계산 모델을 만들고, 그 모델이 개인들을 대신해서 투표하게 하자는 것이다. 이렇게 하면 집단이 함께 의사결정을 하는 것처럼 작동한다. 미국 피츠버그에서 주문형 음식 기부 운반 서비스를 제공하는 비영리단체 412 Food Rescue와의 협업을 통해 기부자에게 분배되는 매칭 알고리즘 개발에 적용한 사례가 보고되어 있다. 1년이 넘는 기간 동안 매칭 알고리즘을 설계하는데 WeBuildAI 프레임워크를 이용하는 이해당사자들(기부자, 수용자 조직, 자원봉사자, 412 Food Rescue 스태프)이 생겼고, 일련의 연구를 통해 이들의 경험이 조사되었다. 참여 알고리즘 설계라는 목적에서 보면 이런 시도는 만족스런 결과를 낳았다고 평가된다[9].
참여 설계와 참여형 AI가 맥을 같이 한다는 점에서 참여 설계에서 참여의 이중성에 대한 지적에 귀를 기울일 필요가 있다. 참여 설계의 기원은 두 갈래로 나뉘는데, 앞에 소개했던 스칸디나비아 반도 노동자들이 한 갈래라면 또 다른 갈래는 1920년대 식민체계, “Dual mandate in British tropical Africa”에서 비롯되었다고 할 수 있다. 전자가 노동자가 중심이 되어 기술을 통한 사회혁신을 위한 설계를 지향한다는 점에서 가치지향성을 중시한다면, 이 식민체계에서 참여란 불평등한 권력관계를 가리는 효과에 불과하다. 아른스타인이 강조하듯, 권력의 재편없는 참여란 피지배자를 현혹하고, 일부에게만 혜택이 돌아가도록 하고, 무엇보다 현상태 유지 수단에 불과하다[6].
AI 3차 붐의 참여 물결에서 핵심적 긴장은 참여의 메커니즘이 기계학습의 정교화를 돕는 것에 불과한 것인지, 아니면 경험적 학습을 공동체 역량강화에 기여할 수 있도록 알고리즘 공정을 발전시킬 수 있을 것인지에 놓여 있다고 해도 과언이 아니다. 가령, 아마존의 Mturk나 “유령 노동”과 같이 기계학습의 정교화를 목적으로 이루어지고 있는 참여와 그에 대비되는 것으로서 참여 설계의 가치지향성을 담보하는 참여를 생각해볼 수 있다. 산업계의 이해관계가 크게 반영되고 있는 현실에서 핵심적 긴장을 제쳐놓고 참여의 필요성을 말하는 것은 “참여-세탁”의 우려를 낳게 한다. 따라서 참여의 맥락적 이해가 요구되고, 광범위한 사회구조 및 불평등한 권력의 비대칭성에 대해서도 관심을 기울일 필요가 있다[6].
AI에서 참여 정도에 따른 참여의 형태 구분은 참여-세탁의 우려를 경계하면서 참여에 대한 맥락적 이해를 높이는 데 도움을 줄 수 있을 것이다. Sloan et al.[5]은 AI에서 참여의 행태를 크게 세 가지로 나눈다. 첫째, 일(노동)로서 참여다. 이 형태의 참여는 수동적이고 소극적 성격으로, “AI 마술”의 장막 뒤에는 “인간 인프라”가 존재하고, “인간 인프라”가 없다면 사회-기술시스템은 작동될 수 없다는 의미의 참여로 특징 지을 수 있다. 둘째, 자문으로서 참여다. 건축 및 도시계획에서의 시민참여 접근과 유사한 것으로 하향식으로 전문가 위주로 진행되며 “위한 디자인”(designing for)의 형태를 띤다. 셋째, 정의로서 참여다. 설계자와 기술자들이 다양한 이해당사자들과 장기적 협력관계를 맺고 협업으로서 참여의 고전과 같은 성격을 띠며, “함께 하는 디자인”(designing with)의 형태를 띤다.
Sloan[10]은 알고리즘 기술(algorithmic technologies)로 인한 차별을 해결하기 위한 노력에서 “윤리”를 만병통치약으로 보는 시각을 문제 삼고 있다. 이때, 알고리즘적 기술의 대표적 사례로는 기계학습이나 AI(자동화된 의사결정 시스템)을 들 수 있다. 그의 문제의식은 윤리가 사회적 평등을 위한 추진력으로 작용하기보다는 기업, 산업, 국가 등에서의 경쟁에서 이점을 확보하기 위한 수단으로 활용되는 측면이 클 수 있다는 것이다. 그에 따르면, 핵심은 윤리가 아니라 불평등이며, 법률 체계에 기초하지 않는 한 윤리에 대한 강조는 알고리즘 기술 제작자들의 선의의 제스쳐에 불과할 수 있다는 것이다. 따라서 알고리즘 기술을 판매하는 회사에서 윤리에 대한 지나친 강조는 일종의 화장술(윤리 세탁)로 비쳐질 수 있다.
Kalluri[11]는 2020 ICML(세계머신러닝학회)을 앞두고 <네이처>에 기고한 글에서 한 걸음 더나아가 권력이동에 주목할 필요가 있음을 강조한다. 그녀는 많은 AI 전문가들이 중립적이고 이로운 AI를 전제하고, 불공정한 사회에서 나온 편향된 데이터 때문에 훼손이 발생한다는 잘못된 인식에 빠져 있음을 지적한다. 오히려, 권력에 무관심한 AI 분야가 권력자들에게 기여하고 있는 현실을 직시해야 한다는 것이다. 감시로 가장 큰 피해를 입을 수 있는 소수자 공동체(여성, 흑인, 성소수자, 원주민, 빈자, 장애인 등)의 목소리를 적극 반영하기 위한 협력 등 권력이동에 기여할 수 있는 실천에 적극 나설 것을 촉구하고 있다.
IV. 결론
이 글은 AI와 참여의 문제를 다음의 세 가지 점에 주안점을 두고 다루고 있다. AI의 인식론과 관련하여 AI를 기술시스템이라는 관점에서 이해할 필요성을 강조하고 있으며, 참여 설계를 AI에 적용하려는 시도인 참여형 AI를 소개하고 있고, 참여-세탁의 우려와 참여에 대한 맥락적 이해의 필요성을 검토하고 있다.
이상의 논의를 통해, AI 시대에도 참여는 여전히 핵심 요소임을 확인할 수 있었다. 이를 위해서는 AI를 ‘지능’의 차원에서 뿐만 아니라 ‘기술시스템’의 차원에서 볼 필요가 있다. 또한, 참여 설계와 같은 맥락의 참여형 AI에 대한 논의를 통해서도 이를 확인할 수 있었다. 그렇지만 AI의 경우에도 참여의 스펙트럼이 있고, 참여-세탁의 우려도 존재한다. 참여의 필요성에 대한 논의를 한 단계 더 전진시켜야 하는 이유다. 참여의 가치지향성을 고려한 참여의 맥락화에 대한 논의가 요구되고 있다. 강윤재
