AI와 참여: 누구를 위한, 무엇을 위한, 어떤 참여인가?

참여 설계(participatory design)란 1970년대 스칸디나비아반도의 노동자들이 현장에서 기술 설계에 참여하기 위한 시도로 시작되었으며, 현재에는 기술을 통한 사회혁신을 위한 설계라는 맥락에 놓여 있는 공동설계, 공동창작, 가치 민감성 설계(vaule-sensitive design), 가치 지랫대 설계 등을 포괄한다. 또한, 참여 설계의 과정에서 이해당사들의 범주도 인간 노동자로 국한되지 않고 점차 알고리즘 및 기계와 같은 비인간 행위자들과 다수종(미생물, 식물, 동물, 자연환경 등)으로 확대되고 있는 추세다[5].

참여형 AI란 참여의 전통적 흐름의 연장선 속에서 AI의 특수성을 고려하려는 시도로서 참여 설계의 목표와 접근법을 AI에 적용하려는 시도와 맥을 같이 한다. 참여형 AI에 대한 고려가 본격화된 것은 AI 3차 붐 이후다. AI 1, 2차 붐과 달리 3차 붐에서는 데이터-기반 패러다임과 새로운 인적 인프라(예, Amazon의 Mturk)에 기초하게 되면서 “비전문가”의 참여가 중요해졌다. 이때, 참여 형태는 1) 대규모 벤치마크 데이터셋(예, 이미지넷) 구축 작업(167개 국의 Mturk 플랫폼을 통해 49,000명의 작업자 참여), 2) 콘텐츠 조정(유해 콘텐츠 제거 작업과 기계학습 분류기를 위한 훈련 데이터 라벨링 작업)이 주를 이뤘다. 이 과정에서 ‘참여’의 규모는 대폭 늘어났지만, 참여자들로서는 불이익을 감수할 수밖에 없었고, 임금이 낮은 국가 및 사람들을 대상으로 한 “유령 노동”의 형태가 남발되고 있다는 보고가 잇따랐다. 기계학습의 활용이 늘어남에 따라 연구자, 시민사회, 규제당국은 알고리즘 조정이나 변환을 통해 통제할 수 없는 사회기술적 위험을 완화시키려는 목적으로 참여 방법론을 활용하는데 보다 적극성을 띨 수밖에 없었고, 그 대안으로 참여형 AI가 추구되었던 것이다[6].

참여 설계의 원리를 참여형 AI에 그대로 적용하기는 힘들다. AI의 경우에는 그 행동이 기존의 컴퓨터 기술과 다르게 시간이 흐르면서 데이터가 축척되고, 그에 따라 예측불가능성이 늘어나기 때문이다. AI의 영향력을 예측하기 힘든 까닭에 참여 설계처럼 이용자가 자신의 활동에 대한 통제권을 강화하려는 의도도 그대로 관철시키기는 힘들다. 따라서 AI 시스템을 이용자와 통제권을 공유하도록 설계할 수 있을지는 모르지만 불확실성을 피하기는 어렵다[7].

참여형 AI는 공공선을 위한 AI(AI4SG)를 추구하고, 알고리즘 시스템의 공정성, 설명책임성, 투명성 등의 실현에 힘쓴다. 이때, AI4SG란 인간 생활이나 자연환경에 미치는 악영향을 예방, 완화, 해결하고자 사회적으로 선호되고, 지속가능발전에 기여하는 AI 시스템의 설계, 개발, 전개를 말한다. 그리고 불리한 상황에 처한 개인들과 집단에게 권력을 옮겨줄 수 있는 도구이자 사람에 의한 그리고 사람을 위한 AI를 의미하기도 한다[8].

참여형 AI를 구현하기 위한 노력의 구체적 사례로는 WeBuildAI를 들 수 있다. WeBuildAI는 시민들이 지역사회를 위한 알고리즘 정책을 수립할 수 있도록 역량을 강화시켜주는 집합적 참여 프레임워크이다. 이 프레임워크의 핵심 아이디어는 개인들에게 알고리즘 정책에 대한 자신들의 신념을 체화하는 계산 모델을 만들고, 그 모델이 개인들을 대신해서 투표하게 하자는 것이다. 이렇게 하면 집단이 함께 의사결정을 하는 것처럼 작동한다. 미국 피츠버그에서 주문형 음식 기부 운반 서비스를 제공하는 비영리단체 412 Food Rescue와의 협업을 통해 기부자에게 분배되는 매칭 알고리즘 개발에 적용한 사례가 보고되어 있다. 1년이 넘는 기간 동안 매칭 알고리즘을 설계하는데 WeBuildAI 프레임워크를 이용하는 이해당사자들(기부자, 수용자 조직, 자원봉사자, 412 Food Rescue 스태프)이 생겼고, 일련의 연구를 통해 이들의 경험이 조사되었다. 참여 알고리즘 설계라는 목적에서 보면 이런 시도는 만족스런 결과를 낳았다고 평가된다[9].

참여 설계와 참여형 AI가 맥을 같이 한다는 점에서 참여 설계에서 참여의 이중성에 대한 지적에 귀를 기울일 필요가 있다. 참여 설계의 기원은 두 갈래로 나뉘는데, 앞에 소개했던 스칸디나비아 반도 노동자들이 한 갈래라면 또 다른 갈래는 1920년대 식민체계, “Dual mandate in British tropical Africa”에서 비롯되었다고 할 수 있다. 전자가 노동자가 중심이 되어 기술을 통한 사회혁신을 위한 설계를 지향한다는 점에서 가치지향성을 중시한다면, 이 식민체계에서 참여란 불평등한 권력관계를 가리는 효과에 불과하다. 아른스타인이 강조하듯, 권력의 재편없는 참여란 피지배자를 현혹하고, 일부에게만 혜택이 돌아가도록 하고, 무엇보다 현상태 유지 수단에 불과하다[6].

AI 3차 붐의 참여 물결에서 핵심적 긴장은 참여의 메커니즘이 기계학습의 정교화를 돕는 것에 불과한 것인지, 아니면 경험적 학습을 공동체 역량강화에 기여할 수 있도록 알고리즘 공정을 발전시킬 수 있을 것인지에 놓여 있다고 해도 과언이 아니다. 가령, 아마존의 Mturk나 “유령 노동”과 같이 기계학습의 정교화를 목적으로 이루어지고 있는 참여와 그에 대비되는 것으로서 참여 설계의 가치지향성을 담보하는 참여를 생각해볼 수 있다. 산업계의 이해관계가 크게 반영되고 있는 현실에서 핵심적 긴장을 제쳐놓고 참여의 필요성을 말하는 것은 “참여-세탁”의 우려를 낳게 한다. 따라서 참여의 맥락적 이해가 요구되고, 광범위한 사회구조 및 불평등한 권력의 비대칭성에 대해서도 관심을 기울일 필요가 있다[6].

AI에서 참여 정도에 따른 참여의 형태 구분은 참여-세탁의 우려를 경계하면서 참여에 대한 맥락적 이해를 높이는 데 도움을 줄 수 있을 것이다. Sloan et al.[5]은 AI에서 참여의 행태를 크게 세 가지로 나눈다. 첫째, 일(노동)로서 참여다. 이 형태의 참여는 수동적이고 소극적 성격으로, “AI 마술”의 장막 뒤에는 “인간 인프라”가 존재하고, “인간 인프라”가 없다면 사회-기술시스템은 작동될 수 없다는 의미의 참여로 특징 지을 수 있다. 둘째, 자문으로서 참여다. 건축 및 도시계획에서의 시민참여 접근과 유사한 것으로 하향식으로 전문가 위주로 진행되며 “위한 디자인”(designing for)의 형태를 띤다. 셋째, 정의로서 참여다. 설계자와 기술자들이 다양한 이해당사자들과 장기적 협력관계를 맺고 협업으로서 참여의 고전과 같은 성격을 띠며, “함께 하는 디자인”(designing with)의 형태를 띤다.

Sloan[10]은 알고리즘 기술(algorithmic technologies)로 인한 차별을 해결하기 위한 노력에서 “윤리”를 만병통치약으로 보는 시각을 문제 삼고 있다. 이때, 알고리즘적 기술의 대표적 사례로는 기계학습이나 AI(자동화된 의사결정 시스템)을 들 수 있다. 그의 문제의식은 윤리가 사회적 평등을 위한 추진력으로 작용하기보다는 기업, 산업, 국가 등에서의 경쟁에서 이점을 확보하기 위한 수단으로 활용되는 측면이 클 수 있다는 것이다. 그에 따르면, 핵심은 윤리가 아니라 불평등이며, 법률 체계에 기초하지 않는 한 윤리에 대한 강조는 알고리즘 기술 제작자들의 선의의 제스쳐에 불과할 수 있다는 것이다. 따라서 알고리즘 기술을 판매하는 회사에서 윤리에 대한 지나친 강조는 일종의 화장술(윤리 세탁)로 비쳐질 수 있다.

Kalluri[11]는 2020 ICML(세계머신러닝학회)을 앞두고 <네이처>에 기고한 글에서 한 걸음 더나아가 권력이동에 주목할 필요가 있음을 강조한다. 그녀는 많은 AI 전문가들이 중립적이고 이로운 AI를 전제하고, 불공정한 사회에서 나온 편향된 데이터 때문에 훼손이 발생한다는 잘못된 인식에 빠져 있음을 지적한다. 오히려, 권력에 무관심한 AI 분야가 권력자들에게 기여하고 있는 현실을 직시해야 한다는 것이다. 감시로 가장 큰 피해를 입을 수 있는 소수자 공동체(여성, 흑인, 성소수자, 원주민, 빈자, 장애인 등)의 목소리를 적극 반영하기 위한 협력 등 권력이동에 기여할 수 있는 실천에 적극 나설 것을 촉구하고 있다.