ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • [논문리뷰] Guidelines for Human-AI Interaction
    Paper Review/Human Computer Interaction 2020. 11. 30. 15:49

    2019 CHI에 발표된 MicroSoft가 지난 20년 간의 고민과 최근 AI design 발전 동향을 반영하여 제작한 논무닝다. 

    해당 논문은 150개의 AI-related design recommendation을 모아 중요한 것들을 선별하여 18개의 guideline set으로 집대성하였으며, 해당 시도를 통해 더 나은 human-centric AI-infused system들이 설계될 수 있도록 시도하였다.

    Abstract

    Human-AI interaction의 원리 원칙은 Human-Computer interaction 분야에서 20년이 넘는 시간 동안에 논의 되어왔다. 그러나 최근 몇 년 사이 급격하게 발전한 AI 기술과 AI 기술이 사람들이 직접적으로 사용하는 application에 점점 많이 적용 됨에 따라 HAI의 principle을 제대로 정리하고 연구해야 할 필요성이 대두 되고 있다.

    해당 논문에서는 Human-AI interaction을 위한 18가지 generally applicable design guideline들을 제시한다.

    Introduction

    AI의 진보 덕분에 개발자들은 AI의 capability를 user-facing system에 적용할 수 있게 되었다.

    그러나 automated inference가 본질적으로 지닌 uncertainty 때문에, AI-infused system들은 false positive나 false negative 예측을 종종 만들어 내기 마련이다. 이로 인해서 해당 시스템들은 파괴적이거나 혼란을 야기시키거나 심지어는 위험할 수 있는 예측 불가능한 행위를 저지르곤 한다.

    AI-infused system은 기존에 system design에 적용되던 usability guideline을 파괴시킬 수 있다. 예를 들어, 기존 시스템들에서는 예기치 못한 변화를 최소화하는 consistency가 중요한 가치였다면, AI-infused system은 시간이 지남에 따라 모델이 학습을 하게되는데, 이로 인해 task와 setting에 기반하여 확률적으로 작동한다. 시스템들은 시간이 지남에 따라, 동일한 text에도 다르게 응답할 수 있고, user에 따라서도 다르게 응답할 수 있다.

    이러한 inconsistency와 unpredictable bahavior들 때문에, 지난 20년간 HCI 커뮤니티는 AI inference를 사용한 user interface와 application을 설계할 때 적용해야할 principle, guideline, strategy들을 제안해 왔다. 그러나 AI design의 다양성과 웃기고 당황스러운 failure부터 심각할 정도로 위험했던 failure에 대한 보고들이 잇따르며, 여전히 많은 디자이너들과 개발자들은 직관적으로 효과적인 AI-infused system을 만들어 내는데에 어려움을 겪고 있다.

    이런 어려움을 덜어 주기 위해서 해당 논문에서는 지난 세월 동안 제안된 150여가지 AI-related design recommendation을 수집하여 18가지의 generally applicable design guideline으로 체계화 하였다.

    Related Work

    AI 시스템의 투명성을 어떻게 증가 시킬지, AI 시스템을 어떻게 설명할지, 특정한 Human-AI interaction의 시나리오를 어떻게 설계할지, 이해할 수 있고 컨트롤할 수 있는 intelligent context-aware computing system의 human interaction 등에 대한 연구가 있었으나, 여전히 많은 designer들이 guidance에 대한 필요성을 느끼고 있다.

    해당 논문의 18가지 guideline map 중에서 8가지는 Horvitz's set of principles for mixed-initiative system를 반영하였다.

    논문은 총 3 단계에 걸쳐 다양한 HAI guideline들을 체계화 하고, 실제 시스템에 적용하여 그 효능을 입증하였다.

     

    Phase 1 : Consolidating Guidelines

    MS의 AI products의 review와 산업에서 유래된 guideline들, AI design에 관한 최신 article들, AI design에 관련된 scholarly paper들 - 총 3가지 resource를 통해서 guideline을 수집했다.

    해당 field가 워낙 빠르게 성장하고 있기 때문에, public domain에서 출간된 article들을 바탕으로 AI design에 대한 가장 최신의 guidance를 수집하고자 했다.

    수집한 168개의 guidance에서 너무 specific한 시나리오를 대상으로 하거나 애매모호하거나 AI와의 관련성이 떨어지는 것들은 제외하였고, 걸러진 guidance들은 총 20개의 집합으로 정리했고, 이를 다시 4가지 단계로 구분하여 정리했다. 4가지 단계는 다음과 같다 : Initially, During Interaction, When wrong, Over time.

    Phase 2 : Modified Heuristic Evaluation

    해당 단계에서는 20가지 AI guideline set들이 13가지 AI-infused products나 특징에 어떻게 반영되어 있는지를 조사했다. 각 guideline이 반영된 점이나 발견된 점을 리뷰하고, 충돌하는 해석이 있거나 애매모호한 guideline에 대해서는 수정했다.

    그렇게 해서 남은 18가지 guideline set에 대해서 다음 세가지 format을 적용하여 evaluator들을 통해 확인한 issue를 명확하게 전달하였다.

    • It should be written as a rule of action, containing about 3-10 words and starting with a verb.

    • It should be accompanied by a one-sentence description that qualifies or clarifies any potential ambiguities.

    • It should not contain conjunctions so that designers can clearly validate whether it is applied or violated in an interface.

    (세번째 formation rule의 의미는 allow efficient invocation, correction, and dismissal이라고 합쳐서 guideline을 제시하지 말고 세가지를 다 따로 분리해서 세 개의 guideline으로 제시해야 designer들이 명확히 받아 들인다는 뜻)

    18가지 guideline들은 아래와 가장 유사하게 match된다.

     

    Phase 3 :User Study

    49명의 HCI practitioner들과 함께 1) 다양한 product에서의 위 guideline들의 효과를 이해하기 위해서 2) guideline이 명확한가에 대해 feedback을 얻기 위해서 user study를 진행했다.

     

    Discussion & Future Work

    Generality와 specialization 사이에 tradeoff가 있으며, 이런 guideline들이 모든 AI-infused system들에 적합하게 적용되긴 어렵다. 본 논문의 저자들이 generality를 최적화하고 관찰 가능한 특성에 초점을 맞추겠다고 결정한 것은 interaction designer들에게는 매일같이 마주하는 흔한 trade-off의 종류이다. (Specialized guideline들은 특정한 high-risk, 혹은 highly regulated 영역에 필요할텐데, 예를 들어 financial system, semi-autonomous vehicles, robot-assisted surgery같은 분야가 있다.)

    이 guideline들은 fairness와 ethical consideration에 대해서는 많이 다루지 않고 있다.

     

    댓글 0

Written by Geulleun