👀 혹시, CIT에 접속 하셨나요?

CIT 웹사이트 바로가기

Spotlight

역대 최대 규모의 참석자와 함께한 ACM CHI 2025에서 AI 시대 상호작용의 미래를 엿보다

First Workshop on Meta-Research in HCI: HCI 연구를 연구하다.

Meta-HCI 워크샵에서 UX Remix 연구에 대해 발표 중인 윤형근 파트너

제가 컴패노이드 랩스를 대표하여 참여하고, 발표했던 워크샵은 "Meta-HCI: First Workshop on Meta-Research in HCI"라는 워크샵입니다(이하 Meta-HCI 워크샵). CHI에서 꽤 많은 워크샵이 매년 주기적으로 진행되는데, Meta-HCI 워크샵은 CHI 2025에서 처음으로 열린 워크샵입니다. 해당 워크샵은 이름 그대로 HCI 분야에 대한 메타 연구를 진행하는 워크샵으로, 쉽게 말하자면 HCI 연구에 대한 연구를 의미합니다. 즉, HCI 연구를 어떻게 하고 있는지, 어떻게 평가하고 있는지 등 연구 관행에 대해 연구하고, 이에 대해 인사이트를 전달하는 연구를 공유하는 자리입니다. 워크샵의 개최 목적 중 하나는 HCI 연구에 대한 메타 연구는 아직 CHI를 비롯해 HCI 컨퍼런스에서 제대로 다루어지지 않고 있고, 특히 LLM을 비롯한 여러 생성형 AI가 연구에 스며드는 과정에서 연구 프로세스나 연구 관행에 대해 성찰하고, 논의를 하는 것이었습니다. 이 점에서 굉장히 목적에 공감이 되었고, 특히 컴패노이드 랩스는 HCI와 UX 리서치 프로세스를 개선하는데 관심이 있기에 해당 워크샵에 논문을 내고, 참여하게 되었습니다.

워크샵은 약 30명의 연구자가 참여했으며, 먼저 서로를 소개하는 시간과 키노트로 시작되었습니다. 워크샵답게 일반적인 세션보다 소프트한 분위기에서 2명씩 짝을 지어서 서로에 대해 간단히 소개하고, 모두에게 상대방에 대한 정보를 공유하는 시간으로 시작이 되었습니다. 이후에는 ITU-Copenhagen의 Elisa Mekler 교수님께서 "Questionable Meta-Research Practices in HCI"라는 주제의 키노트가 있었습니다. 키노트에서는 메타 연구에 대해서도 수많은 연구 관행이 있으며, 이에 대해서 돌아볼 필요가 있다는 것을 강조했습니다. 구체적으로는 1) 복제가능성과 투명성에 대한 지나친 강조, 2) 연구 관행을 무조건 문제로 바라봄, 3) 다른 분야의 연구 관행을 그대로 이식, 4) HCI 메타 연구에 대한 2차적 영향 무시, 5) 메타 연구의 어조와 표현 방식, 6) 메타 연구가 해결책이라는 사고 방식, 7) 논문과 연구관행이 다를 수 있다는 점 간과 등 7가지의 지점이 있었습니다. 따라서 메타 연구도 돌아볼 필요가 있고, 어쩌면 메타 연구에 대해서도 메타 연구를 준비할 필요가 있다는 점을 강조했습니다. 메타 연구에 집중하다보면, 기존의 연구 관행에 대해서 무조건 비판적으로 바라보거나, 이를 무시하는 경향이 생길 수도 있는데, 이점에 대해서 주의를 주고, 향후 논의에서도 메타 연구를 통해 더 나은 연구와 개선책을 찾는 방향에 집중할 수 있는데 도움을 준 키노트였습니다.

Meta-HCI 워크샵 키노트: Questionable Meta-Research Practices in HCI

키노트 후에는 참가자들의 논문 발표가 진행되었습니다. 총 11개의 논문 발표가 진행되었고, 저와 컴패노이드 랩스에서 기여한 논문의 발표도 이어졌습니다. HCI 연구에 대한 기여 방법, 엄밀성에 대한 연구, 기술적 하이프에 따른 HCI 연구의 트렌드 의존, HCI 연구에서 사람들의 사회적 참여 등 다양한 메타 연구 측면의 논문이 발표되었습니다. 저희는 "UX Remix: Improving Measurement Item Design Process Using Large Language Models and Prior Literature"라는 제목의 논문을 발표했습니다 [1]. UX Remix는 현재 저희가 개발 및 출시를 준비 중인 Likert 프로덕트의 초기 버전으로, LLM과 기존 연구의 설문조사 문항을 기반으로 HCI 및 UX 연구자가 자신이 원하는 사용자 경험을 평가할 수 있는 설문조사 문항을 생성할 수 있도록 돕는 시스템입니다. 이 시스템이 평가를 위한 가설 설정부터 이에 따른 설문 문항 생성까지 어떤 프로세스로 이를 지원하는지에 관한 발표를 진행했고, 설문 문항 제작과 같이 현재 HCI 연구에서 많이 간과되는 리서치 프로세스를 새로운 기술과 시스템을 통해서 개선하는 방법에 대한 이야기를 하였습니다. 특히, 이 시스템을 통해서 기존 연구의 설문 문항을 재사용하거나, 엄밀성을 높이는데 기여할 수 있을 것이라는 전망을 공유했습니다. 발표 후에 많은 워크샵 참가자 분이 이 점에 대해 공감해주시고, 뿐만 아니라 새로운 측면에서의 아이디어도 공유해주셔서 HCI 연구를 지원하는 시스템으로서 UX Remix의 방향에 대해 생각해볼 수 있는 흥미로운 시간이었습니다.

Meta-HCI Workshop에서 발표된 11개의 페이퍼. 제 페이퍼는 5번째로 발표했습니다 :)

11개의 발표가 끝난 후에는 워크샵 참가자가 다같이 점심을 먹고, 오후에 그룹 토의를 진행했습니다. 그룹 토의는 총 5가지 주제로 나뉘어 진행되었으며, 저는 그 중 "Research Software, Tools, Artifacts, and Open Source" 주제에 참여하여 토의를 진행했습니다. 토의에서는 Research Software가 무엇인지에 대한 논의부터 시작하여, Research Software나 Tool이 연구를 통해 개발되어도 재사용되지 않는 부분에 대한 문제 의식을 주로 공유하였고, 이는 장기적인 측면에서 HCI 분야에 대한 기여가 주로 새로운 시스템이나 소프트웨어를 개발하는데 집중하고 있으며, 기존의 잘 사용되는 시스템이나 소프트웨어를 유지하고 개선하는데에는 부족하다는 이야기를 나누었습니다. 이에 대한 해결책으로 이러한 소프트웨어를 재사용할 수 있는 레포지토리 형태의 서비스에 대한 필요성, CHI에서 Infrastructure나 Maintenance Track을 신설하고, 이를 통해 이에 대한 기여를 인정해주는 방법이 제시되었습니다. HCI 분야에서 소프트웨어나 시스템을 통해 기여를 하는 경우 보통은 새로운 기여에 집중한 나머지 기존의 소프트웨어로부터 Vertical Growth를 하지 못하고, Horizontal Growth를 하는 경우가 많은데, HCI에서도 Vertical Growth를 할 수 있는 무언가가 필요하다는 생각을 하는 계기가 되었습니다.

워크샵은 그룹 토의 내용 공유와 단체 사진 촬영을 끝으로 마무리 되었습니다. 좋은 이야기를 공유할 수 있었고, 새로운 지점에 대해 생각해볼 수 있어 흥미로운 시간이었습니다. 그리고 무엇보다, 새로운 연구자를 알아가고, 네트워킹을 할 수 있는 좋은 시간이었습니다. 그룹 토의를 하면서 주제에 대한 이야기 뿐만 아니라 쉬는 시간에는 서로에 대한 이야기도 공유하고, 다들 연구를 어떻게 하는지에 대한 이야기도 할 수 있었습니다. 마지막으로 서로 지속적으로 컨택을 하기로 이야기도 해서, 앞으로도 이런 이야기를 나눌 수 있는 좋은 동료를 만들었다는 생각이 들었습니다. 저희 회사에 대한 관심도 많았는데, 그 중 이름이 Companoid Lab"s"니까 전세계 곳곳에 지사를 세우라는 이야기가 참 재밌으면서도, 응원이 되는 이야기였습니다.

Presentation: AI를 위해, AI를 통해, AI와 함께하는 상호작용의 시대

워크샵이 컨퍼런스 본 세션 이전 주말에 진행된 후, 월요일부터 오프닝과 오프닝 키노트를 시작으로 본격적인 컨퍼런스가 시작했습니다. 컨퍼런스에는 특정 주제에 관심 있는 사람이 모여서 디스커션을 하는 SIG (Special Interest Group) 세션, 학생들이 자신의 연구 결과물을 발표하는 경진대회 형태의 Student Research Competition과 Student Design Competition 세션, HCI 커뮤니티에서 다룰 수 있는 주제를 토대로 패널들이 모여서 이야기를 나누고, 청중이 참여하는 Panel 세션, Case Studies 세션, Course 세션 등 다양한 세션이 존재합니다. 하지만 무엇보다 가장 큰 주목을 받는 세션은 실제 풀 페이퍼가 발표되는 Papers 세션과 현재 진행중인 작업이나 간단한 결과에 대해 간단한 페이퍼와 포스터로 발표하는 Late-breaking Work 기반의 Posters 세션, 그리고 실제 사용가능한 데모를 체험할 수 있는 Interactivity 세션입니다.

총 5,500명 이상의 참가자가 참여한 만큼 총 1,249개의 페이퍼가 발표되었고, 619개의 Late-breaking Work 포스터도 발표되었습니다. 세션도 총 184개의 페이퍼 세션으로 굉장히 많았습니다. 저도 몸이 1개라 모든 세션을 들을 수 없었지만, 굉장히 다양한 페이퍼 발표를 들을 수 있었습니다. 주제도 Extended Reality (XR) 기반의 연구, Interaction Technique에 관한 연구, 소셜미디어 측면의 연구, HCI 연구 방법에 관한 연구 등 다양했지만, 무엇보다 AI와 LLM에 기반한 시스템 및 이를 활용한 접근에 대한 연구가 굉장히 많았습니다. ChatGPT 등장 이후에 굉장히 많은 LLM 기반의 HCI 연구가 등장했는데, 이러한 흐름이 이어지고 있으며, LLM 뿐만 아니라 이미지, 비디오, 오디오 등 다양한 모달과 이에 기반한 인터랙션을 지원하는 연구도 등장하고 있다는 생각이 들었습니다.

저는 AI 기반의 시스템과 인터페이스, 인터랙션과 에이전트 연구, 의사결정과 동기부여 측면의 연구, AI를 활용한 프로그래밍과 교육을 위한 시스템 연구 등을 주로 살펴보았습니다. 굉장한 다양한 페이퍼가 있었는데, 단순히 AI를 내재하는 것을 넘어서 AI를 위한, AI를 통한, AI와 함께하는 상호작용에 대한 연구가 많았습니다. 몇가지 특징적인 점을 위주로 정리하면 다음과 같았습니다.

1) AI를 위해: AI와의 인터랙션 방법을 고민하다.

첫 번째는 AI와의 인터랙션 방법에 대한 연구가 나타나고 있었습니다. 일반적으로 우리가 흔히 사용하는 LLM이나 AI 서비스와는 자연어를 기반으로 한 인터페이스와 인터랙션이 이루어지고 있는데, 이러한 자연어 기반의 상호작용을 좀 더 직관적이면서, 특정 컨텍스트에 맞게 풀 수 있는 방법에 대한 연구와 고민이 이어지고 있다는 것을 알 수 있었습니다.

먼저 포스터에서 볼 수 있었던 Doctoral Consortium 연구 중 AI에게 의도를 전달하는 방법에 대한 연구가 인상 깊었습니다. AI에게 의도를 전달할 때 자연어로 완벽하게 전달하기에는 일반 사용자에게 어려움이 존재하는데, 이를 다양한 객체를 통해서 더 쉽게 구체화하고 다양하게 전달할 수 있는 방법, 그리고 의도에 맞게 AI가 잘 작동했는지를 사용자가 스스로 기준에 맞게 평가할 수 있는 방법에 대해 정리하여 소개한 연구의 모음이었습니다 [2]. 이를 통해서 단순히 AI와의 자연어 인터랙션에만 머무는 것이 아니라, 이를 지원할 수 있는 인터랙션 방법과 자연어 기반 상호작용이 어려운 의도를 전달하고, 에이전트의 시대에는 사용자의 행동에서 암묵적인 의도를 추론하는 것이 앞으로 더 필요할 것이라는 생각이 들었습니다.

다른 포스터 발표에서 AI 사용에서의 사용자의 의도 파악과 관련한 비슷한 지점을 지적했습니다. 현재의 LLM 기반의 인터페이스가 사용자의 모호한 의도를 정확히 파악하고 반영하는데 한계가 존재하는데, 특히 웹에서 정보를 수집하는 과정에서는 계속 목표와 탐색 범위가 바뀌기 때문에 이를 더 파악하기 어렵다는 점을 지적하면서 이를 보완할 수 있는 시스템을 제안했습니다 [3]. 해당 시스템은 Belief-Desire-Intention (BDI) 아키텍처를 기반으로 GPT의 의도 분석 능력을 활용하여 사용자가 탐색 목표와 현재 탐색 과정을 기반으로 의도의 변화를 트리 형태로 볼 수 있도록 시각화하였고, 실제로 사용자는 의도를 명확화하고 탐색 효율을 향상하는데 도움을 받을 수 있었습니다. 뿐만 아니라, LLM에 인간과 인간 사이의 커뮤니케이션 규칙을 도입하여 이를 Human-LLM Interaction 측면에서 분석한 연구도 있었습니다 [4]. 해당 연구에서는 Gricean Maxims에 기반한 인간의 커뮤니케이션 원칙이 LLM에 어떻게 적용될 수 있는지 참여형 디자인 워크샵을 통해 알아보았고, 이를 통해서 인간과 LLM의 상호작용에서는 정보량, 진실성, 관련성, 명료성 측면에서의 디자인 고려사항을 도출했습니다. 이러한 연구들은 모두 현재의 LLM과 LLM 기반의 인터랙션이 갖고 있는 어려움과 한계를 인간의 인터랙션 관점에서 극복할 수 있는 방법을 제안해주어, 앞으로도 인간 측면의 인터랙션을 도입하는 연구를 통해 개선이 이루어질 것으로 기대했습니다.

VR 환경에서의 AI의 오브젝트 생성 시 아바타 등의 존재에 관한 인식에 관한 연구 발표

페이퍼 발표에서도 AI와의 인터랙션 방법에 대한 연구가 있었습니다. 그 중 흥미로웠던 연구는 Virtual Reality (VR) 환경에서 3D 오브젝트를 AI를 통해 생성할 때 AI가 사람 형태의 아바타로 표현될 경우 이에 대한 인식이 어떻게 달라지는지 알아본 연구였습니다 [5]. 일반적으로 VR 환경에서 3D 오브젝트가 한번에 생성되는데, 이 연구에서는 점진적으로 생성하기, 아바타와 함께 생성하기 등에 대해 탐구하였습니다. 그 중 아바타와 함께 생성하는 경우에 AI를 도구보다 파트너로 인식하는 경향이 높게 나타났으며, AI에 대한 기여도를 높게 평가하는 것으로 나타났습니다. 이를 통해서 현재 환경이나 AI가 사용되는 맥락에 맞게 AI와의 상호작용을 설계하는 것이 사용자 경험, 사용자의 AI에 대한 인식에 영향을 미칠 수 있고, VR 환경 뿐만 아니라 AI가 내재될 수 있는 다른 환경에서도 이러한 점을 고려해야한다는 것을 알 수 있었습니다.

Toy-Playing 인터랙션을 기반으로 AI 기반 스토리 작성을 지원하는 Toyteller 연구 발표

이미지 생성 AI 분야의 대표적인 회사이면서 서비스인 Midjourney에서 발표한 연구도 굉장히 인상깊었습니다. Toyteller라는 이름의 연구는 Toy-Playing을 기반으로 한 AI와의 인터랙션에 관한 연구로, 기호로 표현된 캐릭터의 모션을 통해서 이야기를 직접 만들거나, 이야기를 통해서 캐릭터의 모션을 표현할 수 있는 시스템을 소개했습니다 [6]. 특히, 자연어 입력은 구체적이지만 표현에 어려움이 있고, Toy-Playing은 모호하지만 직관적인 표현이 가능하여 서로를 보완할 수 있는 관계로 상호작용을 설계할 수 있다는 점이 흥미로웠습니다. 이러한 인터랙션은 AI와의 초기 상호작용 과정에서 아이디에이션이나 표현이 어려울 때 응용할 수 있을 것으로 기대됩니다. 더 나아가, 자연어는 인간에게 일상적인 상호작용이지만 여전히 인간이 표현하기에는 어려움과 한계가 존재하는데 자연어와 보완적인 인터랙션을 통해서 이러한 한계를 극복하는 방법이 새롭게 나타날 것이라는 생각을 하게 되었습니다.

프로그래밍을 도와주는 LLM 기반 어시스턴트에서도 사용자가 아니라 어시스턴트가 먼저 능동적으로 제안하는 인터랙션이 소개되었습니다 [7]. 일반적으로 우리가 흔히 아는 프로그래밍 어시스턴트 도구는 사용자가 먼저 질문을 해야 도움을 제공하는데, 이 시스템에서는 맥락을 기반으로 능동적으로 도움을 주는 LLM 기반의 어시스턴트를 설계하고, 이에 대한 사용자 경험을 평가했습니다. 실제 평가에서는 이렇게 제안을 하는 경우에 사용자의 선호도가 높았고, 실제로 생산성도 향상된 것으로 나타났습니다. 다만, 너무 과도한 제안은 오히려 사용자 경험에 악영향을 미칠 수 있었습니다. 해당 연구는 LLM이 먼저 인터랙션을 제안한다는 측면에서 굉장히 흥미로웠는데, 이러한 능동적인 인터랙션이 맥락에 맞고, 적절한 경우에 제공되어야 사용자 경험 측면에서 효과가 있으며, 따라서 AI가 인터랙션에 개입하는 수준을 적절히 조절할 필요가 있다는 것을 알 수 있었습니다.

2) AI를 통해: AI를 통해 세계와 상호작용하다.

두 번째는 AI를 통해 디지털 세계와 물리적 세계에서 상호작용하는 연구가 굉장히 많았습니다. 상당수의 연구가 AI를 상호작용의 도구로서 활용하였기 때문에, 다양한 도메인에서 이에 관한 연구가 이어졌는데, 여기서는 제가 인상 깊게 본 연구를 위주로 간단히 소개해보겠습니다.

LLM 기반 Agent를 활용한 Usability Testing 프레임워크를 발표한 UXAgent 연구 포스터

먼저, 포스터로 발표된 UXAgent 연구는 LLM 기반의 에이전트를 통해서 웹 서비스의 초기 사용성 테스트를 해볼 수 있는 연구였습니다 [8]. 이는 저희 컴패노이드 랩스가 탐구하고 있는 리서치 프로세스를 지원하는 시스템과 툴에 관한 연구와도 맞닿아 있어서 굉장히 인상 깊게 보았습니다. 해당 연구에서는 에이전트 페르소나를 선택하고, 해당 페르소나를 가진 에이전트가 브라우저를 통해 웹 서비스와 상호작용하고, 후에는 인터뷰를 통해 사용성 측면에서의 이야기를 할 수 있는 시스템에 관한 연구였습니다. 일반적으로 사용성 테스트를 하는데 비용이 많이 드는데, 초기 사용성 평가에서 비용을 줄이는데 집중할 수 있다는 점이 인상 깊었고, 실제 사용성 평가 전에 테스트 차원에서 사용하는데 집중할 수 있다는 것이 큰 장점으로 다가왔습니다. 뿐만 아니라 LLM기반의 에이전트를 통해 웹과 상호작용을 하는 기술과 시스템 자체도 현재 굉장히 주목을 받고 있는 상황이라 더 주목을 했습니다. 앞으로는 AI를 통해 웹이나 기존의 서비스와 상호작용하는 방법에 대한 연구가 더 나오지 않을까 기대를 해보게 되었습니다.

뿐만 아니라 AI를 통해서 여러 작업을 대신하는 연구에 관한 포스터도 많았습니다. MIT에서는 App Inventor를 기반으로 자연어를 통해 모바일 앱을 개발할 수 있는 시스템에 대해 소개했는데, 단순히 자연어와 AI를 통해서 앱을 개발할 수 있다는 것만 아니라, 실제 프로그래밍 교육에 도움이 될 수 있도록 이러한 시스템을 설계한 것이 인상적이었습니다 [9]. 또한, AI와 크라우드 소싱(CrowdSourcing) 기반의 글쓰기 지원에 관해서 비교한 연구도 있었는데, AI의 응답 속도와 평균 이상의 글쓰기 능력으로 AI 기반의 글쓰기 지원 도구가 많이 선택되고 있는 상황을 보여주었습니다 [10]. 하지만 이제 인간의 역할이 없어진 것이 아니라 여전히 AI가 부족한 다양성, 창의성 측면에서 인간의 지원이 필요하다는 논의도 이어졌습니다. 이 두 연구는 많은 사용자가 이제 AI를 통해 여러 작업을 하거나 상호작용을 하고 있지만, 이를 단순히 자동화나 인간을 대체하는 데 사용하기 보다 인간이 잘하는 부분과 AI가 잘하는 부분, 그리고 여전히 인간이 기여하거나 배울 수 있는 부분을 파악하는 것이 중요하다는 점을 상기시켜 주었습니다.

페이퍼 발표에서도 재미있는 연구가 많았습니다. 먼저, 사용자가 일상적으로 컴퓨터를 사용할 때 나타나는 디지털 행동을 기반으로 사용자의 인지 능력을 예측한 연구가 흥미로웠습니다 [11]. 우리가 흔히 브라우저 등을 사용하면서 하는 행동인 탭 전환, 사이트 이동, 텍스트 정보 읽기, 주소창 타이핑 등을 통해서 사용자의 인지능력을 AI를 통해 예측할 수 있는지 알아본 연구였습니다. 해당 연구에서는 비교적 간단한 머신러닝 알고리즘을 통해서 선택적 주의력, 작업 기억력과 같은 인지 능력을 낮은 오차로 예측할 수 있다는 결과가 나왔습니다. 이는 사용자의 인지능력에 맞추어 인터페이스를 맞춤형으로 디자인할 수 있는 확장 가능성을 보여주었는데, 어쩌면 AI 기반의 기술이 이러한 정보를 토대로 사용자가 집중하고 싶은 부분을 위주로 인터페이스를 수정하거나, 사용자의 능력에 맞게 최적화된 인터페이스를 전달하는 형태로 구현될 수 있지 않을까 하는 상상을 할 수 있었습니다.

개인 데이터의 의미 생성 과정에서의 AI 이미지 생성 기반 시각화의 가능성에 관한 연구 발표

또 다른 흥미로운 연구는 스마트폰 및 웨어러블 디바이스 등을 통해 수집할 수 있는 사용자의 개인 데이터를 차트와 같은 수치나 도식 기반의 시각화가 아니라 AI 이미지 생성을 통해 시각화를 했을 때 어떤 영향을 주는지에 대한 연구였습니다 [12]. 연구자는 3주간의 다이어리 스터디를 통해 진행된 연구에서는 매일 수집된 개인 데이터를 기반으로 AI 이미지를 생성하고 이에 대한 분석을 진행했는데, 사용자들이 단순한 수치에 매몰되지 않고 감정이나 상황에 대한 성찰과 회고를 할 수 있었으며, 이를 통해 새로운 해석을 할 수 있다는 점을 발견했습니다. 특히 AI 이지미가 오히려 새로운 관점을 부여하고, 이에 대한 호기심으로 셀프 트래킹 기반의 데이터 기록을 지속할 수 있다는 점도 흥미로웠습니다. 이를 통해 이미지 생성 AI가 단순히 사용자가 표현하고 싶은 이미지를 표현하는 것을 넘어서 사용자와 디지털 데이터를 잘 연결시키는 역할을 할 수 있고, 다른 AI 기반의 기술도 이러한 연결과 호기심을 촉진하고, 동기 부여를 위한 역할을 할 수 있을 것이라는 기대를 갖도록 했습니다.

웨어러블 디바이스를 기반으로 AI와 실제 세계의 상호작용을 연구한 Persistent Assistant 발표

웨어러블 디바이스를 기반으로 AI를 활용해 물리적 세계와 상호작용하는 방법에 관해 제시한 연구도 있었습니다 [13]. Persistent Assistant 연구는 기존의 자연어 기반 AI 어시스턴트가 실제 물리적 세계에서는 시간과 인지적 측면에서 부담이 있으며, 여러 상황에서는 적합하지 않을 수 있다는 문제를 제시했습니다. 그래서 이를 해결하기 위해 자연어 기반으로 사용자의 의도와 목표를 먼저 설정한 후, 웨어러블 디바이스를 통해서 실제 세계의 대상을 확인하고, 햅틱과 음성 기반의 피드백을 통해 설정한 의도와 목표에 부합하는지를 알려주는 시스템을 설계했습니다. 이를 통해서 사용자들은 반복적이고 빠른 상호작용을 할 수 있었고, 자연어 기반의 상호작용이 어려운 일상 생활에서 비언어적이고 직관적인 인터페이스를 통해 이를 해결할 수 있는 방법을 제시했습니다.

3) AI와 함께: AI와 함께 새로운 상호작용을 설계하다.

마지막으로는 AI와 함께 새로운 상호작용을 설계하는 방법에 관한 연구도 등장했습니다. AI와 LLM을 이용하여 다양한 페르소나를 가진 사용자를 반영하는 에이전트를 설계하고 활용하는 방법에 관한 연구, AI와 LLM을 연구 과정에서 활용하는 방법 등 흥미로운 연구가 많았습니다. 이를 통해서 이제 인간이 혼자서 하기 어렵거나, 다수의 피드백이 필요한 작업을 AI가 함께하여 이를 지원할 수 있는 프로덕트가 많이 탄생할 것이라는 기대를 갖게 했습니다.

LLM 기반 Audience Personas를 활용한 콘텐츠 크리에이터 지원 시스템을 연구한 Proxona 발표

먼저, AI를 시뮬레이션된 인간으로 활용하는 연구가 꽤 등장했습니다. TeachTune 연구에서는 교사들이 LLM 기반으로 교육용 챗봇의 효과를 다양한 학생을 대상으로 평가하기 어렵다는 점을 해결하기 위해서 LLM을 통해서 시뮬레이션된 학생을 생성하고, 이러한 학생의 지식 수준과 성격을 다양하게 구성하여 이를 통해 자동화된 대화에 기반하여 쉽게 테스트하고 평가할 수 있는 시스템을 제안했습니다 [14]. 이를 통해서 교사는 일일이 테스트나 점검을 하지 않아도 교육용 챗봇과 시뮬레이션된 학생의 대화를 통해서 교육용 챗봇의 효과를 쉽게 검증할 수 있었습니다. GenieWizard 연구는 멀티모달 어플리케이션의 초기 개발 단계에서 사용자가 할 법한 명령을 생성하고, 이를 통해 필요한 기능을 추론해서 개발자에게 제안하는 도구를 소개했습니다 [15]. 이를 위해서 사용자 명령 생성 과정에서 LLM을 활용해 다양한 페르소나를 가진 사용자의 시뮬레이션된 대화를 생성하고, 이를 활용하여 어플리케이션이 지원할 수 있는 명령어 목록을 구축하였습니다. 이를 통해서 실제로 구현되지 않았지만, 사용자가 기대할 만한 상호작용을 AI와 함께 수집하고, 구축할 수 있었습니다. Proxona 연구는 콘텐츠 크리에이터가 청중의 정성적인 동기나 선호도와 관련된 맥락을 이해하고, 이를 콘텐츠 기획 단계에서 활용할 수 있도록 유튜브의 댓글을 활용하여 다양한 페르소나를 가진 LLM 기반의 가상의 청중을 생성하고 활용하는 방법을 제안했습니다 [16]. 유사한 댓글을 기반으로 해당 페르소나를 갖춘 가상의 청중을 생성하였고, 실제 유튜브 크리에이터를 대상으로 한 평가에서 청중의 특성을 이해하고, 이를 콘텐츠의 아이디에이션과 개선에 효과적으로 활용할 수 있음을 보였습니다. 이러한 연구들은 LLM을 활용하여 다양한 사용자 그룹을 시뮬레이션하고, 이를 초기 아이디어 설계나 시스템 평가에 AI와 함께하는 방법과 그 가능성을 보여주었습니다. 개인적으로는 LLM을 활용하여 특정 사용자 그룹을 시뮬레이션을 하고, 이를 통해 비용이나 시간적 측면에서 개선을 가져오는 부분에 관심과 많은 기대를 하고 있는데, 3가지 연구를 통해서 단순한 사용자의 평가를 넘어서 프로덕트 기획 및 개발, 평가 단계에서 LLM 기반의 시뮬레이션을 활용하는 방법에 대해서도 생각해볼 수 있었습니다.

연구 아이디어의 개발 과정에서 구체화를 LLM 기반 시스템으로 돕는 IdeaSynth 연구 발표

비슷한 맥락에서 LLM과 AI를 HCI 연구에 활용하는 방법에 관한 여러 논의도 등장했습니다. 앞서 소개했던 저희 UX Remix도 그러한 일환의 연구인데, 본 페이퍼 발표 세션에서는 더 다양한 주제로 이러한 논의가 등장했습니다. 먼저, LLM을 사용하여 사용자 없이 합성 사용자를 생성하는 연구에 대한 여러 논의를 고찰한 연구가 있었습니다 [17]. 실제 HCI 연구자와의 인터뷰를 통해 LLM 기반의 사용자를 인터뷰 참가자로 활용하는 방법에 관한 여러 시각과 경험, 우려를 조명했는데, 구체성 부족, 특정 커뮤니티에 대한 배제 우려, 정성적 지식 생산 방식 훼손, 연구자의 편향 개입 우려, 맥락과 응답에 대한 모호성, 실제 참여자의 자율성 등 배제 등의 한계가 존재했습니다. 따라서 LLM을 참가자로 활용하는 방법보다는 인터뷰 직전에 시뮬레이션하거나,함께 더 나은 인터뷰를 설계하고 보조하는 도구로 활용하는 방법을 제안했습니다. IdeaSynth 연구는 연구 아이디어의 구체성과 정제 과정을 돕는 인터페이스에 대해 소개한 연구로, 노드 기반의 인터페이스를 통해서 연구 아이디어를 실제 문제 정의부터 연구 질문, 설계 및 평가 방법 등으로 구체적으로 구성할 수 있는 방법을 제안했습니다 [18]. 특히 이 과정에서 LLM이 이전 연구와 문헌에 기반하여 새로운 제안과 질문, 대안을 제공하면서 사용자와 함께 연구를 기획할 수 있는 인터랙션을 제공한 점이 인상적이었습니다. 마지막으로 EvalignUX 연구는 LLM을 활용하여 연구자들이 UX 평가를 위한 계획을 효과적으로 수립할 수 있도록 돕는 도구를 소개했습니다 [19]. 연구자들이 수많은 평가 지표와 메트릭에서 어떤 것을 자신의 연구에 사용해야할지 판단하기 어려워하는데, 이를 LLM과 기존의 문헌에 기반하여 연구 맥락에 맞는 지표를 추천할 수 있었습니다. 무엇보다 실제 UX 평가를 위한 실용적인 도구이고, 실제 연구자 대상의 평가에서 AI가 팀원처럼 함께하고 도와주는 느낌을 받았다는 평가를 받았습니다. 이처럼 3가지 연구에서는 HCI 연구과정에서 AI와 LLM의 활용 가능성을 확인하고, 이에 대한 한계를 지적했습니다. 결국 AI와 LLM과 함께 연구를 하는 시대가 온 만큼, 이 과정에서 엄밀성과 효율성 사이의 경계에서 AI와 LLM을 활용할 수 있을지에 대해 고민이 더 필요할 것으로 보입니다.

빅테크 기업과 스타트업을 만날 수 있는 전시 세션

CHI가 HCI 분야의 가장 권위있고, 많은 연구자가 모이는 컨퍼런스인 만큼, 굉장히 다양한 기업에서도 후원과 함께 전시 부스를 열었습니다. 이러한 부스는 스폰서들의 참여부터 다양한 기업, 스타트업, 단체에서 여는데, 다양한 기업의 실제 연구자, 엔지니어와 다양한 이야기를 할 수 있고, 각 기업과 스타트업에서 어떤 부분에서 HCI, UX, 인터랙션 디자인에 접근하는지를 알 수 있는 좋은 기회이기도 했습니다.

(좌) Apple, (우) Google의 기업 부스

먼저, 우리가 흔히 아는 대표적인 빅테크 기업인 Google과 Apple 컨퍼런스 스폰서로 참여하면서 기업 부스를 열었고, 뿐만 아니라 다양한 HCI와 AI 경계의 연구를 컨퍼런스에서 발표하기도 했습니다. 뿐만 아니라 Toyota Research Institute에서도 후원과 함께 부스를 열었습니다. 뿐만 아니라 일본 요코하마에서 진행된 컨퍼런스였기에 다른 일본 기업도 많이 만날 수 있었습니다. HCI 연구가 단순히 학문 분야로만 있는 것이 아니라 실제 산업이나 프로덕트에 미치는 영향이 큰 만큼, 실제로 많은 빅테크에서도 이 분야에 투자를 하고 있고, 더 효과적인 인터랙션을 설계하고 제공하기 위한 제반 연구를 하고 있다는 것을 알 수 있었습니다.

(좌) Pupil Labs, (우) ProtoPie의 기업 부스

뿐만 아니라 여러 스타트업도 부스를 통해 CHI 컨퍼런스에서 만나볼 수 있었습니다. Eye tracking을 위한 하드웨어와 소프트웨어로 유명한 Pupil Labs도 있었으며, 한국에서 출발한 대표적인 스타트업 중 하나로 인터랙션 설계와 구현이 가능한 프로토타이핑 툴을 제공하는 ProtoPie도 만나볼 수 있었습니다. 아직 빅테크에 비해서는 스타트업에서 HCI와 사용자 경험의 중요성을 간과하는 경우가 꽤나 많은데, 그래도 이러한 측면에서 기여를 하고 있는 여러 스타트업을 만나볼 수 있어서 반가웠습니다. 앞으로의 CHI 컨퍼런스에서 더 많은 빅테크 기업과 수많은 스타트업을 만나볼 수 있기를 기대하며, 저희 컴패노이드 랩스와 CIC (Company in Company)인 Herbert Computer, Inc.와 SF49 Studio도 언젠가 전시 부스나 스폰서로 참여할 수 있으면 좋겠다는 생각을 했습니다.

컨퍼런스 이후에도 이어지는 연결의 시간

CHI 컨퍼런스에서도 Coffee Break 시간이나 포스터 세션, 발표 세션 후에도 많은 연구자들이 서로 연결되긴 하지만, 둘째날 저녁에 열리는 각 나라 및 기관에서 주최하는 파티는 새로운 친구와 연구자를 만나는 데 아주 적절한 시간이기도 합니다. CHI에서는 각 나라 및 학교, 회사 등이 파티를 주최하고, 다른 연구자를 초대하는데, 가벼운 맥주와 함께 서로의 연구 관심사로 시작해서 여러 이야기를 나눌 수 있는 시간이었습니다.

KAIST Night 파티에 모인 수많은 사람들

저 같은 경우에는 KAIST의 HCI 커뮤니티인 HCI@KAIST에서 주최하는 KAIST Night 파티를 다녀왔습니다. 이번에 역대급으로 많은 참석자가 CHI에 참석해서 그런지 무려 300명에 가까운 사람들이 파티에 모였으며, 굉장히 많은 인파와 함께 파티를 즐길 수 있었습니다. 파티는 예전부터 알고 지냈던 분들부터 오랫동안 보지 못했던 분들, 새롭게 알게된 분들을 뵐 수 있어서 굉장히 반가운 시간이었습니다. 이러한 인연이 계속이어져서 한국에서도 HCI 커뮤니티가 연결되고 점점 커질 수 있기를 기대해봅니다.

아쉬운 점이 있다면 다양한 나라와 기관에서 다른 파티를 참석해보지 못한 것인데, 다음에 CHI에 참석하게 된다면 더 다양한 파티에 참석해서 세계 곳곳의 연구자들과 연결될 수 있기를 기대해봅니다.

AI 시대 HCI의 중요성을 모두 알 수 있기를 기대하며

CHI 2026은 바르셀로나에서 열립니다!

CHI 컨퍼런스에 대한 소개와 회고는 이것으로 마치겠습니다. ChatGPT 등장 이후에 이어진 AI와 HCI의 교차점에서 연구는 여전히 이어지고 있었고, 단순히 AI를 활용하는 것을 넘어서서 AI와의 상호작용 과정, AI를 이용한 상호작용 과정, AI와 함께 상호작용하는 과정을 담고 있었습니다. AI가 단순히 잠깐 기술적 Hype에 오른 것이 아니라 실제 사용자에게 적극 활용되고, 이제 없어지면 안되는 기술이 된만큼 이러한 부분에 대한 고민은 더 필요하고 계속될 것이라 생각합니다. 어쩌면 이제 AI가 많은 서비스와 프로덕트에서 디폴트로 자리 잡아가는 만큼, 이러한 AI와 효과적으로 상호작용할 수 있는 인터랙션, 인터페이스에 대해 찾아가는 과정이 아닐까 하는 생각도 듭니다. 그래서 AI와 HCI의 교차점에서 많은 연구가 이루어질 수 밖에 없고, AI를 어떻게 활용하느냐부터 AI를 어떻게 받아들이냐까지 아직 사용자 측면에서 알려지지 않은 부분에 대한 탐구가 필요하다고 생각합니다.

그래서 HCI 연구와 기술에 대한 탐구의 중요성이 더 커지고 있다는 생각입니다. 이미 AI 기술과 파운데이션 모델은 어느정도 수준에 올라왔고, 단순히 정확도나 성능 측면의 비교를 넘어서 실제 사용자에게 어떤 임팩트를 줄 수 있느냐에 대해 고민이 필요한 순간으로 넘어왔다는 생각입니다. 이러한 부분은 AI 기술에 대한 연구만으로 탐구할 수는 없고, 결국 HCI 측면에서의 고려가 필요할 수 밖에 없습니다. 실제로 AI를 어떻게 활용할지, 어떻게 사용자가 받아들이게 할 수 있을지, 어떻게 가치를 창출할 수 있을지에 대한 고민이 필요하고, 이러한 고민과 이에 대한 논의가 CHI 컨퍼런스에서도 이루어지고 있다는 것을 느낄 수 있었습니다. 새롭게 AI 시대에 접어드는 지금이 HCI의 역할이 가장 중요한 순간이라고 생각하며, 앞으로 더 많은 산업 분야와 학계에서 HCI 저변이 넓어지기를 소망합니다. 저희 Companoid Labs도 앞으로 HCI 분야의 저변을 넓히고, AI 시대의 새로운 인터랙션과 인터페이스, 사용자 경험에 대해 고민하고, 나름대로의 답을 낼 수 있도록 노력하겠습니다.

윤형근 파트너가 들려주는 CHI 2025 이야기가 더 궁금하시거나, AI 시대의 HCI 연구자와 UX 유관 분야 직무자의 이야기를 더 들어보고 싶으신가요? CIT의 HCI 컴패니언 데이 #1에 참가하고, 더 많은 이야기를 들어보세요!

References

[1] Yun, H., & Jang, J. (2025, April). UX Remix: Improving Measurement Item Design Process Using Large Language Models and Prior Literature. In Meta-HCI '25: First Workshop on Meta-Research in HCI.

[2] Kim, T. S. (2025, April). Interacting with AI by Manipulating Intents. In Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-5).

[3] Wang, Z., Xiao, J., Sun, J., & Liu, C. (2025, April). IntentPrism: Human-AI Intent Manifestation for Web Information Foraging. In Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-11).

[4] Kim, Y., Chin, B., Son, K., Kim, S., & Kim, J. (2025, April). Applying the Gricean Maxims to a Human-LLM Interaction Cycle: Design Insights from a Participatory Approach. In Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-8).

[5] Rasch, J., Töws, J., Hirzle, T., Müller, F., & Schmitz, M. (2025, April). CreepyCoCreator? Investigating AI Representation Modes for 3D Object Co-Creation in Virtual Reality. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-14).

[6] Chung, J. J. Y., Roemmele, M., & Kreminski, M. (2025, April). Toyteller: AI-powered Visual Storytelling Through Toy-Playing with Character Symbols. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-23).

[7] Chen, V., Zhu, A., Zhao, S., Mozannar, H., Sontag, D., & Talwalkar, A. (2025, April). Need Help? Designing Proactive AI Assistants for Programming. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-18).

[8] Lu, Y., Yao, B., Gu, H., Huang, J., Wang, Z. J., Li, Y., ... & Wang, D. (2025, April). UXAgent: An LLM Agent-Based Usability Testing Framework for Web Design. In Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-12).

[9] Patton, E. W., Kim, D. Y., Granquist, A., Liu, R., Scott, A., Zamanova, J., & Abelson, H. (2025, April). Aptly: Making Mobile Apps from Natural Language. In Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-11).

[10] Huang, C. Y., Gautam, S., Brooks, S. M., Lin, Y. F., Knearem, T., & Huang, T. H. K. (2025, April). Inspo: Writing with Crowds Alongside AI. In Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-9).

[11] Vuong, T., Jacucci, G., & Ruotsalo, T. (2024). Naturalistic digital behavior predicts cognitive abilities. ACM Transactions on Computer-Human Interaction, 31(3), 1-32.

[12] Park, S., Kim, H., & Lim, Y. K. (2025, April). Reimagining Personal Data: Unlocking the Potential of AI-Generated Images in Personal Data Meaning-Making. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-25).

[13] Cho, H., Fashimpaur, J., Sendhilnathan, N., Browder, J., Lindlbauer, D., Jonker, T. R., & Todi, K. (2025, April). Persistent Assistant: Seamless Everyday AI Interactions via Intent Grounding and Multimodal Feedback. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-19).

[14] Jin, H., Yoo, M., Park, J., Lee, Y., Wang, X., & Kim, J. (2025, April). TeachTune: Reviewing Pedagogical Agents Against Diverse Student Profiles with Simulated Students. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-28).

[15] Yang, J., Shi, Y., Gu, C., Zheng, Z., Jain, A., Li, T., ... & Landay, J. A. (2025, April). GenieWizard: Multimodal App Feature Discovery with Large Language Models. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-17).

[16] Choi, Y., Kang, E. J., Choi, S., Lee, M. K., & Kim, J. (2025, April). Proxona: Supporting Creators' Sensemaking and Ideation with LLM-Powered Audience Personas. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-32).

[17] Kapania, S., Agnew, W., Eslami, M., Heidari, H., & Fox, S. (2025, April). Simulacrum of Stories: Examining Large Language Models as Qualitative Research Participants. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-16).

[18] Pu, K., Feng, K. J., Grossman, T., Hope, T., Mishra, B. D., Latzke, M., ... & Siangliulue, P. (2025, April). IdeaSynth: Iterative Research Idea Development Through Evolving and Composing Idea Facets with Literature-Grounded Feedback. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-31).

[19] Zheng, Q., Chen, M., Sharma, P., Tang, Y., Oswal, M., Liu, Y., & Huang, Y. (2025, April). EvAlignUX: Advancing UX Evaluation through LLM-Supported Metrics Exploration. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-25).

S’abonner à 'Companoid Labs'

En vous abonnant à ce site, vous recevrez en avant-première les dernières mises à jour, comme les nouveaux articles, par notification et par e-mail.
Inscrivez-vous à Slashpage et abonnez-vous à 'Companoid Labs' !

S’abonner