ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • [논문리뷰] Architect : Building Interactive Virtual Experiences from Physical Afford
    Paper Review/Human Computer Interaction 2020. 7. 18. 23:12

    Architect : Building Interactive Virtual Experiences from Physical Affordances(행동유도성) by Bringing Human-in-the-Loop(인간 참여형)

     

    Abstract

    ARchitect brings in an assistant to map physical objects to virtual proxies of matching affordances using Augmented Reality 

     

    Introduction

    ref

    Physical objecti에 부딪히는 상황은 위험하고, VR world에 render되지 않은 physical object는 Breaks in Presence로 이끈다.

    >>Zhenyi He, Fengyuan Zhu, Ken Perlin, and Xiaojuan Ma. 2018. Manifest the Invisible: Design for Situational Awareness of Physical Environments in Virtual Reality. arXiv e-prints (Sep 2018), arXiv:1809.05837. 

     

    최근 시도 : 3D reconstruction 기술을 활용하여 real world에 부합하는 virtual world를 구상하려함

    Depth map의 한계 : segmentation이 완벽하지 않다 / interactable한 물체와 non-interactable한 물체에 대한 이해가 부족 (lack semantics)

      (대신, 바닥이나 벽같은 Interaction이랑 좀 관련 없는 애들에 적용하기는 좋음)

     

    ref

    선행연구 중 하나 : physical object를 가상세계에서 touch하여 feedback 얻게 하면, immersive 상승

    Brent Edward Insko. 2001. Passive Haptics Significantly Enhances Virtual Environments. Ph.D. Dissertation. Advisor(s) Brooks,Jr., Frederick P. AAI3007820. 

     

    ref

    3D model 데이터베이스를 바탕으로, physical object를 걸맞는 virtual object로 바꾸려는 시도가 있었으나, 정확도가 떨어짐

    Armen Avetisyan, Manuel Dahnert, Angela Dai, Manolis Savva, Angel X. Chang, and Matthias Niessner. 2019. Scan2CAD: Learning CAD Model Alignment in RGB-D Scans. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

     

    혹은 embedded 기기에서 돌리기에 너무 computation이 heavy

    Shuran Song and Jianxiong Xiao. 2014. Sliding Shapes for 3D Object Detection in Depth Images. In Proceedings of the European Conference on Computer Vision (ECCV). 

     

    혹은 labeling이 이뤄지지 않은 in-the-wild object class에 대해서 일반화가 잘 이뤄지지 않음

    Angela Dai and Matthias Nießner. 2018. 3DMV: Joint 3D-Multi-View Prediction for 3D Semantic Scene Segmentation. In Proceedings of the European Conference on Computer Vision (ECCV). 

     

    we argue for the merits that physical props should be able to be repurposed for a new functionality in the virtual world. 

    (예 : 실세계 우산을 가상세계 삽으로 바꾸기)

    In addition, if the mapped 3D model does not complement the theme of the virtual world, the user may be constantly reminded of their physical reality and subsequently lose focus of the alternative virtual reality, resulting in BIP. 

     

    Ref

    Physical objects with virtual proxies in consideration of affordances

    James Jerry Gibson. 2013. James J. Gibson From: the Ecological Approach to Visual Perception Chapter 8 the Theory of Affordances. 

     

    구현 : Assistant가 실세계를 돌아다니면서, affordacne를 고려하면서 가상세계 물체를 실세계 물체에 덧입히고, Player는 이 Assistant가 만든 가상세계만 봄

     

    Related Work

     

    Real Walking in Virtual Reality

    VR 세계에서 실제로 걷는 행위 >> immersive를 향상 시킨다 (45, 39)

    근데 이런 상황을 만들기가 쉽지 않아서 선행 연구들은 pre-configured physical room을 제작한다. 

     

    Ref

    실세계 geometry와 유사한 Virtual floor plan을 matching하기 위해 실제 환경을 pre-scan

    L. Shapira and D. Freedman. 2016. Reality Skins: Creating Immersive and Tactile Virtual Environments. In 2016 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). 115–124. DOI: http://dx.doi.org/10.1109/ISMAR.2016.23

     

    Wall outline을 따서 walking area를 정의함

    Christian Hirt, Markus Zank, and Andreas Kunz. 2017. Real-time Wall Outline Extraction for Redirected Walking. In Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology (VRST ’17). ACM, New York, NY, USA, Article 72, 2 pages. DOI: http://dx.doi.org/10.1145/3139131.3143416

     

    안전한 이동 경로와 함께 virtual scene을 절차적으로 생성함 (3D reconstruction으로 실세계의 완전한 모델을 형성했다고 함)

    Misha Sra, Sergio Garrido-Jurado, and Pattie Maes. 2017. Oasis: Procedurally Generated Social Virtual Spaces from 3D Scanned Real Spaces. IEEE Transactions on Visualization and Computer Graphics PP (10 2017), 1–1. DOI: http://dx.doi.org/10.1109/TVCG.2017.2762691

     

    >> 한계 : walkable area로 사용자의 영역을 한정시킴

     

    Passive Haptics

     

    ref

    Physical object의 핵심적인 원시적 모양과 사이즈를 바탕으로 가상 물체를 overlay해줌

    Anuruddha Hettiarachchi and Daniel Wigdor. 2016. Annexing Reality: Enabling Opportunistic Use of Everyday Objects As Tangible Proxies in Augmented Reality. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems (CHI ’16). ACM, New York, NY, USA, 1957–1967. DOI: http://dx.doi.org/10.1145/2858036.2858134

     

    Physical과 virtual 간에 짝을 짓고, 그 차이가 believability에 어떻게 영향을 주는지 실험

    Adalberto L. Simeone, Eduardo Velloso, and Hans Gellersen. 2015. Substitutional Reality: Using the Physical Environment to Design Virtual Reality Experiences. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems (CHI ’15). ACM, New York, NY, USA, 3307–3316. DOI:http://dx.doi.org/10.1145/2702123.2702389

     

     

    Design And Implementation

     

    Design Rationale

     

    1) allow flexible customization of a virtual experience that reflects the physical environment

       >> 안전하면서도 가상세계의 immersive를 지키고 싶음. 

       >> Assistant 도입을 통해서 생성 기술이 제공할 수 없는 다양한 요인을 고려한 translating을 제공가능

       >> 다양한 요인 예시 : affordance of physical object를 고려해서 가상 물체의 functionality 결정 가능 

    / 테마의 연속성을 유지 / (passive haptic을 위한) 물체의 촉감 고려

     

    2) assistant가 먼저 다 build한 이후에 player 시작 

       이유 : 안정성 때문 / play 중간중간 virtual이 튀어나오면 immersive 해침

     

    3) general public이 좀 더 쉽게 받아드리게 하기 위함

     

    구현 : Unity, ARFoundation / ARCore - 안드로이드 / ARKit - IOS

     

    Hardware and Software Setup

     

    Definition of Virtual Elements

     

    Five types of virtual elements : scene / boundary / obstacle / interactable / game 요소\

    scene : static element. >> 하늘과 땅등으로 표현하게함

    boundary : 방안의 벽 등의 physical boundary와 매칭 >> 펜스나 벽돌 벽 등으로 표현하게 함

    Obstacle : 부딪히면 안될 물체들. Danger ahead 의미 >> 안전콘이나 나무 장애물 등으로 표현하게함

    Interactable : possibilities of interaction이 있는 물체들 >> 해당 연구에서는 두가지로만 표현. 앉을 수 있는 의자 / 잡을 수 있는 우산. 각각을 tree stump, rock 과 삽과 곡괭이로 표현

    Game : 게임 아이템

     

    Scene Understanding

     

    Planar detection : ARFoundation (Unity) 

    Light estimation을 추가해서 reality 높임

     

     

    Affordance Recommender and Tracking

     

    Assistant가 놓을 virtual object 추천 리스트 >> manual effort를 줄여줌

    ARchitect가 interactable을 감지하면, 시스템이 자동으로 virtual object bundle을 추천해줌

     

    구현 : Imagenet으로 pretrained한 Inception V3의 weight를 사용

    VR mode - physical interactable을 bounding box로 위치 tracking 

              >> object detection(MobileNet SDD) + 3D coordinate space로 positional tracking

     

    AR Placement and Interface for Assistant

     

    바닥 스캔 & 바닥을 green 다각형으로 표현 > assistant가 virtual proxy를 physical object 위치로 drag and drop 

     

    Switching from AR to VR

     

    assistant가 virtual world와 real world mapping을 끝내면, device는 VR mode로 전환 > mobile device에 따라서 Field of View가 최적화됨 

     

     

    USER STUDY

     

    현재의 보편적인 VR gameplay = baseline = assistant의 voice instruction에 의존해서 player가 이동

    본 연구는 object와의 interaction을 고려하기 때문에, 모든 obstacle을 avoidance 대상으로 본 연구들과는 방향이 다르다. 

     

    설문조사

     

    질문 중에서, 시스템에서 어려웠던 점이나 무서웠던 점을 알려달라 > tree stump에 앉을 때 belivable 했으나, 기대했던 바와 texture가 달랐다는 평이 있었음 (1 Out of 7)

    질문 중에서, 시스템을 향상 시키기 위해서 어떻게 해아할지 > obstacle을 표현하는 virtual proxy가 좀 더 무서워야 할 거 같다 (불꽃처럼) / 사운드도 추가해달라 / 애니메이션 추가해달라 / 

     

    Discussion

     

    시각적 자기 수용 - 많은 player들은 자신이 집은 물체가 실제로는 우산이지만, 곡괭이인줄 알았다고 함

     

    Design Guidelines and Example Experiences

     

    Design Guidelines 

    interactable은 일회성 (한 번 앉기) 혹은 다회성 (exprience 전체에 걸친 예를 들어서 삽을 들고 버섯 캐기) 로 구성된다

    mapping에서 Size, orientation, scale을 적절히 고려하는 것이 safe하고 belivable한 virtual 경험을 제공하는데에 중요하다. 

    Player가 기대할만한 모양과 질감의 물채로 visulization 해줘라

    테마에 맞는 obstacle 등을 사용해라 (자동차 주행 시뮬레이션 - traffic cones, 산사태로 인한 돌, 사슴 등)

     

    Limitations and Further work

    assistant가 virtual proxy의 위치를 잡을 때, alignment를 위한 fine tuning이 필요하다

    의자가 반드시 ‘앉다’의 상호작용만 하는 물체가 아니기 때문에, affordance taxonomy를 더 강화해서 recommender를 잘 만들고 싶다

    Dynamic visualization by automatically adjusting the position and size of interactables 하고싶다

     

     

     

     

    댓글

Written by Geulleun