[논문리뷰] FailureSense : Detecting Sensor Failure using Electrical Appliances in the Home

FilureSense 논문은 2014 IEEE Internatonal Conference on Mobile Adhoc and Sensor Systems (MASS)에 소개된 sensor failure detectoin에 관한 논문으로, detection 과정에 machine learning이나 deep learning의 도움 없이 statistical analysis를 통해 model을 생성하여 fail-stop failure, obstructed-view failure, moved-location failure을 상당히 높은 정확도로 detect하는 방법을 소개한다. 

(이게 진짜 설득력이 있나 싶은 부분들도 물론 있긴 하지만) 2014년 당시엔 대부분이 fail-stop failure만을 탐지했다는 설명으로 미뤄보아 다른 두 가지 failure를 탐지하는 것에서 novelty가 있었던 것으로 보인다.

 

terms : Sensor failure detection, sensor reliability

 

Abstract & Introduction

Problem

저가의 sensor 보급 증가 => smart home을 위한 sensor 사용 증가 => 다양한 종류의 sensor failure이 존재

Sensor Failure Scenarios

sensor fail rate이 아주 높은 것은 아닐지라도, 여러 개의 센서 (100개 이상)을 배포할 경우에는 weekly/daily failure 횟수가 무시 못할만큼 증가할 것

그리고 smart home을 구성하기 위해서는 100개 이상의 센서가 당연히 사용될 것

	definition	scenario
Fail-Stop	sensor fail이나 stop이 report됨	주로 hardware problem or battery outage
Obstructed-view	sensor의 field of view가 차단됨	가구가 센서 앞을 막거나 magnetic sensor 주변에 위치한 motor에 의해 obstruct되는 경우
Moved-location	sensor를 원래 위치에서 이동시킴	sensor가 가구에 mount 되어 있는데 가구를 옮기는 경우

 

Fail Detecting Scheme

• traditional : fail-stop failure (2014 기준 많이 진행됨)

• suggesting : + obstructed-view failure & moved-location failure

Method

• Baseline

• SMART : 한 순간에 하나의 sensor의 error만을 탐지할 수 있음

• RFSN : redundant sensors에 의존

• regular pattern of sensor firing (예를 들어 특정 시간에 안방의 불을 킨다) 을 학습하고 significant deviation from the regularity를 failure로 간주

 

Contributions

1. (2014 기준) 최초의 activation events를 사용한 sensor failure detection

2. minor training => scalability 확보 가능

3. using real data

 

Approach

Step 1 : 가정 내의 전자 제품의 activatoin 관점에서의 sensor의 규칙적인 행동을 학습하여 model을 생성

Step 2 : regualrity와 상당한 차이를 보이는 경우 failure로 기록

 

a. Assumptions

1. training 기간 동안에 sensor failure는 발생하지 않는다.

2. training 기간 동안에 sensor는 원래 위치에서 이동하지 않는다.

 

b. Deployment and data collection

dataset A, B는 public dataset이라서 obstructed-view를 위해서 따로 real dataset (C)를 얻음.

dataset C는 5개의 센서와 1개의 electrical appliance (lighting) 을 사용하였고, obstructed-view failure을 분석하기 위해서 일부로 몇 개의 센서는 앞을 가렸다고 함.

다양한 electrical appliance가 가능하다고는 하지만 해당 논문에서는 light만 사용했다고 함.

그리고 저렴한 X10 motion sensor를 사용함.

 

c. Electrical Study and Sensor-Appliance Behavior Model

electrical appliance 근처에 sensor를 설치 해 두면, 해당 appliance를 turn on/off 하기 전에 한 번 sensor를 firing 하게되고, turn on/off 한 뒤에 한 번 더 sensor를 firing 하게 된다. 그러나 사람마다 electrical appliance를 사용하는 방식이 다르기 때문에 많은 data를 수집하여 각기 다른 사용자들이 appliance에 접근 하는 방식을 확보하였다고 함.

 

해당 study는 세 가지 parameter를 통해서 appliance usage 측면에서 sensor firing pattern을 분석하였다.

• IA (Interval After) : the smallest interval between a turn on/off event of an appliance and a sensor firing where the sensor firing happens after the turn on/off event.

• IB (Interval Before) : same as IA but the sensor firing happens before the turn on/off event.

• Window : 5 minutes

 

이렇게 실험을 해 본 결과 IA와 IB가 light on/off 변화에 따라 frequency distribution이 변하는 것을 확인 할 수 있었다.

sensor-appliance pair가 multiple regular interval들을 가질 수도 있어서, 이에 관한 정보도 모두 확보하기 위해서 Gaussian Mixture Model (GMM) 을 사용했다.

 

d. Appliance Selection

sensor firing을 가능하게 하는 top K 개의 appliance를 골랐는데, 이때 K의 수가 커질 수록, failure detection latency와 precision of failure detection이 줄어든다고 한다. evaluation setting에서는 k=2 로 뒀다.

 

e. online failure detection

다음과같은 순서를 따라서 regular behavior of sensor firing에 대한 modeling을 진행함.

1. appliance monitoring - appliance turn on/off 의 정상 작동을 monitoring

2. sensor monitoring - appliance와 associated sensor의 firing을 monitoring (for window time)

3. probability computation - (수식이 정확히 이해는 안 되지만) sensor의 fine / failure 여부를 판단하는 probability를 계산

 

failure의 정의 : 연속된 N times 동안 pA < TAlow and pb < Tblow

fine의 정의 : 연속된 M times 동안 pA > TAhigh or pb > Tbhigh

 

f. Threshold Selection

threshold는 총 여섯가지 ( N, M, TAlow, TBlow, TAhigh, TBhigh)

하나의 static threshold가 다양한 종류의 sensor-appliance pairs에 적용되긴 어렵기 때문에, training data에서 특정한 sensor-appliance behavior를 고려하여 threshold를 계산했다고 함.

무튼 이 threshold 범위를 벗어날 경우 failure라고 선언을 하는데, reporting할 때에는 type of sensor failure를 구체화하지 않았다고 함. 

 

Evaluation

True Positive : report a failure when it has failed

False Positive : report a failure when it has not failed

True Negative : report a not-failure when it has not failed

False Negative : report a not-failure when it has failed

precision = TP / (TP + FP)

recall = TP / (TP + FN)

 

a. Performance Results

1. Fail-Stop failure : house a, b, c, 총 28개의 sensor를 통해 해당 failure를 예측했는데, 전체적으로 평균 87%의 정확도를 보였고, 그 중 특정 3개 sensor에서 결과가 매우 안 좋았다. 3개의 sensor 중 2개는 house A의 침실에 있는 sensor였는데 해당 dataset에는 침실의 그 어떤 appliance에 관한 정보도 담고 있지 않아서 이런 결과가 나온 것이고, 나머지 sensor 한 개는 house B의 침실에 있는 sensor였는데 해당 침실에는 전등이 없어서 lamp로 sensor firing을 했기 때문에 비교적 낮은 정확도를 보였다고 함. (근데 이렇게 되면, light 외의 다른 electrical appliance는 좋은 precision을 달성하기 어렵다는 것 아님?)

2. Obstructed-view failure : fail-stop failure와는 다르게 일시적인 기간동안 failure가 발생한다. 전체적으로 평균 83%의 예측 정확도를 보였다. fail-stop failure에서 잘 감지 안 된 sensor들은 여기서도 동일한 이유로 잘 감지가 되지 않았고, 추가로 하나의 sensor의 정확도가 낮았는데 그 이유가 정확히 무엇인지는 모르겠지만, obstruct 되었음에도 불구하고 약간의 빛 light turn on/off에 따라 감지 되었다고 함.

3. Moved-location failure : sensor를 원래 있던 위치에서 다른 위치로 이동 시켜서 평가하는 경우인데, 90%의 예측 정확도를 달성했다. 근데 원래 위치에서 slightly 이동시킨 경우에는 거의 변화가 없기 때문에 해당 논문이 제시하는 solution으로는 예측하기 어려웠다고 한다.

 

Discussion

• error를 detection하는 latency는 appliance selection, frequency of appliance usage, selection of threshold values등에 따라 달라지지만, 해당 실험에서는 평균 22시간이 소요되었다. 이건 emergency health care나 security service에는 적합하지 않다. (이렇게 좀 더 즉각적인 반응이 필요한 경우는 보통 더 비싼 센서를 사용한다고함)

• 거주자의 behavior에 의존하고 있기 때문에 party와 같은 예외 케이스 발생 시 이에 대한 처리 (e.g., Exception Flagging)가 필요하다.

 

---

 

Questions & 내가 생각하는 weakness

1. 이동하는 sensor들도 존재 할 텐데 - 가령 로봇 청소기의 센서- static sensor들에 제한됨

2. 아니 무슨 처음에는 거창하게 electrical appliance의 activation을 사용하는 거라고 해 놓고는 막상 보면 전등 스위치만 사용하는 거 아닌가? 그리고 evaluation에서 전등이 없는 방의 경우 lamp로만 실험 평가를 진행하는데 해당 case precision 반토막 난다....ㅎㅎ...

3. 해당 논문의 training scenario는 multi-person homes를 대상으로 하고 있는데, 일인 가구와 다인(?) 가구의 차이는 뭘까? 그리고 다인 가구 시나리오에서 sensor가 여러 사람들 중에서 특정 사람 한 명의 data만을 얻을 방법도 있을까?

Learning Point

1. sensor error detecting system이 갖춰야 할 capability

1. 한 번에 여러개의 sensor의 failure을 감지할 수 있어야함 (simultaneously detect multiple sensor error)

2. 다른 sensor들에게 의존하지 않아야함 (without redundancy ) : 다른 sensor가 fail하면 연쇄적으로 fail할 가능성이 높아지기 때문인듯

3. (essential 까지는 아니어도) 각기 다른 environment마다 training load가 크다면 scalability에 한계가 있는 system

Good papers to read

1. Sensor network data fault types (TOSN 2009) - sensor failure detection을 위한 다양한 방식과 taxonomy를 정리한 paper