[저널리뷰] - A statistical aimbot detection method for online FPS games

Journal Reveiw of Game Anomaly Detection

논문제목 : A statistical aimbot detection method for online FPS games

 

실제 opensource 게임을 이용하여 aimbot과 일반유저를 detection한 논문이다. 게임사에서 제공하는데이터, API를 이용한 데이터들과 달리 실제로 게임을 수정하여 aimbot을 사용한 것과 아닌 것을 명확하게 데이터를 얻어낸 연구이다. 때문에 label의 신뢰도가 높다. 이 연구결과로 API로 얻어낸 데이터에도 어느정도 적용이 가능하다고 생각하여 이 논문을 선정하였다.

 

Abstract

FPS의 대한 소개, Aimbot의 정의, bot의 behaviour와 human의 behaviour의 차이에 중점을 두고 연구. 이 논문에서는 2개의 새로운 feature를 제시함. 오픈소스 FPS게임을 수정하여 실험을 진행하였고 다양한 차이점을 발견함. 이 논문의 방법을 통해 bot detection TP, TN 93%를 기록함.

 

Introduction 

- FPS Game의 정의, Aimbot, 과거 Skilled Player의 억울한 계정 정지와 같이 많이 다루었던 내용은 생략하도록 하겠다.

 

Cube 라는 오픈소스 게임을 수정하여 실험에 사용하였다. 참가자는 완전 처음 게임을 하는 사람부터 5년이상의 베테랑까지 다양한 경력의 사람들로 구성되었다. Kolmogorov-Smirnov Test를 진행하여 평가를 진행했다.

 

Background and Related Work

Cheating이 이루어진 역사, Cheating 을 막기 위한 역사들을 서술한 부분이다. 그 중에서도 automatic 한 방법으로 detection을 시도한 논문들을 몇 가지 소개한다.

 

- H. Kim, S. Hong, and J. Kim. Detection of auto programs for MMORPGs. In AI 2005: Advances in Artificial Intelligence - Steven Gianvecchio, Zhenyu Wu, Mengjun Xie, and Haining Wang. Battle of botcraft: fighting bots in online games with human observational proofs. In Proceedings of the 16th ACM conference on Computer and communications security, Chicago, Illinois, USA, November 2009.

 

그리고 FPS에서 aimbot detection을 시도한 논문은 다음과 같다.

 

- S.F. Yeung, J.C.S. Lui, Jiangchuan Liu, and J. Yan. Detecting cheaters for multiplayer games: theory, design and implementation. Consumer Communications and Networking Conference, 2006

 

Software Choice and Modifications

오픈소스 게임인 Cube를 선택해서 Experiment를 진행했다. Cube를 선택한 이유는 다음과 같다.1. 쉬운 코드 수정2. 많은 무기 제공3. cross-platform 가능

 

실험은 게임에 3가지 에임봇모드를 포함시켜 수정해서 진행되었다.

 

Cube의 무기들

1. 샷건- 느린 연사속도, 근거리 좋음, 장거리 나쁨, 연사력이 느리기 때문에 딜레이 시간 사이마다 숨는 플레이가 필요함. 2. 체인건- 자동무기로 연사속도가 매우빠르지만 데미지가 약함, 적에게 에임이 트레킹되는 능력이 중요함.3. 라이플- 강력하지만 매우 느린 연사속도, 에임이 정확하게 발사시점에 가야함.4. 로켓런처- 폭발데미지가 존재, 땅 근처에 에임이 가야함. 

 

수류탄류 무기는 제공하지 않음.

 

Software Modification의 경우 3가지로 나뉘어짐, 항상 aimbot을 켠 것, random하게 켜고 끄는 것, random하게 빗맞히는 것. random한 요소가 들어 간 것은 더 고도화된 에임봇들임.

 

에임봇이 활성화되고 3킬마다 모드가 변화함. 모든 ammo가 고갈되면 weapon을 자동적으로 변경하였음 (다양한 데이터 수집을 위함) 외에도 보너스 사항들을 조정하여 연구상황을 알맞게 수정하였음.

 

Feature Selection

Aimbot을 쓰던지 안쓰던지 에임의 움직임 외에도 캐릭터의 움직임이 존재한다. 플레이어와 에임봇 성능을 측정하기 위해 두가지 feature를 사용했다.

 

1. Cursor Acceleration when aquiring Aim (AccA)

새로운 적이 포착되었을 때 에임 커서의 가속도이다. 이 feature를 선택한 이유는 에임봇은 어떤 방향이든 정확하게 적을 맞출 수 있기 때문이다. Cube 에서는 view orientation이 yaw, pitch, roll로 구현이 되어있다. yaw 는 좌우, pitch는 위,아래, roll은 view point의 높이이다. 유클리디안거리로 측정을 하며 구하는 식은 아래와 같다.

2. Time on Target (ToT)

이 feature는 얼마나 오래 플레이어의 에임이 타겟의 위에 있었는지를 나타낸다. 이 feature 또한 에임봇이 타겟이 락되어 있을 수 있기 때문에 선택되었다.

 

Experiment Setup

21명의 다양한 경력을 가진 플레이어를 모집했다. 각자의 기계를 이용했으며 네가지 세션으로 나뉘어 진행했다. 

 

Analysis

2가지의 Selected 된 feature의 Emprical Cumulative Distribution은 다음과 같다.

ToT 9.89%의 정직한 플레이어가 8프레임이 넘었다. aimbot user는 27.41% 였다. 봇 유저중 가장 높은 프레임은 122프레임이 었고 정직한 플레이어중 가장 높은 프레임은 99프레임이었다.

 

AccA 9.72% 의 정직한 플레이어만이 4.5 degree/(frame * frame) 보다 빨랐다. bot 유저는 24.77%가 그러했다.

 

Evaluation Configuration

모든 평가는 각 feature에 대해 진행 되었으며, non standard 7-fold cross validation을 이용했다. 

 

Training data partition

best와 worst한 player를 같은 bin에 넣고 싶지 않았다. 플레이어의 실력은 ELO rating이나 Microsoft TrueSkill 랭킹으로 평가가 대부분되는데 더 간단한 스코어링 시스템을 만들었다. 매라운드 마다 Top player는 6점을 2등은 5점을 받는다. 때문에 총 4라운드가 있고 최대치는 24가 된다. 모든 4세션에서 가장 높은 스코어를 얻은 플레이어는 24점이었다. 무기에 상관없이 그들은 라운드를 모두 이겼다. 5 플레이어는 8,10 점을, 7 플레이어는 17, 18점을 얻었다. 표는 아래와 같다.

Test data selection

라운드별로 데이터 segemntation을 했으므로 126개의 데이터 셋이 존재한다. 정확히는 각 플레이벼별로 6세트의 데이터가 존재하는 것 이다. 랜덤샘플 생성은 feature가 계산되고 필터된 후 진행되었다. 

 

Evaluation And Results

X 표시 -> 정직한 유저의 결과

0 표시 -> 에임봇 유저의 결과

 

수직축은 K-S Test의 정확도. 

 

Single training distribution fitting

K-S Test를 진행하였고 이 테스트를 두번 각 feature에 대해 시행하였다. 모든 시행은 5% significance level에서 진행되었다.

 

Result

TP rates of AccA

TN rates of AccA

TP rates of ToT

TN rates of ToT

훈련벡터 사이즈 : 100 ( best balance between sensitivity and specificity)

ToT의 전반적인 정확도는 93.5%

AccA는 합리적인 정확도가 도출되지 않음 (민감도가 46.83% 밖에 되지 않음)

 

Limitations and Futurework

1. 실험 참가자의 수, 21명은 연구목적으로는 충분하지만, 더 많은 데이터가 있으면 좋음.

2. Cube 라는 게임의 한계, Cube는 아케이드 스타일의 FPS게임임, FPS는 수 많은 장르가 존재한다.

3. 콘솔에 많이 존재하는 FPS의 특성상 PC환경에서의 연구만 진행되었기에 플랫폼에 대한 확장이 더욱 필요함.