tech

테스트 데이터를 걷어내고 실제 서비스 성과 분석하기

게임 개발과 검증 과정에서 발생하는 QA 서버·테스트 앱의 이벤트가 섞이면 이용자 수, 매출, 구매 전환율 같은 핵심 KPI가 실제와 다르게 나타날 수 있다. Hive 애널리틱스의 지표 필터 관리에서 서버 ID 또는 앱 ID를 한 번 등록하면 해당 조건의 이벤트가 차트·퍼널·리텐션·대시보드에서 한꺼번에 제외된다. 여러 QA 서버나 테스트 앱을 운영하더라도 반복 설정 없이 실제 서비스 데이터를 기준으로 KPI를 분석할 수 있다.

테스트 환경 데이터가 섞인 분석 결과

게임을 개발하고 검증하는 과정에서는 QA 서버와 테스트 앱에서도 로그인, 구매, 콘텐츠 이용 등의 이벤트가 반복해서 발생한다. 이 기록이 실제 서비스 데이터와 함께 계산되면 이용자 수와 매출, 구매 전환율 같은 핵심 KPI가 달라질 수 있다.

차트마다 서버 ID나 앱 ID를 필터로 지정할 수도 있지만 분석 화면이 많아질수록 같은 조건을 반복해서 설정해야 한다. 새 차트에 조건을 빠뜨리거나 기존 대시보드를 일일이 수정하는 문제도 생길 수 있다.

일관된 기준이 필요한 데이터 분석

데이터 분석 담당자는 실제 서비스 성과를 기준으로 KPI를 산출하고 여러 조직이 활용할 수 있는 대시보드로 시각화해야 한다. 이때 QA 활동이나 테스트 결제가 포함되면 수치 변화가 이용자 반응에서 비롯된 것인지 테스트 과정에서 발생한 것인지 구분하기 어렵다.

특히 출시 전후나 업데이트 검수 기간에는 테스트 기록이 짧은 시간에 집중될 수 있다. 반복 분석의 정확성을 유지하려면 서비스와 테스트 환경을 모든 화면에서 같은 조건으로 분리할 필요가 있다.

Hive 애널리틱스의 지표 필터 관리

Hive 애널리틱스의 지표 필터 관리는 QA 서버 또는 테스트 앱 ID에서 발생한 이벤트 데이터를 지표에서 제외하는 기능이다. 프로젝트 단위로 속성을 선택해 조건을 등록하면 해당 환경의 이벤트가 차트·리텐션·퍼널에서 즉시 제외되며, 운영중인 대시보드에도 같은 기준이 적용된다.

필터 등록 시 속성으로 앱 ID 또는 서버 ID를 선택할 수 있으며, 선택한 속성의 목록에서 원하는 값을 하나 이상 등록할 수 있다. 여러 QA 서버나 테스트 앱을 운영하더라도 관련 값을 한 번에 관리해 분석 화면마다 같은 필터를 반복해서 설정하는 부담을 줄일 수 있다.

필터 목록에서는 제외 중인 프로젝트와 속성, 속성 값을 확인할 수 있다. 조건을 변경해야 할 때는 기존 항목을 삭제한 뒤 다시 등록해야 하며, 필터를 제거하면 해당 서버나 앱에서 발생한 데이터가 수치에 다시 포함될 수 있다.

QA 서버와 FGT 앱 조건이 등록된 Hive 애널리틱스 지표 필터 관리 화면
서버 ID 또는 앱 ID를 선택하고 여러 값을 등록해 테스트 환경 데이터를 지표에서 제외할 수 있다.
목록에 등록된 QA 서버와 FGT 조건은 모든 차트·리텐션·퍼널·대시보드에 일괄 적용된다.

실제 서비스 데이터 기준으로 KPI 관리해보기

지표 필터를 설정하면 테스트 환경을 분리한 상태에서 핵심 KPI를 분석하고 대시보드로 시각화할 수 있다.

QA 서버를 제외한 이용자 지표 확인

기능 검증을 위해 QA 서버에서 반복적으로 로그인하거나 콘텐츠를 이용하면 활성 사용자(AU)와 콘텐츠 참여 수가 실제보다 높게 나타날 수 있다. 해당 서버 ID를 제외하면 서비스 환경에서 활동한 이용자를 기준으로 변화 추이를 살펴볼 수 있다.

QA 서버 데이터를 제외한 이용자 지표 대시보드
QA 서버 데이터를 제외하고 실제 서비스의 이용자 수와 주요 행동 지표를 확인할 수 있다.

테스트 앱 ID를 제외한 구매 성과 분석

결제 연동이나 상품 검수를 진행하는 테스트 앱에서는 시험 구매가 반복될 수 있다. 앱 ID를 필터로 등록하면 테스트 기록을 분리하고 실제 매출과 구매 이용자 수, 구매 전환율을 중심으로 결과를 분석할 수 있다.

테스트 앱 ID 데이터를 제외한 구매 성과 대시보드
테스트 앱 ID 데이터를 제외하고 실제 매출과 구매 이용자 수, 구매 전환율을 분석할 수 있다.

이상 수치의 원인 점검

평소와 다른 수치가 나타났다면 먼저 적용 중인 지표 필터와 서버 ID, 앱 ID 값을 확인할 수 있다. 테스트 환경이 새로 추가됐거나 식별 값이 바뀌었다면 필터를 갱신해 이후 분석에서도 같은 기준을 유지할 수 있다.

Hive 애널리틱스 시작해보기

설정 > 지표 설정 > 지표 필터 관리 메뉴에서 테스트 앱 ID와 QA 서버를 지표 필터로 등록할 수 있다. 목록을 정기적으로 업데이트해 일관된 분석 기준을 유지할 수 있다.

Hive 애널리틱스는 Hive SDK를 통해 게임 데이터를 자동으로 수집하고, 지표 필터로 QA 서버와 테스트 앱 ID에서 발생한 데이터를 제외해 핵심 KPI를 바로 분석할 수 있는 게임 전문 애널리틱스 솔루션이다. 지금 Hive 애널리틱스를 통해 테스트 환경의 데이터를 분리하고, 실제 서비스 데이터를 일관된 기준으로 살펴보자.

김동완 기자

애널리틱스가 게임 운영과 의사결정에 도움이 되기를 바랍니다. 앞으로도 게임 운영에 유용하게 활용할 수 있는 다양한 기능과 활용 방법을 꾸준히 소개할 예정이니, 애널리틱스에 많은 관심 부탁드립니다.


TOP