IMQA의 쉽게 읽는 데이터 - 3. 통계(구간 분석)

안녕하세요, IMQA입니다.

IMQA는 지난달 신규 업데이트를 통해 통계의 구간 분석 플로우를 변경하였는데요. 여러분들은 변경된 기능을 잘 활용하고 계시나요? 이번 시간에는 ‘쉽게 읽는 데이터’ 시리즈로 통계의 구간 분석을 해석해 보았습니다. 구간 분석 데이터 선택 방법이 왜 변경되었는지, 3개의 구간에 따라 어떻게 데이터를 해석하는지 알려드리니 끝까지 읽어보시길 바랍니다. (통계 전체 기능 설명을 먼저 확인 후 해당 콘텐츠를 읽으신다면, 더 잘 이해하실 수 있습니다. 여기서 확인해 보세요!)

쉽게 읽는 데이터 시리즈

IMQA 통계는 구간 분석과 사용자 통계로 구성되어 있습니다.
구간 분석은 성능 지표별 사용자 데이터 분포와 사용자 환경을 함께 분석할 수 있는데요. 성능 분포 그래프에서 3개의 성능 구간을 선택하여 상세한 데이터를 확인할 수 있으며, 앱 이용자가 어떤 다른 성능 문제를 겪었는지 히트맵을 통해 연계 분석할 수 있습니다.
사용자 통계는 사용자의 앱 이용에 대한 데이터를 확인・분석할 수 있는데요. 앱 전반적 상태 확인과 앱 이용자에 대한 인사이트를 얻을 수 있습니다. 여기서 이번 시간에 해석할 그래프는 ‘구간 분석'입니다.

데이터를 해석하기에 앞서, 데이터 선택 방법이 어떻게 변경되었는지 알아볼까요? 기존 성능 분포 그래프에서는 원하는 데이터를 드래그해서 선택할 수 있었는데 50%, 95% 기준선을 기준으로 3개의 구간으로 나누고 각각 선택할 수 있게 변경하였습니다.

왜 변경하였을까요? 구간 선택은 직관적으로 확인이 가능하고 모든 데이터를 선택하여 정확한 원인 분석할 수 있기 때문입니다. 성능 저하 원인을 확인할 때는 해당 데이터만 확인하는 것이 아닌 주변 구간의 데이터를 함께 확인해야 정확한 원인 분석을 할 수 있습니다. 또한 수집되는 데이터 수가 많아질수록 Y축이 길어져 데이터 수가 적은 막대그래프는 상대적으로 길이가 짧아졌는데요. 이 경우 확인을 못하는 경우가 종종 발생했기 때문에 빠짐없이 데이터를 선택할 수 있는 구간 선택으로 변경하였습니다.

구간 분석 화면 구성을 살펴보겠습니다.
성능 분포 그래프는 50%, 95% 기준선으로 3개의 구간으로 구분이 됩니다. 하나의 구간을 선택하면(1), 사용자 정보를 필터링하고(2) 관련된 성능 히트맵을 생성합니다(3).

사용자 정보에서는 화면, OS 버전, 디바이스, 위치/통신사, 프로세스, GPS 등 선택한 구간의 사용자가 어떤 환경에 있었는지 확인할 수 있습니다.
히트맵은 성능 히트맵과 리소스 히트맵을 구분하여 표시합니다. 성능 히트맵에서는 화면 로딩시간(네이티브/웹뷰), 응답시간(네이티브/웹뷰), 프래그먼트 렌더링, 이벤트, 크래시의 히트맵을 확인하여 선택한 구간의 사용자가 다른 성능 문제를 겪고 있는지 분석할 수 있습니다. 리소스 히트맵은 CPU/메모리 사용량, 네트워크I/O 히트맵을 확인하여 자원 사용량으로 인한 문제는 아닌지 분석할 수 있습니다.

성능 분포 그래프를 자세히 살펴볼까요?

성능 분포 그래프 전체를 해석해 보면
50% 기준선에 데이터가 분포되어 있다면 평균적으로 앱 성능이 고른 상태,
95% 기준선에 데이터가 분포되어 있다면 평균에서 벗어난 관리가 필요한 상태입니다.

이렇듯 구간 분석은 전체 데이터 분포를 파악하거나 시간 별로 비교할 수 있으며, 특정 성능 저하 구간을 상세하게 확인할 수 있어 성능 저하 관리에 유용합니다.(자세한 내용은 기능 뜯어보기Ⅴ통계에서 확인할 수 있어요!)

이제 3개의 구간에 따라 어떻게 데이터를 해석하는지 자세히 알아보겠습니다.

1. 구간 1 (성능 최적화 구간)

구간 1은 전체 데이터 분포의 0 ~ 50% 미만에 해당되는 구간입니다. 데이터는 ‘0’에 가까울수록 좋은 성능이며, ‘0’에 가까운 데이터가 많을수록 50% 기준선도 ‘0’에 가까이 위치합니다. 이 구간은 평균 기준선 미만의 데이터로 성능 최적화 구간이라고 할 수 있는데요. 이 구간 데이터에 해당하는 사용자는 평균 성능보다 좋은 성능을 경험했다고 판단할 수 있습니다.

그럼, 구간 1을 해석해 볼까요?
일시: 5/2, 오후 10:30~11시 (공통)
구간 1은 전체 사용자 중 네이티브 화면이 뜨기까지 평균 1.2초보다 빠른 로딩 시간을 경험한 사용자의 구간입니다. 해당 구간을 클릭해 보면 선택한 구간의 사용자가 어떤 환경에 있었는지 알 수 있는 사용자 정보와 다른 성능 문제를 겪고 있는지 확인할 수 있는 히트맵을 확인할 수 있습니다.

히트맵을 보면, 네이티브 화면 로딩시간은 전부 기준치 미만이지만, 웹뷰 화면 로딩시간은 모두 기준치 이상 데이터임을 확인할 수 있는데요. 선택한 구간의 사용자가 다른 성능 저하 문제(웹뷰 화면 로딩시간)를 겪고 있음을 확인할 수 있습니다.

2. 구간 2 (성능 주의 구간)

구간 2는 전체 데이터 분포의 50% 이상 ~ 95% 미만에 해당되는 구간입니다. 평균 기준선에 분포한 데이터와 95% 기준선에 분포한 데이터가 공존하는 구간으로 성능을 주의해야 할 구간입니다. 평균 기준선에 분포한 사용자는 좋은 성능을, 95% 기준선에 분포한 사용자는 좋지 못한 성능을 경험했다고 판단할 수 있습니다.

구간 2는 전체 사용자 중 네이티브 화면이 뜨기까지 1.2초 이상 ~ 3초 미만이 걸린 사용자의 구간입니다. 해당 구간을 클릭하여 히트맵을 보죠.

히트맵을 보면, 네이티브 화면 로딩시간은 기준치 이상과 기준치 미만 데이터가 함께 분포되어 있지만, 웹뷰 화면 로딩시간은 모두 기준치 미만 데이터임을 확인할 수 있습니다. 선택한 구간의 사용자가 다른 성능 저하 문제는 겪고 있지 않음을 확인할 수 있습니다.

3. 구간 3 (성능 위험 구간)

구간 3은 전체 데이터 분포의 95% 이상에 해당되는 구간입니다. IMQA에서는 이 데이터를 P95라고도 하는데요. 성능이 가장 좋지 못한 하위 5%를 뜻합니다. 성능 저하 문제를 관리하기 위해선 성능이 좋지 못한 데이터, 즉 성능 저하 구간인 구간 3을 집중 관리해야 합니다.

위 구간은 전체 사용자 중 네이티브 화면이 뜨기까지 3초 이상 걸린 사용자의 구간으로, 느린 로딩을 경험한 사용자 구간입니다. 구간을 선택하여 히트맵을 확인해 볼까요?

히트맵을 보면 CPU 사용량이 50% 이상인 것을 확인할 수 있는데요. 자원 사용량으로 성능 저하 문제가 발생한 것은 아닌지 다각도로 원인 분석을 할 수 있습니다.

이번 시간에는 통계의 ‘구간 분석’을 예시 그래프를 활용하여 해석하는 방법에 대해 알아보았는데요. 어떠셨나요? 데이터 해석에 도움이 되셨나요?
다른 기능도 데이터 해석이 필요하시거나, 위 콘텐츠 관련하여 궁금하신 사항은 언제든 연락 부탁드립니다. IMQA는 언제나 피드백을 기다리고 있습니다 😉

인기 포스트