안녕하세요, IMQA입니다 😀
이번 시간에는 지난주에 이어 쉽게 읽는 데이터 시리즈를 준비했는데요.
지난주 발행된 쉽게 읽는 데이터 Ⅰ 화면별 성능 현황(버블 차트)은 읽어보셨나요?
해당 콘텐츠가 발행된 이후 데이터 해석이 쉬워졌다는 피드백을 굉장히 많이 받았답니다.
이번 시간에 해석할 데이터는 역시 새롭게 추가된 A/B 대시보드에 포함되어 있는 '최근 5분 성능 지표'인데요. '최근 5분 성능 지표'에 사용된 히스토그램에 대해 간략히 알아보고, 이를 통해 데이터를 어떻게 해석하는지 여러 가지 예시를 통해 정리해 보았습니다.
히스토그램이란?
히스토그램은 도수분포표를 시각적으로 표현한 그래프인데요.
자료에 대한 히스토리를 그래프로 나타낸 것이라는 뜻을 담고 있습니다.
여기서 '도수분포표'는 변량을 일정한 크기를 갖는 계급으로 나누고 계급에 속한 도수를 나타낸 표로, 도수분포표에 들어있는 정보는 '계급'과 '도수'입니다.
히스토그램은 계급을 가로축에, 도수를 세로축에 나타낸 뒤, 집계된 데이터를 여러 구간을 정해 계급을 만들고, 각 계급에 속하는 데이터 수로 도수를 표시하는데요.
아래 예시 화면처럼 데이터가 무수히 많은 척도로 측정되는 연속형 데이터일 때, 히스토그램은 주로 사용됩니다.
히스토그램에 대해 알아보았다면, IMQA 화면을 함께 볼까요?
'최근 5분 성능 지표'는 A/B 대시보드에서 확인할 수 있으며 A, B프로젝트의 최근 5분 동안의 화면 로딩시간, 응답시간, 자원 사용량(CPU/메모리)의 성능 변동을 실시간으로 확인할 수 있습니다. (1분마다 갱신)
이를 통해 5분 동안의 성능 분포 상태를 한눈에 파악할 수 있고, A,B데이터의 성능을 비교하기에 유용한데요.
이것은 '최근 5분 화면 로딩시간 / 응답시간 분포'와 자원 사용량인 '최근 5분 CPU / 메모리'로 나누어 설명할 수 있습니다.
먼저, '최근 5분 화면 로딩시간 / 응답시간 분포'를 보도록 하죠.
A/B 프로젝트의 최근 5분 동안의 화면 로딩시간, 응답시간의 전체 평균을 알 수 있습니다. (50% 평균 기준선을 통해서도 확인 가능)
성능 분포 그래프의
X축: 성능 지표(화면 로딩시간, 응답시간)를 각각 계급 0~5,000ms / 0~10,000ms 나타내며, 막대가 우측에 위치할수록 성능이 저하된다는 것을 파악할 수 있습니다. 즉, 화면 로딩시간 / 응답시간이 길어지는 것을 의미하죠.
Y축: 수집된 데이터의 수를 의미합니다.
막대에 마우스를 오버하면 툴팁에서 성능 구간과 수집된 데이터를 수를 확인할 수 있습니다.
'최근 5분 CPU / 메모리'를 보겠습니다.
A/B 프로젝트의 최근 5분 CPU, 메모리 사용량의 전체 평균을 알 수 있고, A, B프로젝트 각각의 평균도 확인할 수 있습니다.
막대그래프에서는 눈에 띄는 데이터의 연계 분석이 가능하여 막대를 클릭하면 ‘CPU 상세 분석’ ‘메모리 상세 분석’을 통해 어떤 환경의 사용자가, 어떤 함수를 호출했었는지 등 좀 더 상세한 정보를 빠르게 확인할 수 있답니다.
아래 예시 이미지를 통해 그래프의 위치에 따라 어떻게 해석되는지 좀 더 자세히 알아보겠습니다.
1. 50% 기준치에 분포한 경우(가장 이상적인 현상)
위 그래프를 보시면, 50% 기준선에 데이터가 고르게 분포되어 있는 것을 확인할 수 있는데요.
이 경우 앱을 사용하는 대부분의 사용자가 평균적인 앱 성능을 경험했다고 판단할 수 있습니다.
위 그래프를 해석해 보면, 앱을 사용하는 사용자들의 화면 로딩시간이 0~1.8초가 걸렸고, 이것은 평균적으로 1초 내로 화면이 뜬다는 것을 확인할 수 있습니다. 즉, 현재 앱 사용이 원활하다는 것을 의미하죠.
그렇다면, 아래 그래프는 어떻게 해석할 수 있을까요?
2. 95% 기준치에 분포한 경우 (관리가 필요한 현상)
위 그래프는 50% 기준선에 데이터가 존재하지만, 막대 길이로 비교했을 때 95% 기준선의 데이터 수보다 적죠.
또, 95% 기준선 이하로 데이터가 많이 밀집되어 있는 것을 확인할 수 있는데요. 관리가 필요한 성능이 좋지 못한 하위 5%의 데이터가 많이 있다는 것을 의미합니다.
(하위 5%의 데이터가 많으니 50% 기준선도 95% 기준선과 가까워진 것을 확인할 수 있죠?)
위 그래프를 해석해 보면, 앱을 사용하는 사용자들의 화면 로딩시간이 2.7~5초까지 걸렸고, 이것은 평균적으로 화면이 뜨는 데까지 3초가 걸렸다는 것을 알 수 있습니다. 즉, 앱 사용이 원활하지 못함을 의미하죠.
3. 데이터가 넓게 분산되어 있는 경우(앱 성능이 고르지 못한 현상)
위 그래프는 위에 예시로 든 2개의 그래프와 다르게 데이터가 넓게 분산되어 있는 것을 확인하실 수 있는데요.
앱을 사용하는 사용자들이 1초, 3초, 5초 등 제각각 다른 로딩시간을 겪었음을 알 수 있습니다
위 그래프를 해석해 보면, 앱을 사용하는 사용자들은 0~5초까지 다양한 화면 로딩시간을 경험했으며, 이것은 어떤 사용자는 화면이 빠르게 떠서 불편함 없이 앱을 원활히 사용했고, 어떤 사용자는 화면이 늦게 떠서 불편함을 겪었음을 알 수 있습니다.
즉, 앱이 다양한 사용자 환경에 최적화되어 있지 못함을 의미합니다.
이번 시간에는 A/B 대시보드의 '최근 5분 성능 지표'를 예시 그래프를 활용하여 해석하는 방법에 대해 알아보았는데요. 데이터를 해석하시는 데 도움이 되셨나요?
앞으로도 IMQA를 사용하시는 모든 분들이 데이터를 쉽고 빠르게 해석할 수 있도록 이 시리즈를 통해 더욱더 친절히 설명해 드리겠습니다.
