안녕하세요, IMQA입니다 😉
모바일 시장이 성장함에 따라 IMQA에 대한 관심은 날이 갈수록 높아지고 있는데요. (왜 IMQA에 대한 관심이 높아지는지는 DX의 필수 솔루션 IMQA, 왜 필요할까요?에서 확인해 보세요!) 모바일 앱을 담당하는 여러 직군의 사용자에게 IMQA 용어부터 활용 방법에 이르기까지 다양한 문의가 들어오고 있답니다. 그래서 이번 시간에는 사용자들의 편의를 위해 자주 묻는 질문에 대해 정리해 보았습니다.
IMQA 자주 묻는 질문 첫 번째 시간인 이번 시간에는 IMQA 2개의 대시보드인 A/B 대시보드, 성능 대시보드에 대한 질문과 답변을 소개해 드립니다.
IMQA의 대시보드는 사용 목적에 따라 A/B 대시보드와 성능 대시보드로 선택하여 모니터링할 수 있는데요. 그래서 자주 묻는 질문 또한 A/B 대시보드, 성능 대시보드로 나눠 정리하였습니다.
- A/B 대시보드: 2개의 프로젝트(OS 별, 앱 버전별)를 동시에 모니터링할 수 있습니다.
- 성능 대시보드: 1개의 프로젝트를 앱 버전별로 모니터링할 수 있습니다.
A/B 대시보드
동시 모니터링을 위한 프로젝트 설정 방법 등 A/B 대시보드에 대한 전박전인 내용은 여기서 확인할 수 있습니다 😉
Q1. 성능 하위 목록에서 문제를 발견했어요. 어디서 자세히 확인할 수 있나요?
성능 하위 목록은 A/B 프로젝트 최근 30분간 데이터 중 가장 많이 발생한 크래시, 가장 느린 응답시간 URL, 가장 많이 방문한 화면을 각각 4개씩 표시하죠. 리스트에서 문제를 확인하였다면, 해당 항목을 클릭해 보세요. 상세 정보 연계를 통해 빠르게 문제의 원인을 파악할 수 있고, 이를 통해 성능 저하가 발생해도 빠른 대처가 가능하답니다.
Q2. 성능 문제 발생률 / 평균 문제 발생률, 다른 건가요?
성능 문제 발생률이란, 전체 데이터에서 기준치 이상 데이터의 비율을 의미합니다.
크래시와 화면 로딩시간을 예로 들어 볼까요?
- 크래시: 전체 앱 실행 수가 100건이고 크래시 발생 수가 30건일 경우 크래시의 문제 발생률은 30%로 표시하게 됩니다.
- 화면 로딩시간: 전체 데이터 수가 1000건이고 기준치 300ms 넘는 데이터 수가 100건일 경우 화면 로딩시간의 문제 발생률은 10%로 표시하게 됩니다.
성능 문제 발생률과 평균 문제 발생률은 A/B 대시보드, 성능 대시보드에서 모두 확인할 수 있는데요. 성능대시보드에서는 현재 위치한 앱 버전과 다음 우선순위 앱 버전의 *5가지 성능 지표의 문제 발생률을 그래프로 표시합니다. A/B 대시보드에서는 A,B 프로젝트의 5가지 성능 지표의 문제 발생률을 그래프로 표시합니다.
*5가지 성능 지표: 크래시, 메모리, CPU, 응답시간, 화면 로딩시간
이를 통해 성능 지표 별 기준치를 넘는 데이터의 비율을 비교할 수 있죠.
그렇다면, 평균 문제 발생률이란 무엇일까요? 문제 발생률을 알고 계시다면, 더욱 쉽게 이해할 수 있는데요.
평균 문제 발생률이란, 문제 발생률의 평균을 산출한 값을 의미합니다.
각 성능 지표별 문제 발생률의 평균값을 의미하므로, 앱 전반 성능을 파악하는데 유용하죠.
Q3. 안드로이드에서는 해가 돌고, iOS에서는 번개가 쳐요! 무슨 기준인가요?
성능 날씨의 경우 위에서 언급한 평균 문제 발생률과 연관이 있는데요. 최근 30분 동안의 평균 문제 발생률에 따라 5단계의 날씨 아이콘으로 표시합니다.
그림에서와같이 평균 문제 발생률 0%~100%를 기준으로, 5단계로 나누고 날씨 아이콘으로 표현하였습니다. 그래서, 안드로이드에서는 평균 문제 발생률이 8%이기 때문에 해가 뜬것이고, iOS에서는 평균 문제 발생률이 95%이기 때문에 번개가 치게 된 거죠. 이렇듯 날씨 아이콘은 현재 상황에 대해 직관적으로 표현되어 현황에 대해 빠르게 인지할 수 있습니다.
Q4. 최근 5분 메모리에서 둘 중 하나는 항상 100%인데.. 성능이 안 좋은 건가요?
최근 5분 성능 지표 중 자원 사용량인 CPU/메모리는 성능 수치를 막대그래프로 표현하는 방식이 다릅니다.
위와 같은 방식으로 표현되다 보니 메모리의 막대그래프 중 하나는 항상 100%로 채워지게 되는데요. 그렇다면, 이렇게 표현하는 이유는 무엇일까요? CPU의 경우 최대 사용량이 100%이지만, 메모리의 경우 최대 사용량을 정할 수 없기 때문에 수치가 높은 프로젝트의 막대를 100%로, 나머지를 상대 비율로 표기하는 것입니다.
막대그래프의 수치가 100%로 표시되어 있어도 성능이 좋지 않은 것은 아니니 그래프 아래의 CPU 사용량을 꼭 확인해 주세요!
성능 대시보드
Q5. 하위 5%는 왜 중요하게 봐야 할까요?
여기서 성능이 좋지 못하다는 건 화면 로딩시간이나 응답시간이 느린 순, CPU와 메모리 사용량이 많은 순을 의미합니다. 예를들어, 화면 로딩시간 데이터가 1000건이 있다면 로딩시간이 느린 순으로 정렬했을 때 하위 5% 즉, 50건의 데이터의 평균값이 하위 5%가 되는 것입니다.
위 그래프에서 화면 로딩시간과 응답시간의 11:23~11:24구간을 살펴보죠. 화면 로딩시간의 경우 하위 5%와 평균의 차이가 적음을 알 수 있죠. 이렇게 하위 5%와 전체 평균의 차이가 적으면 대부분의 사용자들이 경험하는 속도는 비슷하다고 판단할 수 있습니다. 반면 응답시간의 경우 하위 5%와 평균의 차이가 크다는 것을 확인할 수 있죠? 이렇게 하위 5%와 전체 평균의 차이가 크면 일부 사용자들이 평균보다 긴 응답시간을 경험했다고 판단할 수 있습니다.
Q6. 화면별 성능 현황의 화면 카드가 많아 데이터 확인이 어려워요!
화면 별 성능 현황에 표시된 화면 카드는 요약 정보를 통해 한눈에 확인할 수 있는데요. 오른쪽 상단의 요약 정보를 클릭하면, 화면 별 각 성능의 문제 발생률과 위험도를 색상으로 확인할 수 있습니다.
화면별 성능 현황은 방문율이 높은 화면 순으로 정렬이 되는데요. 만약, 관리 중요도가 낮고 보기를 원하지 않는 화면이 있다면 어떻게 해야 할까요? 관리 > 화면 관리에서 체크박스를 해제하면 화면별 성능 현황에서 해당 화면을 숨길 수 있습니다. 또한, 화면 관리에서는 화면 이름을 변경할 수 있으니, 구분하기 쉬운 이름으로 변경해 보세요!
Q7. 최근 발생 알림은 대시보드에서만 확인할 수 있나요?
최근 발생 알림은 대시보드뿐만 아니라 이메일로도 받으실 수 있는데요. 알림 > 알림 정책 관리에서, 채널의 이메일을 선택하신 후 저장하면 됩니다. 현재는 메일 서비스만 제공하지만, 추후 알림 방식은 업데이트될 예정입니다.
지금까지 IMQA 자주 묻는 질문 대시보드 편을 살펴보았는데요. 7개의 질문과 답변 내용 잘 보셨나요? 다른 질문도 궁금하시다면 홈페이지의 자주 묻는 질문에서 IMQA에 관련된 질문과 답변을 보실 수 있습니다!
대시보드의 데이터를 제대로 읽기 위해선 그래프를 잘 이해하고 해석하는 것이 중요한데요. 아래 도움이 될 만한 콘텐츠를 함께 공유드리오니, 참고해 보시기 바랍니다
그 외에 더 궁금한 점이 있으시다면 언제든 연락 부탁드립니다.
