.png&blockId=e346257d-cb5b-41b9-88df-f672dd209157&width=3600)
[걸음 기부 서비스] 리포트 기능 리뉴얼 을 먼저 보고 오면 좋아요
을 먼저 보고 오면 좋아요 Ⅰ. 데이터 분석 개요
•
프로젝트 목적
◦
리포트 화면에 대해 유저들이 느끼는 만족감이 개선되었는지 확인한다, 그리고 만족감을 통해 리텐션, 고착도, 기부행동이 증가하였는지 확인한다.
•
사용 데이터
◦
데이터 기간 : 11월 30일 ~ 23년 1월 10일 (총 42일)
◦
데이터 소스 : GA, 데이터베이스(MySQL)
•
분석 도구
◦
Python
◦
Google Spreadsheet
•
리포트 버전 정의
◦
리포트v1 : 리포트 개편 전으로 1.18.x 이전의 버전
◦
리포트v2 : 리포트 개편 후로 1.18.x 인 버전
Ⅱ. 가설 검증
가설 1 : 리포트에 대한 만족감 변화
리포트v2 유저의 리포트 화면 방문율(M=18.2%, SD=0.0407)은 리포트v1 유저의 리포트 화면 방문율(M=13.2%, SD=0.0188)보다 높은 것으로 나타남(신뢰수준 99%).
기존 버전 대비 유저들은 리포트 화면에 더 자주 방문하고 있으며, 더 오랜 시간을 들여 리포트 화면을 확인하는 것으로 나타났습니다. 이를 통해 지난 기간의 걸음 및 기부 기록과 걸음이 만들어낸 환경적 영향력(에너지 절약 효과, 나무 심기 효과)을 보여주는 것이 유저들의 만족감을 향상시킬 수 있을 것이라는 가설을 검증할 수 있었습니다.
가설 2 : 리포트 개편에 따른 신규유저 리텐션 변화
신규 유저의 Day7 리텐션은 리포트v2 배포 전(M=39.6%, SD=0.116)보다 배포 후(M=26.6%, SD=0.0502)에 높은 것으로 나타나지 않음(신뢰수준 95%)
Day7 리텐션
Day28 리텐션
신규 버전이 출시되기 1개월 전 가입한 신규 유저보다 신규 버전 출시 후 가입한 신규 유저의 리텐션이 오히려 감소한 것으로 나타났습니다. 그러나 이러한 결과가 나온 이유는, 걸음기부 플랫폼 특성 상 야외활동이 줄어드는 겨울 시기와 걸음기부 클라이언트 캠페인 자체가 감소한 것에 의한 것으로 판단되하였습니다.
가설 2번을 검증하면서 추후 기능 고도화 프로젝트를 진행할 때는 배포 전(A)·후(B) 차이 분석이 아닌, 일부 유저에게만 부분 배포하여 실험군(A)·대조군(B) 차이 분석을 진행하여야 한다는 인사이트를 얻었습니다.
가설 3 : 앱 고착도(DAU/WAU)에 대한 설명력 변화
리포트v1에서는 리포트 만족감이 앱 고착도에 미치는 영향은 통계적으로 유의하지 않은 반면에(F=1.495, p= 0.239), 리포트v2에서는 리포트 만족감이 앱 고착도에 미치는 영향이 유의한 것으로 나타남(F=5.144, p<0.05).
리포트 업데이트 전 버전 유저의 리포트 확인 행동(방문빈도, 체류시간)과 앱 고착도(DAU/WAU)는 전혀 관련이 없는 것으로 나타났습니다. 그러나 리포트 업데이트 후에 앱 고착도(DAU/WAU)의 23.8%가 리포트 확인 행동(방문빈도, 체류시간)에 의해 설명되는 것으로 나타났으며, 이러한 수치는 통계적으로 유의한 것으로 확인되었습니다(p<0.05).
가설 4 : 걸음기부 행동(기부 걸음 수, 기부 횟수)에 대한 설명력 변화
리포트v1에서는 리포트 만족감이 기부한 걸음 수에 미치는 영향은 통계적으로 유의하지 않은 반면에(F=2.431, p= 0.104), 리포트v2에서는 리포트 만족감이 기부한 걸음 수에 미치는 영향이 유의한 것으로 나타남(F=24.99, p<0.001).
리포트v1에서는 리포트 만족감이 기부 빈도에 영향은 통계적으로 유의하지 않은 반면에(F=2.550, p= 0.0934), 리포트v2에서는 리포트 만족감이 기부 빈도에 미치는 영향이 유의한 것으로 나타남(F=17.16, p<0.001).
Ⅲ. 데이터 분석 및 프로젝트 결론
•
유저들의 Voc에서 가장 빈도가 높은 ‘지난 기간의 기록을 보고싶다’라는 니즈를 충족시켜줄 수 있는 리포트 화면을 구현하였을 때 실제로 리포트 화면 방문률과 체류시간이 증가함을 볼 수 있었습니다.
•
뿐만 아니라, 기존 리포트 화면은 유저들의 서비스 이용에 아무런 영향을 주지 않았다면, 업데이트 후 통계적으로 유의한 수준에서 직접적인 영향을 주게 되었다는 점에서 성과가 있었습니다.
•
다만, 리텐션을 분석하기 위해 업데이트 전·후 테스트를 진행하였는데, 시기적인 변수(이벤트, 계절 등)에 의해 적절한 분석이 진행되지 못하였습니다. 이에 따라 추후 프로젝트에서는 전·후 비교가 아닌, 같은 시기에 서비스를 이용하는 실험군·비교군 차이 분석이 수행되어야 할 것이라는 인사이트를 얻을 수 있었습니다.