지표 정의 문제 / 정답은 없다!

답:
잘 동작한다?라는 건 무엇일까?
1. 눌렀을 때, 창이 잘 넘어간다?
2. 사람들이 많이 누른다?
3. 상품들이 사용자에 맞게 추천된다?
4. 클릭~결제까지 전환율이 높다?
위 질문에 대한 지표를 확인하려면
1. 오류 로그를 확인해본다. -> 오류 로그가 적거나 없다면, 잘 동작하는거다.
2. 클릭율(CTR)을 확인해본다. -> 클릭율이 높다 : 잘 동작한다. / 클릭율이 낮다 : 높일 수 있는 방안은?
3. 사용자 별 구매 데이터를 확인해서 제일 많이 구매한 카테고리가 뜨는지 확인한다.
4. CTR과 전환율(CVR)의 비율이 어떤지 확인한다 -> 정해놓은 기준보다 높다?: 잘 동작한다. / 낮다?: CTR이 낮은건가? CVR이 낮은건가? 어떻게 높이지?
ㅡㅡㅡㅡㅡㅡㅡ
#피드백
문제 정의
- 각 영역이 어떻게 동작하는가? 잘 동작하냐?
- 클릭을 하면 동작한다라고 정의할 수 있음!
지표 정의
- 왜 이 지표를 선택했는지 이유까지 같이 적어야 논리적으로 괜찮음
- 배너 영역의 클릭율(CTR) = 배너 영역 클릭 수 / 홈페이지 VIEW 수
-분자와 분모를 같이 써줘야 명확함.
-CVR, CTR
-CVR을 보면 궁극적으로 사람들이 얼마나 이걸 사용해서 매출이 생겼는지 알 수 있음
-CVR이 퍼널 상 뒤에 있기 때문에, CTR을 조금 더 중심적으로 판단하겠다!
-CTR을 메인 지표, CVR을 보조 지표
어떻게 움직이면 좋을까?
- CTR 올라갈 때, CVR 올라갈 때
- CTR 내려갈 때, CVR 올라갈 때
기존에 지표를 확인해 볼 수있다면, 과거에 평균적으로 어떻게 움직였는지 데이터를 확인!
과거의 패턴 대비 변동 비율이 3~5% 이상일 때 유의미하다고 볼 수 있을 것 같다.
과거에 신규 기능이 런칭되었을 때, 최소 5% 이상이 매번 진행되었다. 그러므로 최소 5%이상으로 설정하고, 실제 데이터가 나오면 그걸 보고 추가적으로 판단하면서 기준을 수정할 것이다.

답:
1. 기간을 얼마로 잡았는가?
- 모든 시간적 기준(시간,일,주,월,년 등등)에서 클릭율이 제일 높았던가?
2. 어떤 이벤트 때문에 그런건 아닌가?
- 햄버거 관련 브랜드 쿠폰을 발행했을 때 나타난 현상은 아닌가?
- 클릭율이 제일 높았던 날에 햄버거 관련 바이럴 혹은 이벤트가 있었던 것은 아닌가?
3. 카테고리 위치가 클릭율에 영향을 미치는가?
- AB테스트를 통해, 카테고리 위치를 바꿨을 때 클릭율 1등이 유지되는가?
- 다른 위치의 카테고리 클릭율 데이터를 봤을 때, 다른 위치에서도 1등한 적이 있는데??
4. 잘못 누른건 아닐까?
- 단순히 클릭율만 높다면, 배너 영역이나 다른 카테고리를 누르려다 잘못 누른건 아닐까?
- 누른 뒤에 머무른 시간이 길었나? 구매까지 전환이 되었나?
ㅡㅡㅡㅡㅡㅡ
#피드백
문제 상황 파악
- 햄버거 클릭율이 진짜 높아? -> 데이터 확인
- 지금 잠깐 높았는지? 프로모션이 있었는지?
- 어떤 이슈 때문에 높았다 => 당연히 기각
- 반복되지 않고 일시적인 현상
- 이 페이지의 순서를 수정하는 기준을 명확히 해야 한다. 이 때 데이터 기반으로 안해도 되니까, 기준부터 만들어라
- 데이터 기반으로 하자고 하면 맨날 데이터 확인하고 바뀌면 요청 => 개발 리소스에 오히려 더 영향을 미친다
- 전사적인 인력들의 리소스를 효율적으로 쓰게 하는가?
- AB Test -> 승리하면 바꾼다

답:
검색 흐름
: 앱을 킨다 -> 검색 탭을 누른다 -> 메뉴 혹은 매장을 검색을 한다 -> 내가 생각했던 메뉴/매장이 나온다.
검색 기능에 만족했다?
1. 검색한 결과가 내가 원하는 결과가 나왔다.
2. 최근 검색어가 있어서 다시 입력을 안해도 되니 편하다.
3. 뭘 먹을지 몰라서 검색을 해보려 했는데, 실시간 검색어에 인기 검색어들이 나와서 누르기만 하면 된다.
그렇다면 어떤 지표를 봐야할까?
1. 검색~결제 까지 전환율을 확인한다.(실제 만족했다면, 구매까지 이어졌을 가능성이 높으니까)
2. 최근 검색어의 클릭율과 구매전환율의 상관관계를 확인해본다. 높다면 만족!
3. 실시간 검색어 클릭율과 구매전환율의 상관관계를 확인해본다. 높다면 만족!
ㅡㅡㅡㅡㅡㅡㅡㅡ
#피드백
문제 정의
검색 기능에 만족했는지?
만족의 정의?
- 만족했으면 결제를 했을 수 있음
- 검색에 만족했다고 결제까지일까?
- 구체적으로 한번 더 생각해보기 : 검색에 만족했으면 그 다음에 메뉴 페이지까지 갈 것이다. 메뉴를 클릭할 것이다.
지표 정의
- 메뉴 페이지 조회 수(VIEW) 또는 메뉴 클릭 수
지표에 따른 Action Item 제시하면 더 좋음. 어려운 일이긴 해서 여기에 추가하진 않았음