Showing Posts From

회의에서

월요일 아침 회의에서 '그냥 AB테스트로 검증하죠'라고 나올 때

월요일 아침 회의에서 '그냥 AB테스트로 검증하죠'라고 나올 때

월요일 아침 회의에서 '그냥 AB테스트로 검증하죠'라고 나올 때 9시 30분, 주간 기획 회의 월요일 아침이다. 커피 한 잔 들고 회의실 들어갔다. 주간 기획 회의. PM, 개발자, 디자이너, 나. 총 8명. PM이 화면 공유했다. "이번 주 이슈입니다." 앱 메인 화면 개편안이다. 탭 구조를 바꾸자는 거다. "현재 탭이 5개인데요, 3개로 줄이면 어떨까요?" 디자이너가 목업을 띄웠다. 깔끔하긴 하다. 나는 손 들었다. "유저 관점에서 보면요." 회의실이 조용해졌다. 다들 안다. 내가 뭘 말할지. "지금 탭 5개 중에 어떤 걸 없앨 건지, 유저들이 각 탭을 어떻게 쓰는지 리서치가 필요합니다." PM이 고개 끄덕였다. "맞아요, 근데 일정이..." 그때 옆에 있던 3년 차 기획자가 말했다. "그냥 AB테스트로 검증하죠. 빠르잖아요."9년 차가 듣는 말 "AB테스트로 검증하죠." 이 말을 들은 게 몇 번째인지 모르겠다. 작년엔 월 2회. 올해는 주 1회. 데이터 중심 문화가 자리 잡으면서 생긴 현상이다. 나쁜 건 아니다. 오히려 좋다. 과거엔 "대표님 취향"이었으니까. 근데 요즘은 반대로 간다. "일단 만들고 AB테스트"가 만능 해결책처럼 됐다. 내가 물었다. "AB테스트 전에 가설이 필요한데요." "탭 3개가 5개보다 낫다는 가설 근거가 뭔가요?" 3년 차가 답했다. "일단 해보면 알 수 있잖아요." 일단 해보면 안다. 맞다. 근데 뭘 배우는지가 중요하다. AB테스트는 'How much' 를 알려준다. 탭 3개 버전이 체류시간 5% 올렸다. 좋다. 근데 'Why' 는 안 알려준다. 왜 5% 올랐는지. 어떤 유저가. 어떤 상황에서. 이게 없으면 다음 기획 때 또 막힌다.회의는 계속됐다 PM이 중재했다. "리서치 일정은 얼마나 걸릴까요?" 나는 노션 페이지 열었다. 리서치 계획서다. 이미 주말에 초안 짜놨다. "유저 인터뷰 10명, 설문 조사 300명 응답. 2주 걸립니다." "인터뷰는 현재 탭 사용 패턴, 니즈 파악이고요." "설문은 정량 데이터 보강입니다." 디자이너가 물었다. "비용은요?" "인터뷰 참가자 사례비 50만원, 설문 툴 비용 30만원. 총 80만원입니다." 회의실 분위기가 미묘해졌다. 3년 차가 다시 말했다. "2주면 개발 끝나는데요." "AB테스트는 1주면 결과 나오잖아요." 맞는 말이다. 일정상으론 AB테스트가 빠르다. 비용도 적다. 개발 리소스만 있으면 된다. 근데 나는 안다. AB테스트만 하면 6개월 뒤 또 이 회의를 한다는 걸. "탭 구조가 왜 안 맞는지 모르겠어요." 라면서. 시니어의 역할 나는 9년 차다. 이 바닥에서 리서치 없이 기획한 프로젝트를 많이 봤다. 초반엔 잘 간다. 빠르게 만들고, 빠르게 테스트. 숫자는 조금씩 개선된다. 클릭률 2% 상승, 체류시간 3% 증가. 근데 1년 지나면 막힌다. "더 이상 뭘 개선해야 할지 모르겠어요." 왜냐면 유저를 모른다. 숫자만 봤지, 사람을 안 봤다. AB테스트는 답을 준다. 근데 질문은 안 준다. 다음 기획 방향은 안 알려준다. 시니어의 역할은 여기서 나온다. "왜 이게 필요한지" 를 설명하는 것. 나는 다시 말했다. "AB테스트는 검증 도구입니다. 근데 뭘 검증할지 먼저 알아야죠." "지금 우리는 검증할 가설조차 없어요." PM이 고개 끄덕였다. "그럼 어떻게 하죠?"타협안 나는 화면 공유를 바꿨다. 지난달 다른 프로젝트 리서치 결과다. "작년에 검색 기능 개편할 때 기억나세요?" "AB테스트만 했을 때랑, 리서치 병행했을 때 비교입니다." 데이터를 보여줬다. AB테스트만: 클릭률 5% 증가. 근데 3개월 뒤 원복. 리서치 병행: 클릭률 3% 증가. 근데 6개월째 유지. "리서치로 유저가 '뭘 검색하고 싶어 하는지' 알았거든요." "그래서 검색 카테고리를 바꿨고, 지금도 잘 돌아가는 겁니다." 회의실이 조용했다. 나는 타협안을 냈다. "2주가 길면, 퀵 리서치로 1주 안에 끝낼게요." "인터뷰 5명, 설문 150명. 핵심 질문만 던지고." "그 결과로 AB테스트 버전 만들면, 검증도 빠르고 방향도 명확합니다." PM이 물었다. "그럼 일정은요?" "리서치 1주, AB테스트 설계 3일, 개발 1주, 테스트 1주. 총 4주입니다." 3년 차가 말했다. "그냥 만들면 2주인데요." PM이 손 들었다. "4주로 갑시다. 제대로 하는 게 맞아요." 회의 끝나고 회의실 나왔다. 오전 11시. 복도에서 3년 차가 따라왔다. "선배, 근데 진짜 궁금한데요." "AB테스트가 빠르고 정확한데, 왜 굳이 리서치를 해요?" 나는 멈춰 섰다. 이 질문을 몇 번 들었는지 모르겠다. "AB테스트는 '이게 더 나은가' 를 알려줘." "리서치는 '왜 더 나은가, 다음은 뭘 할까' 를 알려주지." 3년 차가 고개 갸우뚱했다. 나는 예시를 들었다. "예를 들어, 탭 3개 버전이 이겼다고 치자." "근데 왜 이겼는지 모르면, 다음 기획 때 또 A안 B안 C안 만들어서 테스트하는 거야." "리서치하면 '유저들이 탭을 이렇게 쓴다' 는 걸 아니까, 바로 정답안 만들 수 있고." 3년 차가 "아..." 했다. "AB테스트는 최종 검증이야. 시작점이 아니고." "리서치가 시작점이지." 3년 차가 끄덕였다. "그럼 리서치 도와드릴게요." 데이터 중심 문화의 명과 암 사무실로 돌아왔다. 자리에 앉아서 노션 열었다. 리서치 계획 수정. 요즘 회사는 데이터 중심 문화를 강조한다. 좋은 일이다. 과거엔 "느낌", "직관", "경험" 이었으니까. 근데 명과 암이 있다. 명: 빠른 의사결정, 객관적 검증, 실패 비용 감소. 암: 숫자만 보고 사람 안 봄, Why 없이 How much만, 단기 성과 집착. AB테스트는 명의 정점이다. 빠르게 만들고, 빠르게 테스트하고, 빠르게 개선. 근데 암도 크다. 유저를 숫자로만 본다. 클릭률, 전환율, 체류시간. 유저는 숫자가 아니다. 사람이다. 피곤한 출퇴근 중에 앱 쓰고, 점심시간에 쇼핑하고, 잠들기 전에 콘텐츠 본다. 이 맥락을 모르면, 숫자는 의미 없다. "체류시간 5% 증가" 가 좋은 건지 나쁜 건지도 모른다. 빠르게 찾아서 나가야 하는 앱인데 5% 늘었으면 오히려 나쁜 거다. 리서치는 이 맥락을 준다. 오후 2시, 유저 인터뷰 준비 오후엔 다른 프로젝트 인터뷰가 있다. 앱 결제 화면 개편 관련. 인터뷰이 3명. 인터뷰 가이드 열었다. 질문 리스트 체크. 녹취 준비. Maze 프로토타입 확인. 동료 디자이너가 물었다. "인터뷰 뭐 물어볼 거예요?" "결제 화면에서 막힌 경험 있는지." "어떤 정보가 부족했는지." "신뢰를 느낀 요소는 뭔지." 디자이너가 말했다. "그냥 결제율 데이터 보면 안 돼요?" "결제율은 '얼마나' 를 알려줘. 근데 '왜 안 했는지' 는 안 알려주지." "이탈률 30% 인 걸 알아도, 왜 이탈했는지 모르면 개선 못 해." 디자이너가 끄덕였다. 인터뷰는 3시부터다. 커피 한 잔 더 마셨다. 네 번째다. 인터뷰 중 3시. 화상 회의 시작. 인터뷰이는 32세 여성. 앱 사용 2년 차. "안녕하세요, 오늘 시간 내주셔서 감사해요." "편하게 이야기해주시면 돼요." 먼저 현재 결제 화면 보여줬다. "이 화면에서 어떤 느낌 받으셨어요?" 인터뷰이가 화면 보더니 말했다. "음... 정보가 너무 많아요. 뭘 먼저 봐야 할지 모르겠어요." "어떤 정보가 불필요하다고 느꼈어요?" "쿠폰이랑 포인트가 같이 있는데, 이게 중복 적용인지 헷갈려요." "그리고 배송 정보가 왜 여기 있는지도 모르겠고." 메모했다. "중복 적용 불명확", "배송 정보 위치 문제". "그럼 어떤 정보가 있으면 좋을까요?" "최종 가격이 크게 보이면 좋겠어요. 지금은 작아서 못 찾겠어요." "그리고 배송비 포함인지 아닌지 확실하게요." 또 메모했다. "최종 가격 강조", "배송비 명시". 이게 리서치다. GA4로는 "결제 화면 이탈률 30%" 만 나온다. 인터뷰로는 "왜 이탈했는지" 가 나온다. 오후 5시, 인터뷰 정리 인터뷰 3명 끝났다. 녹취록 정리 시작. Otter.ai 돌렸다. 3명의 공통 의견:최종 가격 찾기 어려움 쿠폰/포인트 중복 적용 불명확 결제 버튼 위치 애매함 "안전한 결제" 문구 필요이걸 기획에 반영하면 된다. 디자이너한테 슬랙 보냈다. "인터뷰 결과 공유합니다. 내일 같이 보죠." PM한테도 보냈다. "이탈 원인 3가지 나왔어요. 개선안 짜볼게요." 이게 리서치의 가치다. "이탈률 30%" 라는 숫자를 "최종 가격 찾기 어려워서" 라는 이유로 바꿨다. 이제 AB테스트 버전 만들 때, A안: 최종 가격 강조 B안: 쿠폰/포인트 안내 개선 이렇게 가설 명확하게 만들 수 있다. 퇴근 전 6시. 퇴근 준비. 오늘 회의 생각났다. "그냥 AB테스트로 검증하죠." 나는 9년 차다. 이 말을 처음 들었을 땐 화났다. "리서치 무시하나?" 싶어서. 근데 지금은 이해한다. 데이터 중심 문화에서 자란 후배들은 AB테스트가 익숙하다. 빠르고, 객관적이고, 명확하니까. 리서치는 느리고, 주관적이고, 애매해 보인다. 근데 이건 오해다. 리서치는 느린 게 아니라 깊다. 주관적인 게 아니라 맥락적이다. 애매한 게 아니라 탐색적이다. 시니어의 역할은 이걸 설명하는 거다. "리서치가 왜 필요한지" 를. 화내거나 고집부리는 게 아니라, 데이터와 리서치를 어떻게 함께 쓸지 보여주는 것. AB테스트는 검증이다. 리서치는 탐색이다. 둘 다 필요하다. 집 가는 길 판교역 지하철. 퇴근 시간이라 사람 많다. 핸드폰 켰다. UX 아티클 하나 저장해뒀다. "Why user research still matters in the age of big data" 읽기 시작했다. "Big data tells you what users do. User research tells you why they do it." 맞는 말이다. GA4는 "탭 3번 클릭" 을 알려준다. 인터뷰는 "왜 3번 클릭했는지" 를 알려준다. 둘 다 있어야 완성이다. 집 도착했다. 남편이 저녁 차려놨다. 개발자라 칼퇴했다. "오늘 어땠어?" "회의에서 또 AB테스트 얘기 나왔어." "또?" "응. 근데 타협했어. 리서치 1주, 테스트 1주로." "잘했네. 9년 차는 다르네." 근데 나는 안다. 다음 주 월요일에 또 비슷한 회의 할 거라는 걸. "그냥 빠르게 만들죠" 라는 말 들을 거라는 걸. 시니어의 일은 매번 설명하는 것이다. 지치지 않고.데이터와 리서치, 둘 다 필요하다. 근데 매번 설명해야 한다. 이게 9년 차의 일이다.