설문 응답률이 5%일 때 나는 뭘 해야 하나

27 Dec, 2025
- 데이터

설문 응답률이 5%일 때 나는 뭘 해야 하나

월요일 오전, GA4를 열었다

출근해서 커피 한 잔 들고 GA4 대시보드를 켰다. 지난주 금요일에 띄운 인앱 설문. 목표 응답 수는 500개였다. 발송 대상은 10,000명.

현재 응답 수: 482개. 응답률: 4.82%.

5%도 안 된다. 통계적 유의성은 간신히 확보. 근데 이게 우리 유저를 대표한다고 말할 수 있나.

팀장한테 슬랙이 왔다. “설문 결과 언제 나와요?” “오늘 오후에 드릴게요.”

대답은 했는데 마음이 무겁다.

5%라는 숫자의 의미

9년 차 하면서 느낀 거. 설문 응답률 5%는 사실 나쁘지 않다. 업계 평균이 3~5%니까.

근데 문제는 이 5%가 누구냐는 거다.

우리 서비스 MAU는 50만. 이번 설문 대상은 최근 30일 활성 유저 중 무작위 1만 명. 그 중 482명이 응답했다.

이 482명이 정말 50만 명을 대표할까.

응답한 사람들의 특징을 봤다.

주 5회 이상 접속: 68%
30대: 54%
앱 체류 시간 상위 30%: 71%

우리 전체 유저는.

주 5회 이상 접속: 31%
30대: 42%
체류 시간 분포: 정규분포에 가까움

완전히 다르다. 응답자들은 우리 서비스를 사랑하는 코어 유저다. 라이트 유저는 설문을 안 봤거나 무시했다.

그럼 이 결과로 뭘 해야 하나.

리서치팀 회의는 매번 같다

오전 11시, 주간 리서치 회의. 나, 리서치 담당 대리, 팀장.

팀장이 물었다. “응답률이 낮은데 어떻게 할 거예요?”

대리가 먼저 말했다. “리워드를 높이면 될 것 같아요. 지금 500원 적립인데 1000원으로.”

팀장이 고개를 저었다. “마케팅 예산 없어요. 다른 방법은?”

내가 말했다. “응답률 높이는 것보다 샘플 편향을 인정하고 해석하는 게 맞습니다.”

“무슨 뜻이죠?”

“이 결과는 코어 유저 의견입니다. 전체 유저 대표하지 않아요. 그걸 명시하고 인사이트를 제한적으로 쓰는 거죠.”

대리가 반박했다. “그럼 기획팀이 안 믿을 텐데요?”

“안 믿게 만들어야죠. 우리가 과대해석하면 잘못된 의사결정 나와요.”

팀장이 한숨 쉬었다. “그래도 뭔가 액션은 있어야 하는데.”

회의는 결론 없이 끝났다. 매번 이렇다.

리소스 대비 효율성의 딜레마

설문 하나 만드는 데 걸린 시간.

질문 설계: 3시간
내부 검토: 2시간
기술팀 연동: 4시간
테스트: 1시간

총 10시간. 내 시급으로 계산하면 약 40만원. 리워드 비용 24만원. (500원 × 482명) 기술팀 공수까지 합치면 80만원쯤.

결과는 코어 유저 482명의 의견. 이게 효율적인가.

작년에 유저 인터뷰를 10명 진행했다. 준비 5시간, 인터뷰 10시간, 분석 8시간. 총 23시간, 약 100만원.

근데 그때 나온 인사이트는 지금도 쓴다. “사용자들은 검색보다 추천을 신뢰한다.” 이 한 줄이 3개 기능 기획에 영향을 줬다.

설문 482개 응답에서 나온 건. “추천 기능 만족도 4.2점.” 이게 뭘 의미하는지 아무도 모른다.

정량과 정성. 어느 게 더 효율적인가. 답은 없다.

샘플 수 부족을 어떻게 해석할 것인가

오후 3시, 설문 결과를 정리했다.

첫 페이지에 박스를 만들었다. 빨간색 테두리.

“⚠️ 해석 시 유의사항

응답률: 4.82% (482/10,000)
응답자 특성: 헤비 유저 편향
대표성: 전체 유저 대표 불가
용도: 코어 유저 니즈 파악용”

그 아래 분석을 썼다.

코어 유저는 추천 기능에 만족한다. (4.2/5점)
근데 라이트 유저 의견은 모른다.
라이트 유저가 전체의 70%다.
그러므로 이 결과만으로 추천 기능 강화 판단 어렵다.
추가 리서치 필요: 라이트 유저 대상 인터뷰 5명.

팀장한테 보냈다. 30분 뒤 답장.

“기획팀이 이미 추천 강화하기로 했어요. 이 결과로 정당화하려는 건데.”

아. 그렇구나.

의사결정은 이미 끝나 있었다

오후 4시, 기획팀 회의에 불려갔다.

PM이 말했다. “설문 결과 봤어요. 만족도 4.2점이면 충분히 높죠?”

“네, 근데 응답자가 헤비 유저라서—”

“헤비 유저가 우리 매출의 80%예요. 걔네가 좋아하면 되는 거 아니에요?”

“그건 맞는데 라이트 유저 이탈 리스크가—”

“라이트 유저는 어차피 전환율 낮아요. 신경 안 써도 돼요.”

PM은 이미 추천 기능 강화를 결정했다. 내 설문은 그냥 근거 자료. 샘플 편향이든 뭐든 중요하지 않다.

회의 끝나고 자리로 돌아왔다. 대리가 물었다. “어떻게 됐어요?”

“그냥 하기로 했어.”

“응답률 5%인데요?”

“상관없대.”

대리가 한숨 쉬었다. 나도 쉬었다.

그래서 나는 뭘 해야 하나

퇴근 전, 노션에 회고를 썼다.

설문 482개 응답 - 2024.01.15

문제점:

응답률 5%, 헤비 유저 편향
샘플 대표성 부족 명시했으나 의사결정에 반영 안 됨
리서치가 의사결정 도구가 아닌 정당화 도구로 사용됨

배운 점:

정량 리서치의 한계를 명확히 인지
샘플 편향은 피할 수 없다. 인정하고 명시하는 게 최선
의사결정자가 듣고 싶은 결과를 원한다면 리서치 의미 없음

다음에 할 것:

설문보다 인터뷰 우선 제안
리서치 목적 사전 명확화 (의사결정 vs 검증)
응답률 낮을 거 같으면 샘플 수 늘리기

근데 솔직히 말하면. 이런 회고를 몇 번째 쓰는지 모르겠다.

9년 차가 돼도. 설문 응답률 5%는 여전히 고민이다.

정량 리서치의 현실

집에 가는 전철 안에서 UX 아티클을 읽었다. “How to improve survey response rate”

방법 10가지.

리워드 높이기
질문 줄이기
발송 타이밍 조정
개인화된 메시지
모바일 최적화
진행률 표시
A/B 테스트
리마인더 발송
감정적 소구
브랜드 신뢰 활용

다 안다. 다 해봤다.

작년에 리워드 1000원으로 올렸을 때. 응답률 7.3%까지 올랐다. 근데 마케팅팀이 예산 없다고 했다.

질문 10개에서 5개로 줄였을 때. 응답률 6.1%. 근데 인사이트가 너무 얕았다.

모바일 최적화는 이미 돼 있다. 진행률 표시도 있다. 리마인더는 스팸 취급 받는다.

결국 남는 건. 유저는 설문에 관심 없다는 사실.

우리가 궁금한 거랑. 유저가 답하고 싶은 거랑. 완전히 다르다.

샘플 편향과 의사결정 사이

집에 도착해서 맥주 한 캔 땄다. 남편이 물었다. “오늘 어땠어?”

“설문 응답률 5%.”

“그거 괜찮은 거 아니야?”

“응답한 사람들이 다 헤비 유저야.”

“그럼 헤비 유저 의견으로만 쓰면 되지.”

“기획팀은 전체 유저 의견인 것처럼 쓰고 싶어 해.”

남편은 개발자라 이해가 빠르다. “그럼 데이터 신뢰도 낮아지는 거네.”

“응.”

남편이 말했다. “근데 5% 응답률로 의사결정 하는 회사가 우리만은 아닐 거야.”

맞는 말이다.

넷플릭스도 설문한다. 아마존도 설문한다. 그들도 응답률 10% 안 된다.

근데 그들은 MAU가 억 단위다. 5%도 수백만 명이다.

우리는 MAU 50만에 5%면 2만 5천. 근데 실제 응답은 482명.

스케일이 다르다.

그럼 대안은 뭔가

노트북을 켜서 다음 주 리서치 계획을 짰다.

Option 1: 설문 포기하고 인터뷰

라이트 유저 5명, 헤비 유저 5명
깊이 있는 인사이트
리소스: 30시간, 비용 150만원
문제: 샘플 수 적어서 기획팀이 안 믿을 수도

Option 2: 행동 데이터 분석

GA4 + Amplitude 코호트 분석
추천 클릭율, 체류시간, 전환율
리소스: 15시간, 비용 0원
문제: ‘Why’는 모름

Option 3: 혼합 리서치

행동 데이터로 가설 도출
인터뷰로 ‘Why’ 파악
설문은 보조 자료로만
리소스: 40시간, 비용 100만원
문제: 시간 오래 걸림

Option 3이 제일 합리적이다. 근데 팀장이 좋아할까.

“40시간이요? 설문은 10시간인데.”

이럴 거다.

9년 차의 고민

자기 전에 UX 커뮤니티 슬랙을 봤다. 3년 차 후배가 질문을 올렸다.

“설문 응답률 3%인데 이거 써도 될까요?”

다들 답변을 달았다. “통계적으로 유의하면 돼요.” “응답률보다 샘플 수가 중요해요.” “편향 없으면 괜찮아요.”

나는 답글을 쓰다가 지웠다.

진짜 하고 싶은 말은. “3%든 30%든, 의사결정자가 듣고 싶은 답이 있으면 소용없어.”

근데 이렇게 쓰면 너무 냉소적이다.

결국 이렇게 썼다.

“응답률보다 응답자 프로필을 먼저 보세요. 편향 있으면 명시하고, 제한적으로 해석하세요. 그게 리서처의 책임이에요.”

후배가 답했다. “감사합니다. 근데 기획팀이 이미 의사결정 한 것 같은데 어떻게 하죠?”

나는 답하지 않았다. 나도 모르니까.

9년 차인데도.

결국 내가 할 수 있는 건

다음 날 출근해서. 팀장한테 제안서를 썼다.

제목: 정량 리서치 프로세스 개선안

현황:

설문 응답률 평균 5%
헤비 유저 편향 지속
리서치 결과의 제한적 활용

제안:

설문은 가설 검증용으로만 사용
의사결정용은 혼합 리서치 (데이터 + 인터뷰)
리서치 목적 사전 정의 필수화
샘플 편향 명시 가이드라인 수립

기대효과:

리서치 신뢰도 향상
잘못된 의사결정 방지
리소스 효율적 배분

팀장이 읽더니 말했다. “좋은데, 기획팀 설득이 문제네요.”

“제가 하겠습니다.”

“예산은요?”

“기존이랑 비슷해요. 배분만 다르게 하는 거라.”

팀장이 고개를 끄덕였다. “한번 해봐요.”

수요일, 기획팀 설득

PM 앞에서 10분 발표했다.

“설문 응답률 5%는 업계 평균입니다. 문제는 응답률이 아니라 샘플 편향이에요. 헤비 유저만 답하면 전체 의견이 아니죠.”

PM이 물었다. “그럼 어떻게 하자는 거예요?”

“설문은 빠른 체크용으로만 쓰고, 중요한 의사결정은 데이터 분석과 인터뷰를 병행하자는 겁니다.”

“시간 오래 걸리잖아요.”

“잘못된 결정으로 개발 리소스 낭비하는 것보다 낫습니다.”

PM이 잠시 생각하더니. “이번 추천 기능은 이미 시작했으니, 다음 건부터 해봐요.”

이긴 건지 진 건지 모르겠다. 근데 뭔가는 바뀌는 거니까.

금요일, 새로운 리서치 시작

이번엔 제대로 해보기로 했다.

리서치 목표: 라이트 유저 이탈 원인 파악

1단계: GA4 코호트 분석 (1주)

라이트 유저 정의 (월 1~2회 방문)
이탈 시점 패턴 파악
마지막 액션 분석

2단계: 설문 (1주)

라이트 유저 타겟팅
5개 질문으로 최소화
이탈 이유 객관식 + 주관식

3단계: 인터뷰 (2주)

설문 응답자 중 5명 선정
깊이 있는 대화
개선 아이디어 도출

총 4주. 전보다 길다. 근데 이번엔 확신이 있다.

응답률 5%여도 괜찮다. 편향 있어도 괜찮다. 그걸 인정하고 보완하면 되니까.

그리고 한 달 후

리서치 결과를 정리했다.

GA4 분석:

라이트 유저 중 38%가 첫 방문 후 7일 내 이탈
이탈 직전 액션: 검색 → 결과 없음 → 종료

설문 결과: (응답률 4.1%, 127명)

이탈 이유 1위: “원하는 콘텐츠가 없어서” (52%)
추천 기능 인지율: 23%

인터뷰 인사이트: (5명)

“추천이 있는 줄 몰랐어요.”
“검색하면 없어서 그냥 나가요.”
“자주 안 쓰니까 뭐가 있는지 몰라요.”

결론:

추천 강화보다 검색 개선 우선
신규 유저 온보딩 필요
추천 노출 위치 재검토

PM이 말했다. “이거 설득력 있네요. 방향 바꿔봐야겠어요.”

팀장이 미소 지었다. 나도 웃었다.

설문 응답률은 여전히 5%. 근데 이번엔 그게 문제가 아니었다.

응답률 5%는 현실이다. 피할 수 없다면 인정하고 보완하면 된다. 그게 9년 차가 배운 것이다.