Step 1. 작은 데이터 쿼리 직접 짜보기
새로 도입한 모델의 생성 성공률
어떤 모델이 인기 있고, 어떤 모델이 인기 없는지
Share article
안녕하세요, 지로 UX팀입니다.
저희는 유저의 경험을 최우선으로 하는 것이 목표인 만큼, 늘 유저 데이터가 궁금했어요. 이때 내부 데이터를 더 깊이 보려면 매번 데이터팀에 요청해야 했는데요. 이러한 번거로움을 줄이기 위해 Redash를 도입했지만, 데이터 조회 외에 직접 쿼리를 만드는 것에는 어려움이 있었기에 새로운 질문이 생길 때마다 데이터팀의 도움이 필요했어요.
새로운 변화는 Claude에 Redash MCP를 연결할 수 있게 되면서 찾아 왔는데요! MCP는 Claude가 외부 도구를 직접 다룰 수 있게 해주는 연결 방식이에요. 덕분에 Claude를 이용해 UX 디자이너가 직접 쿼리를 만들고 데이터를 보는 일이 가능해졌어요. 오늘은 이후로 바뀐 UX팀의 업무 방식을 살짝 공유해 볼게요.
…
🏃➡️
Step 1. 작은 데이터 쿼리 직접 짜보기
새로 도입한 모델의 생성 성공률
어떤 모델이 인기 있고, 어떤 모델이 인기 없는지
드롭샷 AI는 여러 생성형 AI 모델을 연결해서 제공하고 있어 모델별 사용 데이터를 자주 확인해야 하는데요. 전 같았으면 이런 데이터가 필요할 때마다 데이터팀에 요청을 했을 거예요. 그런데 이제 Claude한테 해당 데이터를 모두 볼 수 있는 쿼리를 생성해달라고 부탁할 수 있게 됐어요. 그렇게 모델별 사용량과 성공/실패율을 한눈에 볼 수 있는 쿼리가 금새 만들어졌답니다.
이후 신규 생성 모델이 생길 때마다 쿼리에 추가로 넣어 관리하고 있어요. 데이터팀에 ‘이번에 모델 새로 들어왔는데 쿼리 업데이트 좀…’하고 부탁드릴 일이 없어졌죠. 새로 도입한 모델의 안정성을 며칠간 추이로 빠르게 검증할 수 있었고, 사용량이 줄어든 오래된 모델은 종료 대상으로 검토할 수 있었어요. 유저들이 '기본 모델 외 다른 모델을 얼마나 시도해보는지'의 흐름도 보였답니다. 필요한 데이터를 그 순간 직접 확인할 수 있다는 게 얼마나 중요한지 다시 한 번 알게 됐어요.
🏃➡️
Step 2. 큰 데이터 쿼리 다뤄보기
신규 구독자들이 가입 후 며칠 만에 구독했는지
구독 직전 마지막에 어떤 기능을 사용했는지
어떤 플랜으로 구독했는지
작은 쿼리에서 시작하다보니 데이터를 직접 보는 일이 점점 익숙해졌고, 더 큰 목표인 구독 전환율 개선을 위한 데이터를 뜯어보기 시작했는데요. 신규 구독자들이 결제 직전에 마지막으로 한 행동을 보면, 무엇이 그들의 구독 결정에 결정적이었는지 힌트를 얻을 수 있을 것 같았습니다.
관련 데이터 중 일부는 일반 DB가 아닌 Firebase라는 별도의 데이터 저장소에 쌓이고 있어, 평소라면 직접 접근이 어려워 데이터팀에 요청드렸을 일이었어요. 다행히 백엔드팀에서 Firebase 데이터를 Redash에서 조회할 수 있도록 데이터 동기화를 해주셨어요. 덕분에 모든 데이터를 직접 뽑아보고, 직접 인사이트를 정리해볼 수 있었답니다.
데이터를 보고 파악한 몇 가지 패턴이 있는데요. 먼저 구독 전환 속도가 매우 빠르다는 점! 신규 구독자의 상당수가 가입 당일에 구독을 시작했고, 대부분 7일 이내에 결제까지 이어졌어요. 유저들이 서비스를 천천히 둘러보고 결정하는 게 아니라, 이미 결제를 위해 들어왔거나 접속 후 짧은 시간 안에 결심한다는 거예요. 다른 한 가지는 이미지 생성 건수가 영상의 6~7배에 달하는데도, 영상 생성을 통한 구독 전환 비율이 이미지보다 훨씬 높았다는 점입니다.
이를 종합해서 가설 하나를 세웠습니다. 영상이 만들어지는 순간이 이미지보다 결정적인 동기로 작용한다는 것이었어요. 가입 시 받는 무료 크레딧으로는 소모량이 큰 영상을 여러 번 생성하기 어려울 것이기 때문에, 이때 강한 동기가 생긴 유저라면 결제까지 이어졌을 것이라고 생각했죠.
이후 UX팀에서는 2가지 액션을 진행했어요. 먼저 마케팅 수신 동의를 조건으로 추가 크레딧 300개를 지급하는 정책을 도입했어요. 유저는 더 많은 영상을 만들어볼 수 있고, 서비스도 마케팅 수신 동의자를 더 확보할 수 있는 구조였죠. 그리고 이미지 생성 후 자연스럽게 영상 생성으로 이어질 수 있도록 UX를 다듬고, 영상 생성 기능을 곳곳에서 더 적극적으로 노출시켰어요.
개선 이후 마케팅 수신 동의율은 이전 대비 약 7배, 구독 전환율은 약 1.5배 올랐어요. 유저가 가장 많이 쓰는 기능과 구독을 만드는 기능이 다를 수 있다는 걸 데이터로 직접 확인한 순간이었답니다.
🏃➡️
Step 3. 데이터로 미래 설계하기
국내 vs 해외 유저의 가입 후 행동 흐름
무료 크레딧 소진율
구독 전환율과 크레딧 결제 전환율
그 다음으로는 더 큰 시야로 우리 서비스를 들여다보고 싶어졌어요. 드롭샷 AI는 글로벌 확장을 진행 중인데요. 최근 미국을 중심으로 한 첫 글로벌 마케팅 캠페인이 시작되면서 해외 유저가 늘어났고, 국내 케이스와 비교해볼 좋은 기회가 됐습니다.
해외 유저들의 데이터는 아주 흥미로웠어요. 미국 유저의 무료 크레딧 소진율이 국내 유저보다 높은데, 정작 구독으로 이어지는 비율은 국내 유저보다 낮았던 것인데요. 생성 동기가 강해 소진율이 높은 거라면, 국내 유저처럼 결제로 이어져야 자연스러운데 그렇지 않은 거죠. 그래서 여러 가설을 세워봤어요.
💡
카피, UI 등 전반적인 로컬라이징의 아쉬움
무료 체험 뒤 결제로 이어지는 동선의 낯섦 (결제 페이지 도달율 자체가 국내보다 낮음)
한국 서비스라는 점 (글로벌 시장에서는 브랜드 신뢰가 결제 결정에 영향을 줄 수 있음)
데이터를 확인하고 세운 가설은 하나씩 검증해나가고 있답니다. 글로벌 서비스로 성장하는 단계에서는 정답을 바로 알 수 없는 질문들이 계속 생겨요. 그럴 때 UX 디자이너가 직접 데이터를 들여다보고 가설을 세울 수 있다는 건, 막연한 고민에 그치지 않고 구체적인 다음 액션을 그려나갈 수 있다는 의미죠.
Claude로 뿌리를 만든 데이터를 직접 본다는 건 그만큼의 책임이 따르는 일이기도 해요. AI가 항상 정확한 쿼리를 주는 건 아니거든요. 저희는 데이터를 전문적으로 다루는 직업이 아니기에, AI가 틀린 쿼리를 줘도 바로 알아채지 못할 수 있어요. 그 결과로 잘못된 의사결정을 한다면 오히려 리스크를 높이는 것이 되겠죠.
한 번은 헤비 유저의 생성 보드 사용 패턴을 분석할 때였어요. 결과를 받아보니 유저 수에 비해 만들어진 보드 수가 예상보다 너무 많은 거예요. 의심이 들어 다시 확인을 요청했더니, 유저 매칭 단계에서 일부 유저가 중복으로 잡혀 실제 인원이 더 많았던 거였어요.
AI 덕분에 가설을 빠르게 검증할 수 있게 됐지만, 그 속도를 잘 활용하려면 받은 답을 한 번 더 살피는 자세가 필요했어요. 이런 경험들을 거치면서 저희 나름의 검증 원칙이 자리 잡게 되었습니다.
💡
AI한테 쿼리 설명시키기
숫자가 상식적인지 확인하기
기존의 검증된 쿼리 활용하여 결과 비교하기
큰 의사결정 전에는 데이터팀에 크로스체크 받기
가장 크게 달라진 건 의사결정 속도입니다. 예전엔 데이터팀에 요청하고 기다려야 했던 일이, 이제는 가설이 떠오른 그 자리에서 답을 얻을 수 있어요. 답을 받기 전에 다음 일에 떠밀려 가설이 흐려지는 일도 줄었답니다. 회의에서의 대화도 달라졌어요. 가설을 던질 때 데이터를 함께 들고 가는 분위기가 자연스러워지면서, 추측에서 검증으로 넘어가는 시간이 훨씬 짧아졌어요.
데이터팀의 일이 줄어든 게 아니라, 더 깊은 분석으로 옮겨갔다는 점도 의미 있는 변화였어요. 단순한 카운트나 반복적인 비교는 UX팀이 직접 챙기게 되면서, 데이터팀은 더 복잡한 업무에 집중할 수 있게 됐답니다.