AI가 코드를 공짜로 써주는데, 왜 출시는 여전히 비싸요?

TL;DR

• 주장: 코딩 에이전트 덕에 만드는 비용은 줄었지만, 제대로 내놓는 비용까지 사라진 건 아니라는 반론이 나왔어요.
• 함정: 시제품은 금방 나와도 마지막 30%를 닫는 데 몇 달에서 몇 년이 걸린대요.
• 처방: AI 제품이라면 결과물의 품질을 재는 평가(evals)를 팀의 습관으로 삼아야 해요.

❓ Q. 누가, 무슨 말을 했나요?

프로덕트 디스커버리(고객이 진짜 원하는 걸 알아내는 일) 코치 테레사 토레스가 9월 15일 자기 사이트 Product Talk에 13분짜리 팟캐스트를 올렸어요. 공동 진행자 페트라 빌러와 함께 "AI 덕에 배포는 공짜가 됐다"는 요즘 통념을 정면으로 반박했죠. 토레스는 배포가 앞으로도 공짜가 될 일은 없다는 입장이에요.

❓ Q. 코드가 싸졌는데, 뭐가 안 공짜예요?

줄어든 건 코드를 쓰는 값이고, 서비스를 굴리는 값은 그대로예요. 공짜라고 믿고 기능을 계속 얹으면 코드가 엉키고 데이터 구조는 누더기가 되고 기능만 부풀어서, 3주쯤 지나 유지보수 위기가 온다고 해요.

📎 예시

기능이 열다섯 개쯤 쌓이면 데이터 모델이 프랑켄슈타인처럼 기워 붙인 꼴이 된다는 게 토레스의 표현이에요. "만드는 건 공짜니 이제 취향과 발견만 중요하다"는 반대편 주장도 빗나갔다고 봐요. 발견도 배포도 계속 중요하다는 거죠.

❓ Q. 시제품이 잘 돌아가면 거의 끝난 거 아닌가요?

아니라는 게 답이에요. 동작하는 시제품까지 60~70%는 이제 순식간에 채워지지만, 남은 30%(품질 점검, 오류 분석, 안정화)를 닫는 일은 몇 달에서 몇 년이 걸린다고 짚어요. 데모가 매끈해서 다 됐다고 착각하기 딱 좋은 지점이죠.

❓ Q. AI 제품이면 그 30%가 더 무겁나요?

그렇다고 해요. 같은 질문에도 답이 달라지는 확률적 소프트웨어라서 프롬프트 손질, 여러 단계를 엮는 설계 조정, 품질 평가가 끝없이 따라붙거든요. 토레스가 9월 2일 낸 가이드는 평가를 네 갈래로 나눠요. 정답 세트, 코드로 검사하는 규칙, 다른 AI를 심판으로 세우는 방식, 고객 반응이에요. 순서는 결과물부터 직접 훑어 오류 패턴을 찾고, 그다음에 측정 방법을 고르는 거예요.

📎 예시

9월 16일 글이 사례예요. 제품 관리 도구 회사 비스탈리와 만든 기능이 고객 기회를 가지 모양으로 정리한 도표를 AI가 그려주는 건데, 베타 고객이 가지가 납작하게 펼쳐진다고 불평했대요. 간단한 수정일 줄 알았는데 3주짜리 조사로 번졌고, 새 평가 4개와 실험 16가지를 거쳐 부모 항목의 오류를 78% 줄이고 중간 단계 항목을 65% 늘렸어요. 프롬프트만으론 부족했고 마지막 돌파구는 검증 규칙과 단계 조율이었다고 해요.

🙋 그래서 결론은

AI가 속도를 준 건 맞아요. 다만 그 속도는 시작선을 당겨줬을 뿐, 결승선까지의 거리를 줄여주진 않았어요. 기획 일정에 마지막 30%와 평가 작업 시간을 처음부터 넣어두는 게 PM이 할 수 있는 가장 현실적인 대비예요.

참고자료

• Delivery Isn't Free - Product Talk
• 4 New Evals and 16 Experiment Variants to Fix 1 Customer Complaint - Product Talk
• AI Evals: A Hands-On Guide for Product Teams - Product Talk