AI 에이전트 개발 범위와 일정, 기능 수 말고 검증 횟수로 잡아도 될까요?

TL;DR

• 무슨 일: 에이전트 개발 도구 회사 글과 평가 전문가의 안내서를 보면, 에이전트 일정은 기능 목록보다 결과를 확인하는 횟수에 더 크게 좌우돼요.
• 범위: 처음엔 업무 한 가지로 시작하고, 연동하는 도구가 늘수록 확인할 경우도 함께 늘어요.
• 나눔: PM은 어디까지 맡길지 순서를, 개발팀은 확인을 얼마나 자주 돌릴 수 있는지를 정해 일정에 반영해요.

❓ Q. 처음 범위는 어디까지 잡아야 하나요?

에이전트 개발·평가 도구를 만드는 애그노(Agno)의 글(9월 30일)에는 도구가 단 두 개인 지원 에이전트가 나와요. 환불 승인을 요청하는 도구와 환불을 실행하는 도구예요. 프롬프트에 한 줄을 더했더니 에이전트가 승인 단계를 건너뛰기 시작했어요. 그래서 애그노는 전부 확인하려 하지 말고, 망가졌을 때 피해가 큰 행동 5~10개부터 보라고 해요. 평가 분야에서 자주 인용되는 해멀 후세인의 안내서(9월 18일 공개)도 처음엔 도메인 전문가 한 명이 결과를 손으로 훑는 데서 시작하라고 해요.

❓ Q. 연동할 도구가 늘면 범위는 어떻게 커지나요?

애그노는 에이전트가 퇴보하는 지점이 코드가 아니라 어떤 도구를 부를지 고르는 판단이라고 해요. 도구가 늘면 고를 선택지도 늘어서 확인할 경우가 같이 늘어난다고 읽혀요. 이건 제 해석이에요. 가상의 예로 환불 도구 둘에 주문 조회와 배송 조회를 더하면, 환불 전에 조회부터 하는지도 새로 확인해야 해요. 웹케시그룹(기업 재무관리 소프트웨어를 만드는 회사)이 10월 5일 파이낸셜뉴스에서 밝힌 은행용 에이전트도 잔액과 거래내역 조회를 먼저 만들고, 이체와 각종 신청은 이후 협의 중이라고 해요.

❓ Q. 일정은 무엇을 기준으로 잡나요?

해멀 후세인은 처음 30건은 직접 메모하고 대략 100건을 볼 때까지 이어가라고 해요. 이후에는 2~4주 주기로 새 기록 100건 이상을 보는 식이에요. 성숙한 프로젝트에서는 개발 시간의 60~80%가 오류 분석과 평가에 들어간다고도 해요. 애그노는 간단한 점검은 코드를 합칠 때마다, 전체 점검은 밤마다 돌리라고 해요. 실제 모델을 호출해 돈과 시간이 들고, 느린 점검은 건너뛰기 쉽다는 이유예요. 그러니 점검을 얼마나 자주 돌릴 수 있는지는 개발팀이, 한 라운드에서 업무를 어디까지 넓힐지는 PM이 정하면 일정이 현실적이에요.

⚠️ 주의

애그노는 평가 도구를 만드는 회사라 점검의 중요성을 강조할 수 있어요. 60~80%는 성숙한 프로젝트 기준이라 초기 일정에 그대로 옮기기는 어려워요. 웹케시 기사도 검증 횟수까지 설명하진 않아서, 일정 사례가 아니라 범위를 넓히는 순서의 예로만 읽으세요.

🙋 그래서 결론은

일정표의 칸 이름을 바꿔 보세요. 기능 완료 대신 검증 라운드 몇 회차로 쓰고, 라운드마다 새로 맡길 업무와 연동 도구를 한두 개씩만 더하는 거예요. 돈이나 권한이 오가는 처리 기능은 조회 기능이 안정된 뒤 라운드에 넣으면 범위가 한꺼번에 커지지 않아요.

참고자료

• Agent evals are the new unit tests (Agno, 2026-09-30) — 도구 둘짜리 에이전트 사례와 점검 실행 주기 안내
• AI Evals: Everything You Need to Know (Hamel Husain, 2026-09-18) — 대화 기록 검토 분량과 평가에 드는 개발 시간 안내
• "반복업무 시간 최대 90% 줄여… 검증된 AX, 고객사로 확장" [AI월드 2026] (파이낸셜뉴스, 2026-10-05) — 은행용 에이전트의 조회 먼저, 처리 이후 협의 순서

---

💬 AI 얘기하다 점심 메뉴 얘기로 새도 괜찮은 편한 오픈채팅방이에요, 눈팅만 하셔도 좋아요 → 오픈채팅 참여하기