소규모 팀이 처음부터 풀 MLOps 플랫폼을 세우면 도입보다 도구 운영에 시간이 더 듭니다. 필요한 최소 세트는 세 가지입니다. 실험 기록, 모델(또는 프롬프트) 버전, 롤백 가능한 배포. 이 세 가지가 없으면 “어제 무엇이 바뀌었는지”를 추적할 수 없어 장애 대응이 추측 게임이 됩니다.
실험 기록은 거창할 필요 없습니다. 날짜, 가설, 데이터/프롬프트 스냅샷, 지표, 결론을 이슈 티켓이나 간단한 테이블에 남겨도 충분합니다. 중요한 것은 재현에 필요한 입력물을 같이 보관하는 일입니다. 지표만 있고 당시 프롬프트가 없으면 다음 사람이 같은 실험을 반복합니다.
버전 관리는 가중치 파일만이 아닙니다. 생성 AI 제품에서는 시스템 프롬프트, 툴 정의, RAG 인덱스 버전, 가드레일 규칙이 사실상 “모델”입니다. 이들을 한 묶음으로 태그하세요. 예: svc-assistant@2026-07-28. 배포 노트에 무엇이 포함됐는지 한 줄로 적습니다.
배포는 가능하면 블루/그린 또는 카나리처럼 한 번에 전원을 바꾸지 않는 형태가 좋습니다. 트래픽 5~10%만 새 버전으로 보내고, 오류율·지연·사용자 피드백을 본 뒤 확대하세요. 작은 팀일수록 “전부 배포 후 문제 발견”의 비용이 큽니다.
관측은 요청 ID, 모델/프롬프트 버전, 검색된 문서 ID, 토큰·비용, 사용자 피드백(도움이 됨/안 됨) 정도만 남겨도 실무에 충분합니다. 개인정보가 로그에 남지 않도록 마스킹 규칙을 먼저 정하세요. 로그가 풍부해도 규제 위반이면 쓸 수 없습니다.
정리하면, 플랫폼을 사는 것보다 “변경을 되돌릴 수 있는가”가 우선입니다. 실험 기록·버전 태그·롤백 배포·최소 관측 네 칸을 채운 뒤에야 피처 스토어나 자동 재학습 같은 상위 단계를 검토하세요.
