Problem · 과제
설정을 조금 바꿨을 뿐인데 결과가 달라지는 문제
AI 시스템은 모델이나 프롬프트를 조금만 바꿔도 결과가 달라집니다. 바꾼 사람도 무엇이 나빠졌는지 모른 채 배포되기 쉽습니다.
변경 요청 단계에서 같은 문항으로 다시 판정하고, 결과를 개발자가 확인한 뒤에만 반영되게 하는 것이 과제였습니다.
Decisions · 판단과 버린 길
무엇을 먼저 정했고 무엇을 버렸나
문항을 먼저 고정
평가 대상 기능과 판정 기준, 정답 기준을 먼저 정해 고정했습니다. 변경 전후 점수를 같은 문항으로 비교해야 차이를 믿을 수 있기 때문입니다.
일부러 망가뜨려 시험
관문이 정말 막는지 보려고 일부러 품질을 떨어뜨린 변경과 정상 변경을 섞어 넣었습니다. 놓친 변경과 지나치게 막은 변경도 막은 변경과 같은 표에 남겼습니다.
놓친 것은 문항으로
운영 중 발견한 실패 사례는 평가 문항에 추가해 같은 오류가 다시 배포되지 않게 했습니다. 관문을 통과했다는 사실만으로 끝내지 않습니다.
Result · 결과 화면
실제 화면
Evidence · 확인한 것
무엇으로 확인했나
- 일부러 품질을 떨어뜨린 변경 10건 가운데 8건을 관문이 막았습니다.
- 원본 파일 크기 한도를 16MB 에서 64MB 로 올린 변경 1건은 관문을 통과해 놓친 것으로 기록했습니다.
- 정상 변경 5건 가운데 3건을 관문이 막아, 지나치게 엄격한 판정도 함께 드러났고 판정 기준을 보강할 대상으로 남겼습니다.
Contact · 프로젝트 문의
비슷한 프로젝트를 문의해 주십시오.
현재 상황과 일정만 적어 보내 주셔도 검토 후 맞는 범위를 제안드립니다.