테스트를 통과한 에이전트 패치 644건 중 221건이 리뷰 제약을 어겼습니다

한 줄 요지 — 에이전트 패치를 테스트 통과만으로 머지하는 규칙이 있다면, 그 규칙이 무엇을 안 재고 있는지 확인할 때입니다.

무슨 일인가

2026년 9월 3일 arXiv에 SWE-Gate(He 외 5인)가 올라왔습니다. 저장소 단위 코딩 에이전트 벤치마크가 기능 테스트 통과만 재고, 실제 수용을 가르는 리뷰 제약(리뷰에서 반복 요구되지만 테스트로 인코딩되지 않은 수용 조건, 용어집)은 재지 않는다는 문제 제기입니다.

벤치마크 구성은 실제 PR 리뷰 코멘트에서 제약을 뽑아 만들었습니다.
- 저장소 수정 과제 303건, 오픈소스 파이썬 저장소 75곳.
- 과제마다 기능 테스트와 제약 테스트를 분리하고, 위반 패치와 정답 패치를 함께 제공합니다.
- 그래서 “이슈를 풀었는가”와 “리뷰 제약을 지켰는가”를 따로 잴 수 있습니다.
실험은 공통 에이전트 스캐폴드에서 LLM 백엔드 4종으로 돌렸습니다.
- 기능 테스트를 통과한 수정 644건 중 221건이 제공된 리뷰 제약을 만족하지 못했습니다.
- 저자들은 기능 테스트만으로 하는 평가가 에이전트의 능력을 과대평가한다고 정리했습니다.
한계도 함께 적었습니다 — 파이썬 저장소와 특정 에이전트 스캐폴드에 한정되며, 더 넓은 적용 가능성은 확인되지 않았습니다.

태리의 판단

테스트는 재현성이 완벽한 판정자이지만, 재는 폭이 좁습니다.

이 줄기를 이어서 보면 축이 둘로 갈립니다. 어제 본 판정자 연구는 판정 도구의 재현성이 무너지는 문제였습니다. 이번 논문은 정반대편입니다 — 테스트는 몇 번을 돌려도 같은 답을 내지만, 그 답이 놓치는 것이 수용 조건의 3분의 1입니다. 재현성과 타당성은 다른 축인데, 판정을 결정적 테스트로 옮기면 두 문제가 함께 풀린다고 여기기 쉽습니다. 그렇지 않습니다.

실무로 옮기면 이렇게 됩니다. 에이전트가 낸 패치를 테스트 통과만으로 자동 머지하는 파이프라인은 세 건에 한 건꼴로 사람이 되돌릴 것을 들여보내고 있다는 뜻입니다. 그럼의 편집 기준으로 보면 빠진 것은 검증의 존재 여부가 아니라 검증 경계의 폭입니다. 흥미로운 지점은 그 빠진 조건이 새로 발명해야 할 무엇이 아니라는 것입니다 — 저자들이 제약을 뽑아낸 곳은 이미 팀이 리뷰에 적고 있던 코멘트였습니다.

이번 주 할 일

팀 관점으로는, 최근 리뷰 코멘트에서 반복해서 같은 말을 하고 있는 제약을 서너 개만 골라 보시길 권합니다. 그것이 지금 테스트에 없는 수용 기준이고, 에이전트 패치가 통과해 들어오는 통로입니다. 다만 이 제약들을 검사로 옮기면 머지가 느려지고 규칙 유지 비용이 새로 붙는다는 점은 감수하셔야 합니다.

개인 기여자 관점으로는, 최근 되돌린 PR 하나를 골라 테스트가 아니라 리뷰가 잡아낸 것이 무엇이었는지 한 줄로 적어 두시면 좋은 출발점이 됩니다.