AI 모델이 작성한 코드가 눈으로 보기에는 멀쩡해 보여도 실제 시스템에 올리는 순간 오류를 뱉어내는 일은 현장에서 비일비재하다. 이미 폐기된 구버전 SDK를 불러오거나 권장하지 않는 인증 방식을 슬그머니 집어넣는 식이다. 개발자가 AI에 구현 패턴이나 라이브러리 선택을 통째로 넘기는 흐름이 가속화되는 상황에서, 마이크로소프트 개발자 관계 조직이 AI 코딩 에이전트의 실제 성능을 다각도로 검증하고 오작동 원인을 가려내는 지침서 ‘AX 프랙티셔너 플레이북(AX Practitioner Playbook)’을 11일 공개했다.
이번 플레이북은 수백 건에 달하는 실제 에이전트 작업 세션을 직접 추적하고 분석한 데이터를 바탕으로 작성됐다. 단순히 테스트 케이스 몇 개를 던져보고 통과 여부만 확인하던 기존의 단편적인 평가 방식에서 벗어났다. 평가 환경을 구성하는 초기 단계부터 에이전트가 흘린 수행 궤적을 쫓아가 오류 지점을 찾아내고, 최종 수정본을 시스템에 다시 반영하기까지의 전체 순환 과정을 하나의 체계적인 방법론으로 정리한 점이 핵심이다.
현장에서 에이전트를 도입할 때 가장 흔하게犯하는 실수가 바로 생성된 코드의 표면적인 완성도만 보고 판단하는 점이다. AI가 그럴듯하게 써 내려간 코드라도 막상 컴파일을 돌려보면 터지는 경우가 수두룩하다. 시스템은 코드가 실제로 빌드되고 실행되는지 확인하는 '실행 게이트(Gate)'와 출력 결과가 본래 의도에 부합하는지 따지는 의미 평가 기준을 동시에 적용하도록 권장한다. 겉보기엔 완벽해 보이지만 정작 구동조차 되지 않는 코드가 높은 점수를 받는 왜곡 현상을 철저히 솎아내기 위해서다.
단순히 최종 결과물이 성공했는지 실패했는지 따지는 수준을 넘어 에이전트가 어떤 경로를 거쳐 답을 냈는지 '수행 궤적'을 뜯어보는 진단법도 함께 담겼다. 이를테면 에이전트가 작업을 제대로 완수하지 못했을 때, 문제 해결에 필요한 확장 기능이 아예 로드되지 않은 건지, 기능은 로드됐으나 에이전트가 이를 불러오지 않은 건지, 혹은 호출은 제대로 했으나 파라미터나 적용 방식을 틀렸는지 등 원인을 세 단계로 명확히 분리해 추적한다. 개발팀은 이 같은 분석을 통해 문서가 부실한 건지, 에이전트 스킬이나 MCP 서버의 명령 구조가 잘못된 건지 정밀하게 짚어낼 수 있다. 실제로 현장에서 자주 반복돼 나타난 아홉 가지 주요 실패 패턴도 수록됐다.
실증 작업은 이미 다양한 현장에 적용됐다. 애저 코스모스 DB(Azure Cosmos DB)와 셰어포인트 프레임워크(SharePoint Framework) 등이 대표적이다. 에이전트에게 실제 개발 과제를 부여하고 이 지침에 맞춰 평가를 진행한 결과, 코스모스 DB 에이전트 키트에서만 46건의 구조적 개선점을 찾아내 보완했다. 에이전트가 참조하는 공식 개발 문서나 프롬프트 스킬, 관련 플러그인의 오류도 함께 바로잡았다.
자체 안내 기능을 갖춘 전용 스킬인 ‘AX 프랙티셔너 스킬(AX Practitioner skill)’도 배포에 포함됐다. 플레이북에 수록된 고유 데이터만을 기반으로 실무자의 질의에 답하도록 설계된 도구다. 제공된 문서의 범위를 벗어난 질문이 들어올 경우 외부 데이터베이스를 임의로 참조해 답변을 빚어내는 환각 현상을 막기 위해, 다른 정보원을 검색하기 전 사용자에게 먼저 확인을 거치도록 통제 장치를 얹었다. 330개 질문을 대상으로 진행한 검증 평가에서 이 스킬은 문서 내용 대비 평균 95%의 정확도를 기록했다.
특정 평가 플랫폼에 얽매이지 않고汎용적으로 쓸 수 있다는 점도 특징이다. 독자적인 검증 도구를 구축 중인 엔지니어는 물론 기존 평가 시스템을 운용하는 조직에서도 곧바로 적용해 볼 만하다. 지침은 SDK와 API, 마이크로서비스, CLI, MCP 서버, AI 스킬, 각종 확장 기능 및 관련 가이드를 만드는 실무자 전반을 대상으로 한다.
에이전트가 점점 더 복잡한 소프트웨어 아키텍처 내부로 깊숙이 들어오는 만큼, 겉으로 보이는 답변의 매끄러움보다 실제 인프라와의 정확한 연동 여부를 따지는 제3의 검증 체계는 선택이 아닌 필수 요소로 자리 잡는 분위기다.
