오픈AI가 고도화되는 인공지능(AI) 연구 인프라 전반을 실시간으로 추적하고, 안전이나 보안상 문제가 발생했을 때 즉각 가동을 멈출 수 있는 중앙 제어 시스템 ‘컨트롤룸(Control Room)’을 전격 공개했다.
모델 학습과 성능 평가를 위한 에이전트 샘플링, 데이터 처리 등 대규모 연구용 추론 작업 전체를 하나로 묶어 관리하는 체계다. 회사는 이 시스템을 이미 내부 연구 인프라 현장에 배포해 운용하고 있다.
컨트롤룸은 현재 실행 중인 연구 작업과 모델을 실제로 구동하는 추론 엔진, 그리고 이들을 총괄 제어하는 중앙 서비스 등 세 가지 핵심 요소로 얽혀 있다. 관리 대상이 되는 작업에는 강화학습 실험을 비롯해 각종 성능 평가, 대규모 데이터 샘플링 및 가공 등이 두루 포함된다. 오픈AI는 에이전트 기반 추론을 수행하는 모든 연구 작업이 사전에 승인된 안전성 근거, 이른바 ‘안전 사례(safety case)’와 연동되도록 규정했다.
구동 메커니즘을 살펴보면, 연구진이 새로운 작업을 시작할 때 작업 코드가 컨트롤룸 중앙 서비스에 고유 식별값(job_id)을 요청해 받게 된다. 이후 모델이 토큰을 생성할 때마다 이 식별값을 추론 엔진에 전달하고, 엔진은 중앙 서비스에 해당 요청을 정상 처리해도 되는지 매번 체크하는 구조다. 만약 해당 작업이 위험 요소 감지 등으로 인해 종료 대상으로 지정돼 있다면, 중앙 서비스는 즉시 요청을 튕겨내고 추론 엔진은 모델의 추가 출력 생성을 원천 차단한다.
자동화된 모니터링 시스템과의 결합도 촘촘하게 이뤄졌다. 오픈AI의 최전선(Frontier) 강화학습 작업에는 학습 중인 모델의 활동을 실시간 검사하는 별도의 모델 기반 모니터가 함께 돌아간다.
이 모니터링 시스템이 잠재적 위험이나 이상 동작을 포착하면 사안의 심각도에 따라 작업 중단을 자체 결정한 뒤, 문제 작업의 식별값을 컨트롤룸으로 보내 종료 상태로 락(Lock)을 걸어버린다. 이렇게 락이 걸린 작업은 향후 다른 모델이나 별도의 추론 엔진을 우회하더라도 모든 요청이 거부된다.
연구 현장에서 중단 명령이 내려진 시점부터 실제로 작업의 추가 진행이 완전히 막히기까지 걸리는 시간은 최대 35초 수준이다. 오픈AI 측은 대규모 트래픽을 처리하는 과정에서 추론 권한을 빠르게 확인하기 위한 캐싱 계층 때문에 약간의 지연이 발생한다고 설명했다. 회사 연구진은 중단 지시 즉시 작업이 끊어질 수 있도록 반응 시차를 좁히는 고도화 작업을 이어가고 있다.
이번 제어 장치의 핵심은 빈번하게 수정되거나 교체되는 개별 작업 코드가 아니라, 상대적으로 고정된 중앙 추론 계층 자체에 중단 로직을 이식했다는 점이다. 코드 수정으로 제어 장치가 누락되는 상황을 막기 위해서다.
여기에 컨트롤룸 기능이 빠졌거나 비활성화된 엔진이 임의로 구동되는지 여부를 에이전트와 전용 프로그램을 통해 24시간 감시한다. 만에 하나 중앙 서비스가 시스템 장애나 비활성화로 정지할 경우, 정상 복구가 완료될 때까지 모든 추론 요청을 일괄 거부하는 ‘페일 클로즈(fail-closed)’ 방식을 채택해 보안 헛점을 봉쇄했다.
오픈AI는 이 같은 중앙 차단 체계를 프런티어 모델 연구 작업 전체에 우선 적용 완료했으며, 나머지 일반 연구 작업에 대해서도 빠른 시일 내에 배포를 마무리할 계획이다.
