리눅스 시스템은 물론 최신 안드로이드 스마트폰의 최고 권한까지 탈취할 수 있는 보안 취약점이 국내 연구진에 의해 발견됐다. 서울대학교 공과대학 전기정보공학부 시스템 및 소프트웨어 보안 연구실 이병영 교수팀은 리눅스 커널 취약점 'Bad Epoll(CVE-2026-46242)'을 찾아내 실제 공격 가능성을 입증했다고 밝혔다.
연구팀은 해당 취약점을 구글의 보안 포상 프로그램인 kernelCTF에 제출해 관리자 권한 획득에 성공했다. 이 공로로 구글로부터 9만2337달러(약 1억2천만원)의 포상금을 수령했다.
Bad Epoll 취약점은 데스크톱과 서버용 리눅스 배포판뿐만 아니라 삼성 갤럭시, 구글 픽셀 등 최신 안드로이드 기기에도 영향을 미친다. 리눅스 커널은 다양한 컴퓨팅 환경의 핵심 기반으로 쓰이는데, 커널 수준에서 관리자 권한이 뚫리면 공격자는 시스템 내부 자원에 접근하고 보안 기전을 무력화하며 임의로 명령을 실행할 수 있게 된다.
문제의 원인은 리눅스 커널의 핵심 기능인 epoll에서 비롯됐다. epoll은 수많은 프로그램과 장치에서 발생하는 입출력 이벤트를 효율적으로 관리하는 역활을 하며 운영체제와 네트워크 서비스, 브라우저 등에서 널리 활용된다.
이번에 규명된 취약점은 epoll 내부의 경쟁 상태(race condition)를 이용한 해제 후 사용(use-after-free) 오류다. 경쟁 상태는 여러 CPU나 스레드가 동일한 커널 객체를 동시에 처리할 때 실행 순서가 어긋나며 발생하는 허점이다. Bad Epoll의 경우 서로 연결된 두 개의 epoll 객체를 동시에 닫는 과정에서 발생한다. 한쪽 CPU가 이미 반납 완료한 메모리 영역에 다른 CPU가 데이터를 쓰면서 메모리 오염이 유발된다. 공격자는 이 틈을 타 커널 메모리를 읽고 쓸 수 있는 권한을 얻고 최고 권한인 root까지 승격할 수 있다.
연구팀은 Bad Epoll이 실제로 악용 가능한 제로데이 취약점임을 kernelCTF 환경에서 99%의 성공률로 증명했다. kernelCTF는 취약점 제보에 그치지 않고 구글이 지정한 환경에서 실제 권한 상승을 일으키는 공격 코드(exploit)의 작동까지 보여줘야 하는 검증 프로그램이다.
일반적인 리눅스 커널 취약점이 안드로이드 환경에서는 잘 작동하지 않는 것과 달리, Bad Epoll은 안드로이드 기기 공격에도 그대로 쓰일 수 있다는 점에서 위험도가 크다. 안드로이드는 커널의 부가 기능을 대부분 제거하지만, epoll은 필수 핵심 기능으로 그대로 남아있기 때문이다.
Google kernelCTF에서 공격 가능성이 입증된 130여 건의 취약점 가운데 안드로이드 권한 탈취까지 연결될 수 있는 사례는 10여 건에 불과하다. Bad Epoll은 그중 하나로 이름을 올려 위험성을 각인시켰다. 크롬 브라우저의 렌더러 샌드박스 내부에서도 촉발될 수 있어 브라우저 취약점과 결합될 경우 웹페이지 방문만으로 권한을 빼앗기는 공격 시나리오로 확산될 가능성도 지적된다.
기술적으로는 공격 성공률이 매우 낮은 타이밍 오류를 안정적으로 재현했다는 점이 높은 평가를 받았다. 두 동작이 충돌하는 타이밍은 기계어 명령 6개가 실행되는 찰나의 순간에 불과하다. 연구팀은 인터럽트를 활용해 충돌 가능 구간을 인위적으로 늘리고, 실패 시에도 시스템이 다운되지 않고 재시도하도록 설계해 한계를 넘었다.
최신 AI 기술이 도달하지 못한 영역을 사람 연구자가 밝혀냈다는 점도 눈길을 끈다. 2023년 epoll 코드 수정 당시 두 가지 경쟁 상태 문제가 생겼는데, 그중 하나는 앤트로픽의 AI 모델 'Mythos'가 찾아내 보고한 바 있다(CVE-2026-43074). 하지만 동일한 영역에 있던 Bad Epoll은 AI 모델은 물론 커널 메모리 탐지 도구인 KASAN에도 포착되지 않은 채 남아있었다.
보안 패치 과정도 녹록지 않았다. 연구팀은 2026년 2월 18일 리눅스 커널 보안팀에 제보했으나 개발진이 초기에 내놓은 패치가 문제를 완전하게 해결하지 못했다. 연구팀은 잔여 취약점을 다시 분석해 추가 제보했고, 최종 수정 패치는 2026년 4월 25일 메인라인 커널에 공식 반영됐다.
이 교수는 "AI 기술의 발전으로 취약점 탐지 방식이 변하고 있지만 복잡한 시스템의 위험성을 규명하는 데는 여전히 깊이 있는 분석이 필요하다"며 "앞으로도 선제적인 보안 연구를 이어갈 것"이라고 말했다.
이번 연구는 정보통신기획평가원(IITP) 지원으로 수행됐다. 연구에 참여한 정재영·김을규 대학원생은 각각 USENIX Security 2026 발표와 20개 이상의 커널 취약점 제보 이력을 바탕으로 복잡한 커널 자동화 탐지 연구를 이어갈 계획이다.
