[실리콘 디코드] 인텔·AMD, 최신 DDR5 CPU '신뢰 환경' 뚫렸다…'TEE.Fail' 공격에 암호키 유출

인텔과 AMD의 최신 DDR5 기반 서버용 CPU에 탑재된 핵심 보안 기술이 신종 사이드채널 공격에 노출되어 충격을 주고 있다. 'TEE.Fail'로 명명된 이 공격은 프로세서 내부의 가장 민감한 영역인 '신뢰 실행 환경(TEE)'을 직접 겨냥, 저가형 외부 삽입 기기(형광펜 크기의 디바이스 등)를 이용해 메모리 버스에서 직접 암호화 키 등 핵심 기밀 정보가 유출될 수 있는 심각한 물리적 취약점이 발견된 것이다.

특히 저렴한 기성 장비로도 공격이 가능하다는 사실이 밝혀져 AI 및 클라우드 인프라, 개인정보 보호, 금융·의료 등 보안이 극도로 중요한 분야에서 파장이 예상된다.

지난 29일(현지시각) 외신 '더 해커 뉴스'에 따르면, 이번 공격 대상은 DDR5 CPU의 '신뢰 실행 환경(TEE)'이다. 구체적으로 인텔의 '소프트웨어 가드 익스텐션(SGX)' 및 '트러스트 도메인 익스텐션(TDX)', 그리고 AMD의 '시큐어 네스티드 페이징(SNP)을 갖춘 시큐어 인크립티드 버추얼라이제이션(SEV-SNP)' 등 양사의 핵심 보안 기능이 모두 포함된다.

이번 취약점은 조지아 공대, 퍼듀 대학교, 싱크로닉스 소속 공동 연구진에 의해 밝혀졌다.
연구진은 보고서에서 저렴한 기성 전자 장치로 구성된 '삽입 장치(interposition device)'를 활용, '암호문 은닉(Ciphertext Hiding)' 기능이 적용된 인텔 TDX와 AMD SEV-SNP에서 암호화 키를 성공적으로 추출했다고 밝혔다. 공격 방식은 오픈마켓에서 구매 가능한 값싼 전자부품으로 만든 메모리 삽입 장비를 CPU와 DRAM 사이에 연결한 뒤, 암호 연산 중 발생하는 패턴과 암호문을 수집·조합해 TEE 내부의 비밀 정보를 추출하는 것이다.

연구진이 파고든 지점은 인텔과 AMD 칩이 공통으로 사용하는 'AES-XTS' 암호화 모드의 '결정론적 특성(deterministic nature)'이다. 즉, 동일한 입력 데이터에 대해 항상 동일한 암호문을 생성한다는 특성 때문에, 외부의 물리적 메모리 삽입을 통한 침입이 가능해진 것이다. 이로 인해 CPU 내부의 메모리 복호화 하드웨어 및 소프트웨어 보호 기능이 사실상 무력화된다.


파장은 인텔과 AMD에 그치지 않는다. 연구진의 추가 분석 결과, TEE.Fail 공격은 엔비디아의 'GPU 기밀 컴퓨팅(GPU Confidential Computing)' 보안을 무력화할 수 있는 '증명 키(attestation keys)' 획득에도 악용될 수 있는 것으로 드러났다. 해커가 무단으로 인공지능(AI) 워크로드를 실행할 수 있는 '연쇄 침투(chain attack)'의 길을 열어주는 셈이다.

나아가 서버, 클라우드, AI 암호화 기술 및 정부·금융 데이터 저장 환경의 '하드웨어 트러스트 체인' 자체가 훼손될 수 있다. TEE 기술이 의존해 온 "외부 공격이 불가능하다"는 근본적인 전제가 흔들리게 된 것이다.


보안 업계의 우려에도 불구하고, 정작 인텔과 AMD 양사는 이번 사안에 대해 완화 조치(mitigations)를 발표할 계획이 없다고 밝혔다. 양사는 해당 문제가 자사 칩의 신뢰 실행 환경(TEE) 기술 지원 범위를 벗어난(out-of-scope) 사안이라는 입장을 고수했다. 이 같은 대응은 사실상 물리적 메모리 공격의 책임을 OS나 플랫폼, 데이터센터 운영자에게 넘기려는 의도로 풀이된다.

이번 연구 결과는 DDR4 메모리 기반 시스템을 겨냥한 '와이어탭(WireTap)' 공격이 발견된 직후 공개되어, 시스템 하드웨어 보안에 대한 근본적인 우려를 키우고 있다. 특히 2024년 DDR4 시스템에서 발견된 와이어탭(WireTap) 공격이 이번 TEE.Fail을 통해 다음 세대인 DDR5로 확대된 형태로 해석된다.

이번 연구는 서버, 클라우드, AI 보안 프로세서의 '물리적 메모리 공격'에 대한 기존 방어 패러다임에 중대한 경종을 울린 사건으로 평가된다. 향후 데이터센터 운영자 등은 '물리적 보안 통제 강화, 메모리 액세스 정책 재정비, 하드웨어 설계 보완' 등 다각적인 전략 변화가 불가피해질 전망이다.


박정한 글로벌이코노믹 기자 park@g-enews.com