구글 클라우드, 신형 AI칩 2종 공개…보안 특화 칩에 AMD CPU 탑재

구글 클라우드가 처리 중인 데이터까지 암호 상태로 보호하는 보안 특화 칩 'TPU 8tx'와 대규모 정보 처리에 특화된 'TPU 8i 맥스'까지 2종의 인공지능(AI) 전용 칩을 공개했다. 이 가운데 TPU 8tx에는 AMD의 서버용 중앙처리장치(CPU)를 탑재해 보안 기능을 하드웨어 계층에 내재화했다.

구글 클라우드는 TPU 8tx와 'TPU 8i 맥스'를 새로 공개하며 8세대 텐서처리장치(TPU) 라인업을 확장한다고 10일 밝혔다. TPU는 구글이 AI 연산을 위해 자체 설계한 전용 반도체다. 지난 4월 공개한 대규모 AI 학습용 'TPU 8t'와 AI가 답을 내놓는 추론용 'TPU 8i'에 이어 4종이 됐다. 구글이 한 해에 TPU 시스템 4종을 선보인 것은 처음이다.


TPU 8tx는 보안이 핵심이다. 데이터는 저장하거나 전송할 때는 암호화되지만, 컴퓨터가 처리하는 동안에는 메모리에서 암호가 풀려야 한다. 구글 클라우드는 TPU 8t와 같은 칩에 5세대 AMD 에픽(EPYC) CPU를 결합해 보안 기능을 하드웨어에 직접 넣었고, 이를 통해 민감한 데이터와 AI 모델의 학습 결과값(가중치)을 처리하는 중에도 격리·보호한다고 설명했다. 이런 방식을 기밀 컴퓨팅(컨피덴셜 컴퓨팅)이라고 한다.

이 시스템은 규제가 엄격한 산업의 기업과 정부 기관이 민감한 데이터를 다루면서 AI 모델과 자율 에이전트를 운영하도록 설계됐다. 기업은 민감한 데이터를 별도 장비로 옮기지 않고도 자체 데이터로 모델을 미세 조정할 수 있다. 추론용 저지연 네트워크 기술을 적용해, TPU 8t와 비교해 지연 시간을 최대 절반으로 줄였다고 구글 클라우드는 밝혔다.
AMD는 9일(현지시간) 5세대 에픽 프로세서가 TPU 8tx의 호스트 인프라에 탑재됐다고 발표했다. 호스트 CPU는 TPU가 연산을 맡으면 데이터를 준비하고 작업 순서를 조율하며 TPU와의 통신을 관리하는 역할을 한다. AMD는 에픽의 보안 암호화 가상화(SEV) 기능으로 보호 범위를 CPU에서 연결된 TPU까지 넓혔다고 설명했다. TPU가 보호된 메모리에 접근하기 전에 신원과 보안 설정을 검증하고, 사용자 입력과 모델 가중치가 CPU와 TPU 사이를 오갈 때도 암호화가 유지된다고 설명했다.

구글 클라우드와 AMD는 TPU 8tx를 하드웨어 기반 기밀 컴퓨팅을 구현한 최초의 클라우드 TPU 시스템이라고 소개했다. AMD는 에픽이 GPU와 맞춤형 AI 가속기 전반에서 10곳이 넘는 대형 클라우드 사업자(하이퍼스케일러)와 AI 연구소가 선택한 호스트 CPU라고 밝혔다.

TPU 8i 맥스는 TPU 8i 칩 2개를 하나의 패키지로 묶어 기존 TPU 8i보다 연산 성능, 칩 안 고속 메모리(SRAM) 용량, 고대역폭메모리(HBM) 대역폭을 각각 2배로 높였다고 구글 클라우드는 밝혔다. AI가 한 번에 기억하고 처리하는 정보량(컨텍스트 윈도우)이 100만 토큰(AI가 글을 읽는 단위) 규모로 커지면 메모리가 데이터를 칩에 충분히 빨리 공급하지 못해 병목이 생기는데, 이를 줄이는 데 초점을 맞춘 제품이다. 기존 서버 랙에 칩을 2배 장착할 수 있다.

아민 바닷 구글 AI 및 인프라 부문 수석부사장 겸 최고기술자는 "컴퓨팅의 기준이 사람에서 에이전트로 넘어가고 있다"며 "특히 규제가 엄격한 산업의 고객들은 특수 워크로드에 필요한 암호화 기능을 요구하는 상황"이라고 설명했다. 마크 로마이어 구글 클라우드 AI 및 컴퓨팅 인프라 부문 총괄 부사장은 "AI 에이전트를 실제 운영 환경에 도입할 때는 기반 인프라에서도 데이터와 지식재산에 접근할 수 없도록 기밀성이 유지된다는 확신이 필요하다"고 밝혔다.

구글은 TPU를 자사 AI 모델 제미나이의 학습과 서비스에 쓰는 한편 클라우드 서비스로도 제공하고 있다. 최근에는 고객이 자체 데이터센터에 TPU를 직접 구축하도록 지원 범위도 넓혔다. 구글 클라우드는 이를 통해 AI 연구소, 트레이딩·리테일 기업, 대학 등 100여 곳을 고객으로 확보했다고 밝혔다.

유덕규 글로벌이코노믹 기자 udeok@g-enews.com