"내 AI는 외부와 대화하지 않는다"... 기밀 유출 0% '나만의 AI' 시대 개막

거대 언어 모델(LLM)의 시대가 가고 실속형인 소형 언어 모델(SLM)의 시대가 오고 있다. 모든 것을 클라우드 서버에 물어보던 방식에서 벗어나, 기기 자체에서 AI를 구동하는 '온디바이스 AI' 열풍이 불고 있는 것이다. 특히 범용 GPU 대신 특정 산업에만 최적화된 초소형 SLM 전용 신경망 프로세서(NPU) 설계 기술이 미국 실리콘밸리 스타트업들을 중심으로 급격히 확산되며 시장의 판도를 뒤바꾸고 있다.

미국의 기술 경제 매체인 테크크런치(TechCrunch)가 3월 26일 전한 바에 의하면, 이 새로운 NPU 설계 방식은 클라우드 연결 없이도 독자적인 AI 연산을 가능케 한다. 이는 보안이 생명인 의료, 금융, 보안, 국방 등 B2B 시장에서 폭발적인 반응을 얻고 있다. 외부 서버로 데이터가 나갈 일이 없으니 정보 유출 우려가 원천 차단되기 때문이다. 데이터 주권을 중시하는 기업들에게 온디바이스 전용 NPU는 선택이 아닌 필수 요건이 되고 있다.


범용 GPU는 모든 종류의 연산을 처리해야 하므로 크고 비싸며 전기도 많이 먹는다. 반면 SLM 전용 NPU는 특정 언어 모델의 구조에만 딱 맞게 설계되어 크기는 손톱보다 작으면서도 연산 효율은 극대화된다. 의료 현장에서는 환자의 기록을 실시간으로 분석하고, 전장에서는 통신이 끊긴 상태에서도 전술을 판단한다. 이처럼 현장에 특화된 칩들이 등장하면서 비싼 클라우드 구독료를 낼 필요가 없는 새로운 경제 생태계가 열리고 있다.

대기업들이 생성형 AI 도입을 망설이는 가장 큰 이유는 사내 기밀이 클라우드 학습에 이용될지 모른다는 공포 때문이다. 미국 스타트업들은 이 공포를 기회로 삼았다. 기기 내부에서만 데이터가 순환하는 전용 NPU를 탑재한 워크스테이션과 단말기를 공급하며 B2B 시장을 빠르게 잠식하고 있다. 이는 단순히 칩을 파는 것을 넘어 '보안이 보장된 AI 환경'이라는 신뢰를 파는 비즈니스로 진화하고 있다.


메모리 반도체 강국인 한국에게 온디바이스 NPU는 위기이자 기회다. NPU와 메모리를 하나로 묶는 기술은 우리가 가장 잘하는 분야이기 때문이다. 하지만 미국 스타트업들의 설계 속도와 산업별 특화 전략은 무서울 정도로 빠르다. 우리가 범용 칩 시장에만 매달리는 사이 전용 칩 시장을 뺏긴다면 미래 먹거리는 사라진다. 각 산업에 특화된 SLM 전용 NPU 시장을 선점하기 위한 국가적 차원의 설계 인프라 지원이 절실한 시점이다.


이교관 글로벌이코노믹 기자 haedang@g-enews.com