디지털 시대 총아로 떠오른 '오브젝트 스토리지'

디지털 시대는 수많은 데이터를 쏟아내고 있고, 이 중 대부분이 이메일, 텍스트, 사진, 비디오, 오디오 등과 같이 구조화 되지 않은 비정형 데이터이다.

'21세기의 원유'인 데이터를 제대로 활용하기 위한 고민이 높아지면서 방대한 저장 용량, 신속한 처리 능력, 보안 기능은 물론 비정형 데이터를 지능적으로 관리, 분석, 활용할 수 있는 오브젝트 스토리지가 디지털 시대의 총아로 떠오르고 있다.
오브젝트 스토리지는 주로 장기 보관 및 백업, 규정 준수 용도로 활용돼 왔다. 하지만 이제는 데이터 분석과 AI/ML 구현 등 디지털 시대에 가장 중요한 데이터 중심의 애플리케이션을 뒷받침 할 수 있는 기술로 주목 받고 있다. 다양한 데이터 타입을 모두 수용하고, 지능형 메타 데이터를 통한 데이터 인사이트 확보에 강점을 보이며 디지털 혁신의 중심에 위치하고 있다.

데이터 스토리지는 블록, 파일, 오브젝트의 세가지 유형이 있다. 블록 스토리지 기술은 방대한 데이터를 동일 크기의 블록으로 분할한다. 파일 스토리지는 데이터 스토리지의 가장 단순한 형태로, 서류 캐비넷의 디지털 버전으로 생각하면 된다. 파일은 디렉토리와 하위 디렉토리로 정리된다.

반면 오브젝트 스토리지는 데이터를 파일이나 블록이 아닌 객체(object)로 관리한다. 객체에는 모든 유형의 정형·비정형 데이터가 포함된다. 객체마다 데이터, 메타데이터(데이터에 대한 컨텍스트 정보), 분산 데이터를 쉽게 검색할 수 있는 고유 식별자가 포함된다.

풍부한 메타데이터는 데이터 사용과 기능에 대한 중요한 정보를 제공한다. 오브젝트 스토리지는 무한한 확장성과 빠른 검색을 제공해 데이터 분석 용도로 선호된다.

오브젝트 스토리지는 사실상 용량 제한이 없고 비용도 낮다. 전체 데이터 전략을 고민하는 기술 의사결정자의 경우 데이터 레이크(Data Lake)로 알려진 대규모 중앙 저장소를 선호한다.

데이터 레이크는 데이터 사일로(silo) 현상을 방지하고 비즈니스에 가치를 제공하는 데이터 분석을 위해 여러 소스에서 데이터를 취합하는데 도움이 된다.
시장조사기관 엔터프라이즈 스트래티지 그룹 스토리지 애널리스트 스콧 싱클레어는 오브젝트 스토리지가 데이터 분석, 머신러닝, 인공지능을 방대한 데이터 저장소에 적용하는데 가장 효과적인 기술이라고 강조한 바 있다.

오브젝트 스토리지의 고성능이 보장되면 미래의 워크로드를 엄청나게 빠른 속도로, 향후 필요한 확장성까지 고려해 즉각적으로 활용할 수 있다.

미래 워크로드에는 실시간 로그 집계부터 IoT 워크로드, 고성능 데이터베이스의 트랜잭션 로그 등 거의 모든 데이터 작업이 포함된다. 이들 각각의 데이터에 사용자 지정 메타데이터를 적용해 조직 내 활용 가치를 더욱 높일 수 있다.



오브젝트 스토리지는 파일 스토리지나 블록 스토리지로 백업하기에는 규모가 큰 데이터 저장소를 처리하기 위해 개발됐다. 오브젝트 스토리지는 도입 당시 거의 무제한의 확장성, 저비용, 변경 불가성으로 백업과 복구, 장기 아카이빙 용도와 함께 규제 준수에 이상적인 솔루션이었다.

오브젝트 스토리지 발전에서 그 다음 분수령이 된 사건은 클라우드 스토리지의 상승세다. 클라우드 서비스 공급업체 아마존웹서비스(AWS)는 S3(Simple Storage Service)를 토대로 오브젝트 스토리지 아키텍처를 선택했다.

이후 오브젝트 스토리지는 구글, 마이크로소프트 등 모든 클라우드 스토리지의 표준 플랫폼이 되었으며, S3 프로토콜은 클라우드나 기업 데이터센터에서 실행되는 현대 데이터 중심 애플리케이션의 업계 표준으로 자리잡았다.

오늘날 기업에게는 데이터를 단순히 보관 및 보호하는 것 이상이 필요하다. IoT 센서 데이터, 동영상, 이미지 같은 새로운 데이터 소스와 유형은 물론 방대한 과거 데이터에서 가치를 추출할 필요가 있다.

바로 여기서 오브젝트 스토리지가 빛을 발한다. 오브젝트 스토리지는 기업이 컴퓨팅 환경을 현대화하고 혁신을 창출하며 디지털 트랜스포메이션을 주도하기 위해 필요한 데이터 분석 역량을 구축하는 플랫폼이 되고 있다.

글로벌 금융기업 마스터카드는 신용카드 거래의 속도와 보안 개선을, 미국 텍사스 주 베일러 의대는(Baylor College of Medicine) 인간 게놈 염기 서열 분석 프로그램 확장을 위해 방대한 데이터 처리에 용이한 오브젝트 스토리지를 도입했다.

세계적인 장난감 제조사 스핀마스터(Spin Master)도 온라인 비디오 게임과 TV 프로그램으로 사업 확장을 위해 고급 데이터 분석이 가능한 오브젝트 스토리지 기술에 눈을 돌렸다.

방대한 데이터를 취합하고, 데이터 저장소 위에 필수 애플리케이션을 계층화하며, 혁신을 주도하는 고급 데이터 분석을 실행하고, 랜섬웨어 공격으로부터 안전하게 데이터를 보호하고자 하는 기업에게 오브젝트 스토리지는 다양한 혜택을 제공한다.

오브젝트 스토리지는 다수의 복사본을 자동 보관해 백업을 별도 관리할 필요가 없고 랜섬웨어와 데이터 손실에 대한 회복력을 가진다. 오브젝트 스토리지를 포함한 데이터 전략을 추진하기 위해서는 신중한 계획 수립이 요구되며, 이 전략에는 데이터 저장, 강화, 수익화 기능이 포함돼야 한다.

데이터 저장은 데이터 위치에 상관없이 데이터를 관리하는 것을 의미한다. 트랜잭션 데이터를 보호하고 기밀성과 보안을 유지하며 거버넌스를 실행해야 한다.

더불어 데이터 가치를 이해하기 위해 기업은 데이터가 생성된 컨텍스트를 설명하는 메타데이터를 할당해 데이터를 강화해야 한다. 이런 작업이 완성된 후에 비로소 데이터를 카탈로그로 만들 수 있다.

혁신적인 데이터 전략을 이행하기 위해서는 계획 수립, 실행, 통합, 거버넌스를 지원하는 다양한 기술이 요구된다. 데이터 가치를 보전하고 활용하기 위한 목적으로 수행하는 전사 차원의 경영 체계가 필요하며 이를 위해 기술적 뒷받침이 중요하다.

하지만 기술만으로 충분하지 않다. 데이터 가치를 수익화 하는 것은 조직의 모든 계층에서 헌신과 새로운 사고방식을 요구하는 중대한 일임을 잊지 말아야 한다.


김도진 효성인포메이션시스템 데이터사업팀 차장 his-djkim@hyosung.com