새로운 오픈 스토리지 프로젝트가 탄생했습니다. 이전에도 이러한 시도는 많았고 지금도 이어지고 있는 것이 있죠. 리눅스 재단(The Linux Foundation)에서 클라우드 오브젝트 스토리지 기술의 표준화를 목표로 춤범시킨 「키네틱 오픈 스토리지 프로젝트(Kinetic Open Storage Project)」이 그것입니다. 아직 시작한지 얼마 되지 않아 내용도 부실하고 시스템도 접속이 안되는 경우도 많지만, 이러한 시도는 매우 의미가 깊다고 봅니다. 이번 프로젝트에 참여한 기업들은 시스코, 델, 화웨이, 넷앱, 클레버세이프, 시게이트, 레드햇, 도시바, 웨스턴 디지털 등입니다. 이 기업들을 보면 크게 3개 그룹으로 나누어 볼 수 있는데요, 전통적인 IT 인프라 기업과 HDD 제조업체(물론 이들은 이제 SSD도 많이 만들고 있기는 합니다)와 오픈 소프트웨어 진영 등입니다. 그 중 가장 눈에 띄는 것은 클라우드와 이른바 플랫폼 3(Platform3)를 주로 하는 화웨이와 클레버세이프(Cleversafe), 디지털 센스(Digital Sense), Open vStorage, Red Hat 등입니다. 클레버세이프는 이 블로그를 통해 여러 차례 소개했었는데요, 키네틱 프로젝트에서 어떤 역할을 할지 궁금합니다.

KOSP라는 이름으로도 불리는 이 프로젝는 얼마 전 시에틀에서 열렸던 리눅스콘(LinuxCon)에서 소개되었는데, 이더넷을 통해 애플리케이션이 스토리지 서버의 개입 없이 액세스를 할 수 있도록 하자는 것입니다. 또한 오픈 소스 라이브러리로 관리하고 API를 제공하겠다고 합니다. 키네틱 프로젝트는 컴퓨트와 스토리지 컴포넌트를 분리함으로써 필요에 따라 데이터 센터 내 스토리지 확장을 보다 쉽게 하고자 하는 의지를 담고 있습니다.

사실 이러한 생각은 이미 2년 전 시게이트에서 시작되었다고 하는군요. 테크크런치에서 따르면 시게이트가 제시한 새로운 기술이 이네넷 연결을 통해 오브젝트 데이터를 Kye-Value 쌍으로 저장 및 읽어 들일 수 있도록 하자는 것이었고 이것을 제품으로서 구현해 두었습니다. 왼쪽 그림은 시게이트가 출시한 Kinetic HDD 4TB로 최초의 제품이며 이를 사용하겠노라는 기업들은 상당히 있었습니다. 2년 전 시게이트가 이러한 발표를 했을 때 당시의 뉴스들을 살펴 보았습니다. 더레지스터에 따르면 Basho Technologies, Dell, EVault, Huawei, Hyve, Rackspace, Sanmina, Supermicro, SwiftStack, Yahoo, Xyratex 등이었다고 하는데, 당시 Xyratek과 Basho의 인터뷰가 흥미롭습니다. Basho의 경우 Riak을 키네틱 위에 적용하게 되면 병목을 제거하여 I/O 운영이 효율적이 될 것이라는 주장과 동시에 클러스 최적화를 기대할 수 있다고 하였습니다. 아래 그림은 시게이트의 홈페이지에서 기존의 전통적인 형태의 데이터 서비스 모델이고 우측의 그림이 키네틱으로 구현되는 데이터 서비스 모델입니다.

따라서 위 그림에서와 같이 애플리케이션이 오브젝트를 저장하기 위해서는 키네틱의 라이브러리가 필요한데요, 어떻게 하는가를 들여다 보니 Swift와 Riack CS 등이 필요합니다. 안정성을 위해서라면 가장 전통적인 측면에서는 RAID 기술과 같은 것이 필요하겠죠. 이런 데이터 보호 기술이 없기에 Riak의 클러스터를 이용하여 수천 개의 드라이브를 사용하는 클라우드 환경에 적용하는 것입니다. 시게이트가 주도를 하고 있기는 하지만 시게이트만의 노력으로는 어려움이 많습니다.

다시 초점을 KOSP(Kinect Open Storage Project)로 돌려 보겠습니다. Linux Foundation Collaborative Project에서 KOSP에 대한 언급은 중요한 의미와 방향을 담고 있습니다.

… providing open source object storage on next generation, Ethernet-enabled storage devices….

이제 Kinect는 오픈 소스이며, 오브젝트 스토리지 기술이며, 차세대 기술이고 이데넛으로 연결되어 동작하는 저장 기술임을 분명히 하고 있습니다. 스토리지 소프트웨어 기술이 많이 나오고 있고 많은 통합성과 오픈 커뮤니티에서 사용할 수 있도록 전환도 많이 발생하는 현실에서 이러한 기술의 출현과 프로젝트는 클라우드로의 가속을 더욱 더 이끌고 있군요. 결국 스토리지도 소프트웨어로 만드는 소프트웨어 정의 스토리지군요.

.

- Merci & Fin -

신고
크리에이티브 커먼즈 라이선스
Creative Commons License

통합 시스템, 컨버지드 인프라 등으로 불리는 Integrated System의 성장과 발전이 데이터센터 전체에 상당히 크게 영향을 미칠 것으로 보입니다. 시장 조사 기관인 가트너에 따르면 2014년부터 2019년에 이르는 기간 동안 Integrated System은 CAGR 18.7%의 성장을 할 것으로 예측하고 있고 특히 하이퍼컨버지드 통합 시스템(Hyperconverged Integrated System)은 Integrated System의 24% 정도로 가장 빠르게 성장할 것이라고 합니다. 왜 이렇게 빠르게 성장한다고 예측하는 것일까요?

최근의 데이터센터 전체적으로 보면 속도와 민첩성(speed & agility), 비용통제(controlling costs), 경쟁우위의 유지(being competitive), 2개 모드의 IT(bimodal IT), 클라우드로의 이전 등과 같은 과제가 SMB에 있어서의 어려움으로 턴키 솔루션(turnkey solution)이 필요하다고 합니다.

여기서 통합 시스템(Integrated System)에 관한 정의를 되짚어 봅니다. 가트너는 통합 시스템에 대해 이렇게 정의합니다.

서버, 스토리지, 네트워크 인프라 등을 조합된 형태로 프로비저닝과 각각의 구성 요소들을 관리할 수 있도록 하는 관리 소프트웨어가 들어가 있는 것(Combinations of server, storage and network infrastructure, sold with management software that facilitates the provisioning and management of the combined unit) – 가트너

물론 조사기관 별로 이러한 정의는 조금씩 다릅니다. 그러나 큰 맥락에서 보면 대략 비슷합니다. 이러한 통합 시스템(Integrated System)을 두고 가트너는 통합 인프라(Integrated Infrastructure), 레퍼런스 아키텍처(Reference Architecture), 하이퍼컨버지드(Hyperconverged), 통합 스택(Integrated Stack) 등으로 구분하고 있고 이 중에서 하이퍼컨버지드가 2012-2019 CAGR 68% 성장을 할 것이라는 예측을 하고 있습니다. 이렇게 가파르게 성장하는 것이 하이퍼컨버지드가 전체에서 차지하는 비중이 어느 정도일까 싶지만 실제로 그리 크지는 않습니다. 2019년 예측치에서 하이퍼컨버지드는 전체 예측 시장 규모에서 20% 정도를 차지하고 상당히 많은 부분은 Integrated Infrastrucure와 Reference Architecture가 차지하고 있습니다. 참고로 2019년 가트너는 전체 통합 시스템(total integrated system) 시장을 204억 달러로 보고 있습니다. 하이퍼컨버지드 외에 통합 시스템에 대해서 아래 간략하게 벤더와 제품 등을 정리해 보았습니다.

  • Integrated Infrastructure systems: EMC/VCE Vblock, HP Converged System
  • Integrated stack systems: Oracle Exadata
  • Integrated Reference Architectures: EMC VSPEX, NetApp FlexPod

하이퍼컨버지드로는 SimpliVity, Nutanix, Scale Computing, Nimboxx, EMC VSPEX Blue(EVO:RAIL) 등과 같은 것들이 여기에 속하는 것들인데요, 기존 Integrated System과는 분명히 구별되는 특징이 있습니다. 하이퍼컨버지드 벤더들을 보면 알 수 있듯이 전통적인 측면에서의 서버 벤더들과는 다릅니다. EVO:RAIL은 EMC를 비롯하여 HP, Dell 등과 같은 대형 업체들이 각자의 기술로 만들고 있지만, SimpliVity, Nutanix, Scale Computing 등을 보면 상대적으로 EVO:RAIL 진영과는 달리 규모가 작습니다. 물론 Nutanix는 조금 다르긴 합니다.

그렇다면 하이퍼컨버지드와 기존의 통합 시스템과의 차이점은 무엇이 있을까요? 전통적인 측면에서의 통합 시스템과의 대별되는 특징이라면 Commodity 형태의 모듈러 타입 그리고 랙 타입이고, 소프트웨어로 정의되는 스토리지와 네트워크를 바탕으로 스케일 아웃 등으로 요약해 볼 수 있을 것입니다. 여기서 핵심이라고 한다면 표준 x86 기반의 하드웨어에 소프트웨어로 서버, 스토리지, 네트워크 등을 정의한다는 것이고 이들 인프라 위에서 동작하는 애플리케이션에 대한 보호 기술 등이 들어가게 될 것입니다.

하이퍼컨버지드의 차별화 요소라고 한다면 결국 비슷비슷한 하드웨어에서 CPU니 메모리니 하는 하드웨어가 아닌 소프트웨어로 IT 인프라를 어떻게 정의하고 관리할 것이고 비즈니스 애플리케이션의 보호(대표적으로 시점 보호나 백업 등) 등에서 가늠이 되어야 할 것입니다. 아울러 관리 측면에서 업그레이드의 용이성, 하이퍼바이저 운영 편리성, 낮은 운영 비용, 원 스톱 서비스, 클라우드로의 이전 가능성 등을 고려해야 할 것입니다.

또한 퍼블릭 클라우드나 프라이빗 클라우드 등으로의 시스템 전환을 고려하고 있다면 아니, 결국에는 클라우드로 옮겨가야 하는 것이 큰 길로 비춰지는 지금에서 클라우드와의 인터페이스를 하이퍼컨버지드 인프라에서 고민해 봐야 하는 것은 당연해 보입니다. 이는 하이퍼컨버지드에 국한된 과제일 뿐만 아니라 기존의 통합 시스템에서도 생각해봐야 할 과제라고 생각합니다. 클라우드로의 패스(path)를 제공하는 기술이 없다면 클라우드로의 마이그레이션 자체가 골치거리가 될 수도 있을 겁니다. 클라우드를 염두에 두는 시스템, 이것이 없다면 컨버지드라고 말하기가 조금은 쑥스럽지 않을까 생각해 봅니다.

스토리지에 보다 국한해서 생각해 보면 흥미로운 점이 있습니다. 서버의 경우 x86 출현 이래로 기존의 통합 시스템에서는 블레이드 서버를 중심으로 외장형 스토리지를 연결하고 관리 소프트웨어에서 서버와 스토리지를 통합해서 관리하거나 관리를 쉽게 해 주는 도구를 제공해 주었다면 하이퍼컨버지드 인프라에서는 두드러지게 달라지는 점이 ‘소프트웨어 정의 스토리지’입니다. SDS라고 이야기 하는 이 기술이 하이퍼컨버지드 인프라에서 중요한 것은 데이터 저장소로서 외장형 어레이가 아닌 흔히들 말하는 ‘서버 SAN’ 기술을 사용하기 때문입니다. 물리적으로는 DAS를 기반으로 하지만 단순히 DAS가 아닌 ‘서버 SAN’ 기술이 저장소로서 스토리지 시스템으로서 동작하게 되고 이것을 하이퍼컨버지드 인프라 관리 소프트웨어에서 통제할 수 있게 된다는 것입니다.

위키본(Wikibon)에 따르면 이 서버 SAN 시장의 성장이 매우 가파르게 진행될 것이라고 합니다. 2012년부터 2014년에 이르는 기간 동안 서버 SAN이 빠르게 채택되었고 2012년에서 2016년에 이르는 기간 동안 CAGR 23%가 성장할 것으로 예측하고 있습니다. 좀 길게 예측했다 싶은데요, 2026년이면 서버 SAN의 시장 규모는 500억 달러에 이를 것이고 이는 외장형 스토리지 시장에 영향을 주어 외장형 스토리지는 마이너스 성장을 하게 될 것이라는 것이 위키본의 예측입니다(아래 그림 참조).

출처: 위키본(Wikibon), 2015, The Rise of Server SAN

서버 SAN 기술은 VMware의 VSAN을 비롯하여 EMC ScaleIO, Red Hat(인수 전 Inktank) Ceph 등과 같은 것들이 될 수 있으나 단순히 여기에 그칠 것은 아니라고 봅니다. 연구 기관들의 공통된 생각은 ScaleIO나 Ceph, VSAN 등과 같은 기술이 서버 SAN이라고 하고 있지만 조금 더 확장해서 생각해 보면 소프트웨어 정의 스토리지 기술 전반이 여기에 해당될 것입니다. 위키본의 리포트에서도 볼 수 있듯이 Nutanix의 경우 Nutanix에서 직접 제공하는 어플라이언스나 델을 통해 소프트웨어로 제공되는 것에서 대부분의 수익은 서버 SAN에서 발생한다고 합니다. 생각해 보면 Nutanix가 수익을 만들 수 있는 것이 하드웨어는 아닐 것입니다. 경쟁 업체와 크게 다르지 않은 범용적인 x86 서버를 사용하고 있고 플래시 드라이브, 하드 디스크 드라이브 등에서 수익을 내기는 어렵고, 그래서 결국 차별화와 그로 인한 이익을 낼 수 있는 방법이라고는 관리 소프트웨어와 서버 SAN 소프트웨어 기술이 절대적이라고 할 수 있을 겁니다. 그래서 소프트웨어 정의 스토리지가 중요하고 향후 우리가 관심 있게 지켜봐야 기술입니다.

Nutanix나 SimpliVity, Pivot 3, Scale Computing 등의 하이퍼컨버지드 인프라는 서버 SAN을 사용하고 있습니다. 서버 SAN 기술이 아직은 시장 규모가 작습니다. 그런데 이를 바라보고 뛰어 드는 스타트업 기업들이 많습니다. 이들 모두가 하이퍼컨버지드가 차세대 인프라가 될 것이라는 믿음으로 이 시장으로 뛰어 드는 것일까요? 아마도 상당수는 그러한 믿음과 신념으로 이 시장에 들어서 있는 것이라고 여겨집니다. 그래서 Citrix가 올해 초(2015년 1월)에 Sanbolic을 인수하면서 VM웨어 VSAN을 겨냥했고, 그리고 그 전에 EMC나 Red Hat이 ScaleIO(2013)와 Ceph(2014)를 인수한 것 역시 일정 부분 이런 영향이 미쳤을 것입니다.

그렇다면 앞으로는 어떨까요? 위키본에 따르면 EMC는 향후 VCE와의 통합이나 DSSD 등에서 서버 SAN 기술을 확장해 나갈 것이라고 하는데요, 이러한 소프트웨어 정의 스토리지 기술의 확장, 확대 적용이 지금은 느린 속도로 전개되지만 앞으로 수 년 내 그 속도가 더욱 더 빨라질 것이라는 것은 어느 정도 예견되는 추세가 아닌가 싶습니다. 여러 IT 벤더들 역시 다양한 방식으로 그리고 고유의 방식으로 미래 시장을 준비하고 있는데요, 클라우드, 하이퍼컨버지드, 서버 SAN 등은 서로 밀접하게 연결되어 데이터센터의 미래와 IT의 중핵으로 성장을 하게 될 것입니다.

(Image source from Overseas Family School)

학제성(學際性)이라는 단어가 생각납니다. 사실 학제성이라는 단어가 어울리지 않습니다. 학문간의 관련성과 연계성을 뜻하는 이 어려운 단어가 IT를 바라보는 관점에서 필요한 것이 아닌가 생각해 봅니다.

.

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License


 

티스토리 툴바