오픈 소스와 소프트웨어 기술 등이 조합을 이루면서 데이터 센터 전체가 변화할 것 같다는 생각이 듭니다. 웹 스케일(web scale)이라는 것이 데이터 센터의 큰 조류가 될 지는 알 수 없지만 무척이나 이 단어를 많이들 사용합니다. 구글이나 페이스북을 보면서 이른바 확장성의 기준이 웹 스케일이라는 초대형으로 설계되고 운영되어야 한다는 것을 이야기 하고 있지만 실제 대부분의 기업들에서는 그렇게까지 웹 스케일이라는 규모가 요구될까 하는 생각이 듭니다. 하지만 정말 중요한 것은 웹 스케일이 아니라 소프트웨어로 정의되는 인프라스트럭처라는 점입니다. 소프트웨어로 뭐든지 정의한다는 이른바 “Software Defined Anything”의 과정이나 전제가 웹 스케일과 같은 특성이 될 수 있을 것입니다. 소프트웨어로 뭐든지 만들 수 있다는 발칙(?)한 상상력은 오픈 소스 소프트웨어와 x86서버 등을 토대로 계속 ‘진행 중’입니다.

Software Defined Anything을 보면서 상당히 흥미로운 기술을 보았습니다. 큐물러스 네트웍스(Cumulus Networks; 이하 큐물러스)라는 소프트웨어 정의 네트워크(software defied network) 기술을 구현하는 기업입니다. 규물러스는 2010년 1월에 캘리포니아 마운틴 뷰에서 설립되었고, 시스코(Cisco)와 VM웨어 등의 출신으로 이뤄진 기업니다. VM웨어의 기술이 x86서버에 가상 머신(VM)을 올리는 것이라고 한다면 큐물러스의 기술은 일반적인 스위치에 큐물러스의 Network OS를 올려서 가상의 네트워크 스위치를 만드는 것이라고 할 수 있습니다. 슬라이드셰어에 큐물러스의 슬라이드 자료를 보니 잘 설명하고 있는 그림이 있어 아래에 붙여 봅니다.

델(DELL)은 2014년에 큐물러스와 파트너십을 맺고 비즈니스를 시작했습니다. 델의 네트워킹 장비에 큐물러스 소프트웨어를 올린다는 것인데요, Dell S4810-ON이나 S6000-ON 등의 스위치를 기반으로 SDN 전략을 수행할 수 있을 것이라는 생각이 듭니다. 큐물러스의 소프트웨어 기술이 모든 스위치에 올라가지는 못합니다. 그래서 큐물러스는 HCL(Hardware Compatibility List)를 홈페이지에 게시하고 있는데요, 아직 많은 하드웨어 업체들의 참여를 이끌어 내지는 못하고 있습니다. 지원되는 스위치 업체들을 보면, 델을 비롯하여 퀀타(Quanta), 펭귄 컴퓨팅(Penguin Computing), 엣지코어(Edge-core) 등이 있으며 일부 제품 모델에 한정하고 있어 제품을 시험 삼아 경험해 보는 것이 쉽지는 않아 보입니다.

이 기업의 투자 내역을 보았습니다. 2012년 10월에 1,500만 달러로 시리즈 A를 시작하였고, 2014년 1월에는 3,600만 달러를 유치하였습니다. 투자 기업 중에 Andreessen Horowitz가 있는데요, “Software is eating the World”라는 유명한 말을 남긴 Marc Andreessen이 있는 곳입니다(관련 글 링크). 큐물러스의 홍보 영상에 보면 Marc Andreessen이 나와서 기업에 관한 좋은 말을 하는 장면이 나오는데, 그 이유가 있었네요.

델은 ‘Blue Thunder’이라는 이름으로 소프트웨어 정의 스토리지(SDS; software defined storage) 전략을 추진하고 있습니다. 스토리지 소프트웨어 기업인 넥센타(Nexenta)와의 OEM 공급 계약을 비롯하여 뉴타닉스(Nutanix)와도 OEM 계약을 맺어 CI(Converged Infrastructure) 비즈니스를 하고 있습니다. 뿐만 아니라 레드햇(Red Hat)과의 협업을 통해 오픈스택(OpenStack)과 Ceph 비즈니스를 할 수 있는 토대를 마련해 두었고 클라우데라(Cloudera)와 빅 데이터 사업, 마이크로소프트와는 Storage Spaces, VM웨어와는 EVO:RAIL 사업까지 확장하고 있습니다.

마이크로소프트는 델과의 관계가 매우 특별하다고 할 수 있는데요, 투자자이면서도 동시에 OEM 판매자이기도 한 델은 일종의 어플라이언스 형태로 ‘CPS(Cloud Platform System)’까지 만들었는데, CPS의 경우 델의 하드웨어(서버, 스토리지, 네트워크)와 마이크로소프트의 하이퍼-V와 시스템 센터 등을 기반으로 클라우드 소프트웨어(애저; Azure)를 올린 제품입니다. 

(출처: 테크넷, http://blogs.technet.com/b/windowsserver/archive/2014/10/20/unveiling-the-microsoft-cloud-platform-system-powered-by-dell.aspx)

CPS의 소프트웨어 스택을 보면 스토리지 부문에 Storage Spaces를 볼 수 있습니다. 델 스토리지 중에서 별도의 기능(예를 데이터 서비스 기능)이 없는 일반 디스크 스토리지(commodity storage, JBOD)를 Windows Server 2012 이상에서 제공하는 Storage Spaces라는 기능을 이용해서 소프트웨어로 정의하는 스토리지를 만들었습니다. 우리 말로는 ‘저장소 공간’이라는 말로 번역되었는데요, 테크넷에도 비교적 상세하게 기술 소개가 되어 있습니다. Storage Sapces는 레드햇의 Ceph나 EMC의 ScaleIO와 사실 매우 유사합니다. 다만 차이가 있다면 스토리지 시스템을 만들기 위한 운영체제가 다를 뿐이라는 것 뿐이죠. SDS를 위한 방법론으로서 Microsoft Storage Spaces는 다양한 RAID 기술과 씬 프로비저닝, 스토리지 풀 등 일반적인 스토리지가 제공하는 기능들 상당 부분을 제공하고 있습니다.

클라우드를 생각해 보겠습니다. 클라우드가 데이터센터의 미래가 될 것임에는 현재로서 크게 이변이 없는 한 틀린 명제는 아닐 것입니다. 가트너(Gartner)가 실시한 최근 클라우드 사용에 관한 설문 조사 결과에 따르면 조사 대상 기업의 75%가 퍼블릭 클라우드 서비스를 사용하고 있고 향후 3년 내 78%는 투자를 늘릴 것이라고 합니다. 또한 조사 대상의 91%는 클라우드 도입과 관련해서 외부의 제공자(provider)들을 이용할 것이라고 하는군요.

이렇게 기업들이 클라우드를 도입하는 가장 큰 이유는 “비용 절감”입니다. 반대로 주저하는 이유 중 가장 큰 것은 “보안과 프라이버시”라고 합니다(앞의 가트너 자료 참조). SDS로 기업의 데이터 저장소를 만들고 큐물러스와 같은 기술을 이용하여 SDN을 만들면 비용이 줄어들까요? 확신이 서지 않습니다. 오픈 소스 기술이 제품의 가격은 낮추는데 기여하지만, 상대적으로 보다 깊은 지식을 갖춘 인력이 필요하기 때문에 비용이 줄어든다고 획일화 시키는 것이 타당한 것일까 하는 생각이 듭니다.

큐물러스의 각종 자료와 유투브 영상을 보면서 큐물러스의 주장에 한 가지 중요한 것을 확인할 수 있었습니다. “Programmable”이라는 것입니다. SDS나 SDN이 만능은 아닐 것이지만 “프로그래밍 가능한” 스토리지이고 네트워킹 장비라면 비즈니스가 원할 때 바로 신속하게 프로비저닝하여 필요한 리소스를 제공할 수 있는 것이 바로 민첩성(Agilty)이고 그것이 바로 클라우드이며, SDDC가 아닐까 생각해 봅니다.

앞서의 SDS 기술들과는 다른 접근 방식의 소프트웨어 기술이 있습니다. 하이퍼 컨버지드 인프라스트럭처(Hyper Converged Infrastructure; HCI)를 지향하는 스토리지 소프트웨어 기술인데요, 맥스타(Maxta)스트라토스케일(Storatoscale) 등이 그러한 기업들입니다. 이들은 단순히 SDS를 지향하기 보다는 데이터센터나 HCI를 목표로 하고 아직은 크게 두각을 내지 않고 있지만 주목해야 할 기업들임에는 틀림 없습니다. 그리고 바로 얼마 전 스프링패스(Springpath)라는 산뜻한 이름의 기업도 이 대열에 합류하였습니다.

맥스타는 스토리지 최적화에 초점을 맞추고 있고 스트라토스케일은 오픈스택과 컨테이너 지원에 역점을 두고 있습니다. 한편 스프링패스는 기본적으로 스토리지 기술을 바탕으로 VM웨어 뿐만 아니라 KVM 하이퍼바이저, Cinder API 지원, 도커(Docker) 지원과 같이 커버리지를 넓히기 위한 시도를 진행하고 있다고 하는군요.

SDN 업체라고 할 수 있는 큐물러스, 그리고 파트너십을 통해 비즈니스 영역을 넓히려는 델, 그리고 하이퍼 컨버지드 인프라 기술을 중심으로 시장에 나오려고 하는 신생 기업들도 보았습니다. 에버랜드의 경쟁사가 이케아(IKEA)라는 이야기가 자꾸 머리를 맴 돕니다. 경쟁사와 경쟁사에 대한 정의가 쉽지 않습니다. 내가 하는 일에 대한 끊임 없는 재정의가 필요하고 그래서 늘 새롭기만 한 업종인가 봅니다.   

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

하둡과 NoSQL의 시장은 어떻게 될까

일? Work ? IT! 2015.02.16 05:15 Posted by Storage Story

하둡(Hadoop)과 NoSQL이 상당한 각광을 받고 있는 시대입니다. 하둡이나 NoSQL이 현재 주종을 이루는 시스템을 대체할 수는 없지만 새롭게 등장하는 비즈니스 분야에서는 그 역할을 충분히 하고 있습니다. 유닉스로 대표되는 오픈 시스템은 메인프레임을 대체하면서 다운사이징을 주도했고 이제 그러한 오픈 시스템의 부족한 부분은 하둡이나 NoSQL에 의해 대체 또는/그리고 보완되고 있는 상황일 것입니다. 물론 완전히 새로운 분야도 있지요.

그렇다면 이러한 하둡과 NoSQL의 시장은 어떨까요? 작년(2014년) 말에 위키본 프리미엄(Wikibon Premium)이 내놓은 보고서(Hadoop-NoSQL Software and Services Market Forecast, 2014-2017)가 상당히 흥미롭습니다. 위키본에 따르면 현재의 IT는 비용(Cost)과 성능(Performance), 그리고 비즈니스 민첩성(Agility) 등에 문제가 있다고 진단하면서 이러한 것들에 대한 대안으로서 하둡과 NoSQL이 등장하였다는 것입니다. 현재 빅 데이터를 실행에 옮기고 있는 기업들 상당수는 하둡에서 실행하고 있고 이러한 하둡은 클라우드에 기반하여 운영이 되고 있다는 조사 결과를 내놓고 있습니다.

위키본에 따르면 2014년 6억 2천 1백만 달러의 시장이 하둡에서 만들어졌다고 합니다. 이 수치는 소프트웨어 비용(대부분이 구독료 기반; subscription)과 전문 서비스(professional service) 등을 포함한 것이라고 하는군요. 그리고 이 시장은 2017년이면 17억 달러가 되면서 거의 3배 성장하게 될 것이라는 전망을 내놓고 있습니다. 한편 NoSQL과 관련해서는 소프트웨어 비용과 전문 서비스 등을 포함하여 2014년에 4억 1천 1백만 달러에 이르는 시장을 형성할 것이고 2017년에는 15억 달러 이상에 이르는 시장을 만들게 될 것이라고 주장합니다. 재미있는 것은 하둡과 NoSQL이 2014년의 경우 2억 달러 이상의 차이가 있지만 2017년이면 큰 차이가 없게 될 것이라는 것인데요, 그만큼 NoSQL의 시장 성장세가 가파르다는 것인데, 왜 그런지에 대한 분석이 아쉽습니다.

현재 하둡 시장은 7개의 벤더들이 전체 시장의 64%를 점유하고 있다고 하는데, 클라우데라(Cloudera), IBM, 액센추어, 아마존, MapR, 피보탈(Pivotal), 호튼웍스(Hortonworks) 등이 그 회사들입니다(순서 없음). 그 중 클라우데라와 호튼웍스, 피보탈, MapR 등이 하둡과 관련 순수한 플레이어들이라고 할 수 있고 그 외의 기업들은 이들 기업과는 성격이 다소 다르다고 할 수 있습니다. 구체적인 수치를 여기 블로그를 통해 공개할 수 없어 아쉽지만 여러 인터넷 매체들을 둘러 보면 전반적인 경향은 확인해 볼 수 있을 것 같습니다.

하둡 시장의 흐름에서 중요하게 살펴야 할 것 중 하나는 투자가 어디서 누구에 의해 일어나는가 하는 점일 것입니다. 전략적 가치와 판단에 따라 투자가 이뤄지는 것을 생각해 본다면 누가 누구에게 얼마나 주느냐가 의미가 있습니다. 이런 맥락에서 살펴본다면 클라우데라는 2014년 인텔이 무려 7억 4천만 달러 달러나 투자를 하였습니다. 당시 인텔은 이러한 투자를 발표하면서 인텔이 가지고 있는 각종 IP를 포기하면서 이를 클라우데라에게 넘겼습니다. 또 다른 투자도 있었습니다. 구글 캐피탈(Google Capital)은 MapR에 1억 1천만 달러를 투자하였고 HP는 호튼웍스에 5천만 달러를 투자하였습니다. 게다가 피보탈은 EMC에서 스핀오프(Spinoff)하였고 EMC와 VM웨어에서 투자를 한 기업입니다. 잘 생각해 보면 순수하게 하둡을 하는 기업이라고 할 수 있는 클라우데라나 호튼웍스, 피보탈 그리고 MapR 등에 돈이 몰리고 있고 이는 달리 말해서 이들 기업들이 향후 하둡 시장에서 그 역할이 커질 것이라는 또 다른 추측, 추정 등을 가능하게 합니다.

위키본의 리포트에서 가장 시선이 많이 잡는 것이 하둡 시장 성장세 부문이었는데요, 2014년 6억 2천 1백만 달러에서 2015년이면 9억 달러가 넘는 시장을 형성하게 될 것이고 2017년이면 16억 달러에 이르는 시장을 형성하면서 40%가 넘는 폭풍 성장세를 전망하고 있습니다. 이러한 시장 전망과 그에 따른 주요 기업들의 막대한 투자 등은 우리가 하둡에 대해 더 많이 알아야 하는 이유가 되기도 하는군요.

하지만 더 놀라운 것은 NoSQL의 시장 성장세입니다. 리포트를 통해 위키본은 2011년 4억 1,100만 달러 시장이었던 것이 2017년 15억 달러가 넘는 시장을 형성하게 될 것이라는 것인데요, CAGR로 따져보면 50%에 달하는 기록적인 수치입니다. 그럼 누가 NoSQL에서 가장 잘 나가는 주자일까요? NoSQL을 어떻게 정의하고 어떤 기업들을 NoSQL 범주에 넣을 것이냐에 따라 달라질 것 같은데요, 우선 매출 기준으로 시장 점유율을 보면 마크로직(MarkLogic), 아마존(DynamoDB), MongoDB, 데이터스택스(DataStax) 등의 순입니다. 마크로직은 2013년 8,500만 달러의 매출을 올렸고 2014년 예측치는 1억 2백만 달러라고 하는군요. 아마존의 다이나모DB는 2013년 6,800만 달러, 2014년 예측치는 8,700만 달러입니다. 사실 2개 업체가 2014년 (예측치 기준) 1억 8,900만 달러로 전체의 45%가량을 차지합니다. 그런데, NoSQL을 이렇게 분류해 버려도 되는 건지 약간은 의구심이 듭니다.

예를 들어 마크로직의 경우 가트너(Gartner)에서는 Operational DBMS라는 이름으로 데이터베이스를 분류하고 있습니다. 거의 모든 DB를 다 포함시키기 때문에 이것만 봐서는 분류(segmentation)하기가 어렵습니다. 한편 포레스터(Forrester)는 Document-Oriented NoSQL로 구분합니다. NoSQL이 아니라고 말하는 것이 아니라 NoSQL이 너무 커지니까 조금은 분류를 해 보는 것이 어떻겠는가 하는 생각이 듭니다. 위키본은 NoSQL 데이터베이스에 Key-Value Store, Document database, Column store, graph database 등을 포함시키고 있습니다. 위키본이 포함시킨 NoSQL을 조금만 분류했더라면 어땠을까 하는 생각이 듭니다. 아래 가트너나 포레스터 리서치의 평가를 잠시 보겠습니다.

 

(출처, 가트너 2014.10. Magic Quadrant for Operational Database Management Systems)

(출처, 포레스터리서치 2014. Forrester Wave for document-oriented NoSQL databases)

(출처, 포레스터리서치 2014. Forrester Wave for key-value store NoSQL databases)

MongoDB의 2014년 예상 매출은 4,600만 달러이고 카우치베이스(Couchbase)의 2014년 예상 매출은 1,800만 달러입니다. 상위 2개 업체가 워낙 이 분야의 시장을 점하고 있는 것처럼 보이지만 조금은 생각해 봐야 할 부분인 것 같습니다. 이 부분은 좀 더 시간이 필요하지 않나 하는 생각이 드는군요. 

NoSQL 분야는 기업 내외부의 다양한 유형의 데이터를 처리하는데 있어 유용한 툴이면서 동시에 일반적인 하드웨어(commodity hardware) 상에서 동작하고 대개는 오픈소스를 기반으로 하고 있어 그 적용 속도가 매우 빠르다는 것이 특징일 것입니다. 게다가 2015년 상당히 많은 기관과 전문가들이 IoT의 해가 될 것이라고 하는데, 그 중심에서 NoSQL이 상당 역할을 하게 될 것입니다. 머신(machine)에서 나오는 데이터를 처리할 수 있는 것은 물론 RDBMS에서도 할 수 있겠지만 보다 경제적이고 빠른 처리를 위해서는 NoSQL이 대안이 될 수 있을 겁니다. 위키본은 NoSQL이 결국에는 극적인 성장을 할 것이고 하둡 시장을 넘게 될 것이라고 전망합니다.

하둡과 NoSQL은 기존 데이터웨어하우스나 RDBMS 등에 염증이나 불만을 가지고 있는 사람들에게 가장 비용 효과적이고 확장성과 유연함, 그리고 비즈니스에서의 민첩성을 높일 수 있는 방법으로서 선택을 받게 될 것이라는 전망입니다. IT 업계에 몸 담고 있는 사람들이라면 상당히 많은 사람들이 이러한 생각을 하고 있을 텐데요, 위키본의 리포트는 그것을 비교적 자세하게 풀어내었습니다. 다만 아쉬운 것이 있다면 왜 그렇게 폭발적으로 성장을 할 것인가에 대한 스토리가 부족하다는 것입니다. 13페이지에 달하는 리포트에서 시장 전망과 예측치에 대한 근거, 그러한 동력(driver)에 대한 내용이 아쉬웠지만, 그럼에도 불구하고 하둡이나 NoSQL에 관한 예측이 별로 없는 가운데 나온 터라 무척이나 반가운 리포트였습니다.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고