Storage Story

오늘은 이상한 제목으로 이야기를 시작해 보겠습니다.

소프트웨어 정의 스토리지 기업인 맥스타(Maxta, Inc.)와 인텔(Intel Corp.)이 후원하고 리서치 기관인 451 리서치(451 Research LLC)가 발간한 ‘Software-defined storage and Hyper-converged infrastructure in the midmarket’이라는 보고서(다운로드를 위해서는 등록 필요)가 얼마 전에 나왔습니다. 사실 요즘 소프트웨어로 모든 것을 정의하는 이른바 Software defined anything이라는 것이 대세가 되고 있는 듯 한데요, 앞으로 소프트웨어가 세상을 집어 삼킬 것(Software is eating the world)이라는 이런 문구는 분명 사실로 드러나게 될 것으로 보입니다.

이 보고서를 살펴 보겠습니다. 총 5개의 파트로 구성되어 있는 이 보고서는 미드마켓(Midmarket)을 타깃으로 하고 있습니다. 여기서 정의하는 미드마켓이란 매출 1억 달러에서 10억 달러 미만의 기업으로서 이들 기업들을 대상으로 소프트웨어 정의 스토리지와 컨버지드 인프라에 관한 설문 조사 결과를 담고 있습니다. Part 1에서는 미드마켓에 관한 이야기를 담고 있고 Part 2와 Part 3에서는 소프트웨어 정의 데이터와 컨버지드 인프라에 관한 내용을 싣고 있습니다.

이 보고서에 따르면 SDS(software defined storage)가 나온 지 5년이 넘고 – 정말일까 싶지만 – 그리고 솔루션에 따라 다르겠지만 SDS는 비용, 복잡성, 위험성 등의 관리 면에서 우수한 점이 있다는 것이 공통되는 핵심 이점(benefits)이 있다고 정리하고 있습니다. SDS를 위해서는 어떻게 보면 전제 조건이라고 할 수 있는 서버 가상화(server virtualization)의 진척 정도를 살펴야 할 것인데요, 이 보고서에 따르면 이미 미드마켓의 50% 이상이 서버 가상화를 했다고 밝히고 있습니다. 스토리지 측면에서는 스토리지의 복잡성, 적절한 유지/관리 인원의 문제 등은 이 시장(midmarket)이 성장하면서 대형 시장(large enterprise)과 다르지 않다는 점입니다.

이러한 문제점을 바탕으로 200개의 미국 기업들의 데이터센터, 스토리지 시스템 등의 운영 관리자와 관련 임원들을 대상으로 설문을 실시하였습니다. 설문 대상자들이 가지는 스토리지 시스템에서의 과제는 무엇인가 하는 설문에서 데이터 관리, 관리 인원의 육성, 관리의 복잡성 등이 가장 어려운 과제로 꼽고 있습니다(아래 그림 참조). 이들이 관리하는 데이터는 통상 25TB 이상이고 경우에 따라서는 50TB 이상인 기업도 있었다고 하는군요.

이러한 결과는 지난 4월(2014년) SNIA에 올린 맥스타의 “Thinking outside of the storage box”라는 프레젠테이션 자료와도 그 맥이 닿아 있습니다. 왜 SDS인가를 설명하는 것을 보면 아래 그림에서 보아 알 수 있듯이 비용 감소, 비즈니스 신속성과 가용성, 여러 플랫폼 지원, 확장성 등이라고 되어 있습니다.

(출처: SNIA, Thinking outside of the storage box, 2014, 04)

이러한 논조는 사실 맥스타의 제품과 관계가 있습니다(당연히 그러하겠지만). 다시 설문 조사 리포트를 보겠습니다. 아래와 같은 글을 볼 수 있는데요, SDS를 서버 클러스터 상에 올리고 스토리지 기능을 제공함으로써 스토리지 어레이와 스토리지 네트워크(SAN)을 걷어낼 수 있다고 주장합니다(아래 해당 원문 참조).

Software-defined storage(SDS) is created by loading software onto any cluster of standard servers and leveraging any type of server-side storage devices, while providing shared storage capabilities. SDS elimates the needs for storage arrays and storage area networks

그래서 이러한 SDS를 실제로 자신들의 데이터센터에 적용하는 것에 대해 다소 고려(somewhat likely to consider)하고 있다고 응답한 경우가 75%이고 신중히 고려(very likely to consider)하고 있다고 응답한 경우가 25%에 이릅니다. 북미지역만 해도 SDS에 관한 생각이 이렇게 커가고 있구나 하는 생각이 들면서 조사 방법론 자체에 약간의 불손한(?) 의심이 들어 정말 그럴까 하는 생각마저도 듭니다. 왜 그들은 SDS를 생각하고 있는 것일까요? 충분히 예상할 수 있지만 다음과 같습니다(가독성을 고려해서 번역을 하였으니 필요하신 분은 원문을 참조하시길 바랍니다).

• 스토리지 관리를 단순하게 하기 위해서 _ 52.11%
• SAN 관리를 단순하게 하기 위해서 _ 49.47%
• 스토리지 자원의 최적 활용과 효율성 증대를 위해서 _ 45.26%
• 확장성을 위해서 _ 41.05%
• 데이터 보호 정책을 향상시키기 위해서 _ 40.53%

40% 이상의 응답만을 꼽아 봤는데요, 여기에서 뭔가 중요한 맥락을 읽을 수 있을 것 같습니다. 요약해 보자면 “데이터는 늘어나는데 관리하기 힘들다”라는 것이죠. 공감하시나요? 기업의 성장에 따라 데이터도 늘어나고 인력도 늘어나는 것도 당연하겠지만 이른바 스태프(Staff)의 인력까지 동반해서 늘어나게 되면 고정 비용 증가로 수익을 상쇄해 버리는 경우가 발생하기 때문에 기존 직원들에게 더 많은 일이 가해지는 것이 분명한 현실일 겁니다. 결국 관리 효율에 관한 문제가 발생하고 보다 더 쉽게 그래서 더 많은 시스템을 소수의 사람들이 관리할 수 있도록 해야 할 것입니다. 이를 위한 스토리지 기능들로는 플래시 드라이브(캐싱 포함)와 하드 디스크 드라이브의 혼용 구성과 관리, 가상 머신 수준에서의 스토리지 관리, 압축(compression), 스냅샷과 클로닝(cloning), 중복 제거(deduplication) 등이 있습니다.

Part 3에서는 좀 더 구체적인 접근 방법으로서 보고서에서는 하이퍼 컨버지드 시스템(Hyper-converged systems)라는 이름을 거론하고 있습니다. 이름이 거창하게 보이지만 사실 일반적으로 통용되는 CI(converged infrastructure)와 다를 바 없습니다. CI 경향에 대해서는 이전에도 몇 차례 적어 보았는데요, 이들이 정의하는 하이퍼 컨버지드 시스템은 아래와 같습니다.

Hyper-converged systems consist of standard servers that implement both compute and storage functionality, leveraging software and server resources. A hyper-converged system is delivered either as an appliance, or as software-only

우리 말로 바꿔보면 하이퍼 컨버지드 시스템은 표준 서버로 구성되어 컴퓨트와 스토리지 기능을 수행하는데, 소프트웨어와 서버 리소스를 이용하는 것으로 하나의 어플라이언스 형태 또는 소프트웨어로만 구성되는 형태로 제공된다는 것입니다. 소프트웨어로만 구성되는 형태도 있다는 점은 통용되는 개념의 CI와는 분명한 경계선이 있습니다.

이는 맥스타 제품의 컨셉과도 닿아 있습니다. 맥스타는 ‘컨버추얼라이제이션(Convirtualization)’는 낯선 용어를 꺼내면서 가상화된 환경에서 통합된 UI(integrated UI)를 이용, 컴퓨트와 스토리지를 운영, 통제할 수 있는 체제를 가지면 OPEX와 CAPEX를 최적화 할 수 있다고 주장합니다. 이들이 Convirtualization을 말하는 이유는 서버 기술의 비약적인 발전(CPU 코어, 메모리 용량, 네트워크 대역폭 등)과 많아지는 가상화 경향, 플래시 최적화된 아키텍처, 클라우드 추세 등입니다.

(출처: SNIA, Thinking outside of the storage box, 2014, 04)

맥스타의 스토리지 기술이 제공하는 것은 스냅샷과 클로닝, 씬 프로비저닝, 인라인 압축 및 중복제거, 고가용성(replication이 필요) 등이며, 가장 중요한 것은 글로벌 네임스페이스(global namespace)입니다. 이것을 이용해 대형 스토리지 풀을 만들 수 있으며 이 풀에 여러 대의 VM이 접속할 수 있도록 하는 것이죠. 플래시와 관련해서 기능을 보니, VM에서는 플래시에 우선 데이터를 쓰고, 이때 기록(write)되는 데이터는 random IO 형태이고, 이 플래시에서 데이터를 일정 수준 보관하다가 하드 드라이브(예: SATA)로 순차적인 형태(sequential write)로 기록하게 한다고 하는군요. 그런데 흥미로운 것은 2013년 11월에 발표한 ESG의 리포트를 보면 이 부분에 대한 언급을 아래와 같이 하고 있습니다.

Although Maxta uses dispersed storage devices across multiple servers, it all essentially becomes one large pool of storage that any VM on any server can access.

(출처: Solution Brief, Can Maxta Eliminate the Storage Array?, November 2013)

상기 리포트는 2013년 11월에 나온 것이므로, 1년 전의 리포트이고, 지금은 기술의 진보와 더 많은 고객을 확보했을 겁니다.

스토리지 산업 협회 쯤 되는 SNIA(The Storage Networking Industry Association)에서는 아직 드래프트 버전이지만 SDS를 주제로 발간한 보고서(2014년 4월)가 있는데, 여기에 따르면 소프트웨어 정의 스토리지의 속성(attributes)을 다음과 같이 정의하고 있습니다.

• May allow customers to “build it themselves,” providing their own commodity hardware to create a solution with the provided software.
• May work with either arbitrary hardware or may also enhance the existing functions of specialized hardware.
• May also enable the scale-out of storage (not just the scale up typical of big storage boxes).
• Nearly always includes the pooling of storage and other resources.
• May allow for the building of the storage and data services “solution” incrementally.
• Incorporates management automation.
• Includes a self service interface for users.
• Includes a form of service level management that allows for the tagging of metadata to drive the type of storage and data services applied. The granularity may be large to start, but is expected to move to a finer grained service level capability over time.
• Allows administrators to set policy for managing the storage and data services.
• Enables the dis-aggregation of storage and data services.

그러면서 동시에 SDS를 구축하는데 있어 (스토리지) 가상화만을 의미하는 것이 아닌 컨트롤 패스(control path) 역시 추상화되어 제공되어야 한다고 언급하고 있습니다.  SDS를 위한 필수 기능은 자동화(Automation), 표준 인터페이스(Standard Interface), 가상화된 데이터 경로(Virtualized Data Patch), 확장성(Scalability) 등으로 요약하면서 아래와 같은 그림으로 정리하고 있습니다.

(출처: Software Defined Storage, Working Draft, April, 2014)

여기서 중요한 것은 데이터 패스(data path)와 컨트롤 패스(control path)라는 점입니다. SDS는 이렇게 경로를 이원화 하고 있는데, 여기서 이것이 물리적인 이원화냐 혹은 논리적인 이원화냐 하는 것이 중요한 것은 아닙니다. 물리적으로 2개의 경로(path)를 분리하고 싶다면 분리해도 되는 것이고 단일하게 만들고 싶다면 그러해도 됩니다. 이는 순전히 워크로드(workload)에 의해 결정되는 것입니다. 그리고 이러한 SDS 개념이 서비스 수준 관리로 연결되고 전체적으로 큰 그림 차원에서 SNIA에서는 아래와 같이 그려가고 있습니다.

(출처: Software Defined Storage, Working Draft, April, 2014)

다시 맥스타로 돌아와 보겠습니다. 기업 정보를 살펴보니 맥스타는 2009년에 설립되었고 2014년 11월 현재까지 3개 투자사로부터 2차례의 펀딩을 받았습니다. 2013년 11월에 1천만 달러를 안델센 호로비츠(Andreessen Horowitz)로 부터 받았고 2014년 5월에는 기존 투자사에 더해 테네야 캐피탈(Teneya Capital)과 인텔 캐피탈(Intel Capital) 등으로부터 2천 5백만 달러를 투자 받았습니다. 총 3천 5백만 달러를 유치한 맥스타는 현재 요람 노빅(Yoram Novick)이라는 사람이 CEO이자 창업자인데요, 노빅은 IBM에서 스토리지 시스템 개발 경험을 바탕으로 복제 소프트웨어 전문 기업이었던 토피오(Topio)를 설립하였고 이를 2006년 11월 넷앱(NetApp)에 1,600만 달러에 매각한 인물이기도 합니다.

맥스타의 기술이 현재로서는 크게 대단해 보이진 않습니다. 거의 대부분 현존하는 기술들이고 새로운 기술이라기 보다는 현존 기술들의 조합이라는 면에서 놀라울 것도 없습니다. 최근 에디톨로지라는 용어를 들고 나온 김정운 문화심리학자처럼 기존 있는 기술들을 편집해 내는 것이 창조인 듯 합니다. 선택과 집중의 시대에서 편집의 시대를 주장하는 그의 말처럼 맥스타의 기술 편집성이 눈에 띄는 그런 것이죠.

하긴, 저 역시도 지금 이 순간 편집을 하고 있군요.

- fin -

가을입니다. 하늘이 높아지고 나뭇잎들은 색깔을 바꾸면서 겨울을 준비하는 계절입니다. 이른바 문명을 이룬 인간을 빼고는 대부분의 동식물들이 겨울을 준비하면서 살아남으려는 노력을 합니다. 그렇다고 해서 겨울 준비를 전혀 안하고 있다는 것은 아니며, 김장을 생각해 본다면 여전히 우리 안에 남아 있는 중요한 행사 중 하나일 것입니다. 가을의 수확의 또 다른 의미는 그래서 준비일지도 모릅니다.

계절의 변화는 인류의 문명에 영향을 미쳤는데, 이른바 달력의 사용은 계절의 변화와 아주 밀접한 관계가 있고 1년이라는 단위로 의식적인 단절을 통해 끝내고 새로 시작하는 논리적인 재설정(reset)을 하는 것입니다. 회계와 부기라는 개념이 보편화 되면서 기업들은 특정 시점에서 끝을 내고 새롭게 한 해를 시작합니다.

기술은 어떨까요? 기술이라는 것은 의식적인 단절이 없어 보입니다. 사실 기술은 문명의 한 분야라서 한번에 사라지거나 시대적 청산을 하는 대상일 수는 없을 것입니다. 우리 안에 있는, 그러니까 범위를 한껏 줄여서 IT 산업이라는 것으로 좁혀 보면 새로운 기술이 나타나고 있고 이 중에는 기존의 업계를 완전히 재편성 하게 될 것이 있습니다. 흔히들 잘 아는 용어로 ‘와해성 기술(Disruptive Technologies)’이라고 합니다.

스토리지 산업계에서의 와해성 기술은 뭐가 있을까요? 플래시와 같은 것이 대표적인 와해성 기술이고 좀 더 범위를 넓혀서 IT 업계에서의 와해성 기술이라고 하면 오픈 소스와 클라우드 컴퓨팅이 그것이 아닐까 생각해 봅니다.

현재의 컴퓨팅 환경 전반을 이루고 있는 인프라를 보면 지난 20여 년간의 지배적 역할을 담당했던 중핵들이 있고 이들 시장 주자들에 의해 산업이 발전하고 성장을 해 왔습니다. 그런데 최근의 경향을 보면 또 다른 시대로의 전환, 이른바 클라우드 컴퓨팅 환경으로의 전환을 위해 부단히 노력하고 있습니다. 지난 며칠 동안 스토리지 2개 기업, EMC와 NetApp은 클라우드 컴퓨팅으로의 변신을 위해 업체 인수를 단행하였습니다. 그 모습을 보면서 잠시 생각해 보았습니다.

EMC는 클라우드스케일링(The Cloudscaling Group, Inc.)와 매지내틱스(Maginatics, Inc.), 그리고 스패닝 클라우드 앱스(The Spanning Cloud Apps, Inc) 등을 인수하였고 NetApp은 리버베드(Riverbed Technology)의 스틸스토어(SteelStore) 사업을 인수하였습니다. 이들 기업의 인수 및 매각과 관련해 금액은 공개된 바는 없습니다만, 최소한 투자 금액 이상의 금액을 인수의 비용으로 사용하지 않았을까 추론해 볼 수 있습니다. NetApp이 인수한 리버베드 스틸스토어는 리버베드의 R&D 비용으로 투자된 것이라 금액을 추정하기 어렵지만, EMC가 인수한 3개 기업들은 VC들의 투자금액이 있으니 그것을 확인해 보겠습니다.

클라우드스케일링은 2006년에도 설립된 클라우드 컴퓨팅 전문기업으로 국내에서도 상당히 알려진 회사입니다. 그간의 투자를 보니 2011년에 시리즈 A로 4백만 달러, 2013년에 1천만 달러가 투입되었습니다. 투자기업들은 트리니티 벤처스(Trinity Ventures), 주니퍼 네트웍스(Juniper Networks), 시게이트 테크놀러지(Seagate Technology) 등입니다. 주니퍼나 시게이트 등은 워낙 잘 알려진 IT 기업이니 그냥 넘어가고 트리니티 벤처스의 포트폴리오를 보면서 이 투자기업을 생각해 보았습니다. 트리니티 벤처스는 우리가 아는 상당 기업들에 투자를 하고 있는데요, 뉴렐릭(NewRelic)이나 스타벅스, 닥커(Docker), 노벨(Novel), 마모트(Marmot), 잠바쥬스(Jamba Juice) 등 120여개가 넘는 기업들에 투자를 하고 있습니다. IT 뿐만 아니라 여러 산업군에 걸쳐 전반적으로 투자를 하고 있어 투자에 관한 전문성이 있는 기업으로 알려져 있네요. 클라우드스케일링에 트리니티가 시리즈 A를 진행하면서 4백만 달러를 넣었고 시리즈B에서는 주니퍼나 시게이트와 같이 투자를 했으니 이번 매각으로 상당 수익은 올렸겠네요.

출처: 유투브

매지내틱스는 2010년에 설립된 클라우드 스토리지 기업으로 시리즈 A가 2011년에 있었고 이때 1천만 달러를 유치했었습니다. 당시 투자 기업들은 아틀랜틱 브릿지(Atlantic Bridge), VMware, EMC Ventures 등이 있었습니다. EMC Company가 상당히 있었다는 것이 흥미롭네요. 그 중에서도 사실 EMC 벤처스는 여러 스타트업의 투자역할을 하고 있기도 한데요, 클라우드 기반의 백업, 아카이브, GRC(Governance, Risk, Compliance) 솔루션 업체인 드류바(Druva)의 주요 투자자이기도 하고 또 역시 클라우드 기반의 보안 및 분석 등을 하는 보스택(Vorstack)의 핵심 투자자 중 하나입니다. 시리즈 B를 통해 매지내틱스는 1천 7백만 달러를 투자 받게 되는데요, 여기에는 시리즈 A를 추진했던 아틀랜틱 브릿지와 VMware를 포함해서 인텔 벤처스, 컴캐스트 벤처스(Comcast Ventures), 웨스트서미트 캐피탈(WestSummit Capital) 등이 투자자 역할을 했습니다. 총 2차례에 걸쳐 2천 7백만 달러가 투입된 매지내틱스는 클라우드를 기반으로 하는 사업이라는 측면에서 의미가 있습니다. 매니지내틱스의 가장 큰 매력은 소프트웨어 정의 스토리지를 지향한다는 점이고 소프트웨어 NAS(software only)라는 점입니다(관련 유투브 소개 동영상).

스패닝 클라우드 앱스는 상당히 흥미로운 기술을 제공하는 기업인데요, 클라우드 기반 애플리케이션의 데이터를 백업하자는 것입니다. 예를 들어 구글의 지메일, 드라이브 등과 같은 데이터를 어떻게 백업하는가 하는 것입니다. 구글 뿐만 아니라 세일즈포스닷컴까지 클라우드 상의 애플리케이션 백업을 할 수 있는 것이 특징인데, 2010년 설립되어 현재까지 2011년에 3백만 달러, 2013년에 6백만 달러의 투자를 파운드리 그룹(Foundry Group)을 통해 받았습니다.

마지막으로 NetApp이 인수한 스틸스토어가 무엇인지 들여다 보았습니다. 이 제품은 국내에서도 알려져 있지만 그렇게 많은 인지를 얻지는 않고 있습니다. NetApp이 인수 후 어떤 역량을 보여줄 지 궁금하긴 합니다. 스틸헤드는 클라우드의 백업의 불편함에서부터 출발합니다. 성능, 보안, 기존 백업 프로세스의 변경 등이 클라우드 백업의 어려움이었고 이를 극복하기 위해 클라우드 백업 가속을 목적으로 출시하였습니다. 기본적으로 기존의 리버베드 제품의 가속화 기술의 연장선이라고 해도 크게 무리가 없을 것입니다. 백업 서버가 바라보는 백업 디바이스가 스틸스토어이고(CIFS/NFS로 연결) 클라우드로 나갈때 클라우드 스토리지의 API로 연결할 수 있도록 지원합니다. 좀 더 자세히 말하자면 유투브에 해당 제품의 데모 영상이 있는데요, 이를 보면 아마존의 글래시어(Glacier)에 백업을 하는 것을 보여 줍니다. 여기서 백업 소프트웨어(백업이그젝; Backup  Exec)는 아마존 글래시어에 백업을 하는데, 실제로는 스틸스토어에 먼저 백업을 하고 중복제거와 압축 등의 데이터 축약기술을 통해 작은 데이터가 아마존으로 들어가 아마존으로 백업 비용(스토리지 사용 비용)이 적게 든다는 것입니다. 중복제거 기술을 가지고 있어 원본 백업해야 할 데이터가 30TB라고 한다면 아마존에는 1TB를 사용하면 된다는 것을 혜택으로 이야기 하고 있습니다.

최근의 두 스토리지 기업들의 인수를 보면 IT 인프라에 대한 근본적인 변화를 확인할 수 있습니다. 전통적인 방식의 In-house Backup 시스템에서 클라우드 기반의 백업이라는 새로운 시장을 향해 눈을 돌리고 있고, SaaS 형태로 사용하고 있는 클라우드 애플리케이션의 데이터를 어떻게 백업할 것인가에 대한 고민도 있습니다. NAS를 통합하는 차원에서도 검토를 하고 있고 클라우드 그 자체를 고민하면서 클라우드 소프트웨어 스택에 보다 더 깊숙이 들어가고 있습니다.

세상은 어떻게든 변화하겠지만 이른바 Disruptive Technologies는 IT에 있어 집합적인 의미에서 클라우드 컴퓨팅 기술이 될 것입니다. 근본부터 바뀌게 될 것 같습니다. 시스템을 운영 관리하는데 있어 Non-Disruptive는 중요한 요소인데, 그 시스템의 중요한 변화가 Disruptive 하게 진행되고 있습니다.

- fin -