컴퓨터의 미래와 스토리지

Cloud 2016.03.20 21:45 Posted by Storage Story

스토리지 산업에 많은 변화가 있다는 것은 스토리지 산업이 별나서가 아니라 IT 산업이 가지는 특징과 관계가 있어 보입니다. 어떻게 보면 IT 산업은 인류에게 있어 상당히 낯선 산업입니다. IT라는 것이 탄생한지 얼마나 되었을까요? 언제부터 IT 역사의 시작으로 삼으면 좋을지는 모르겠습니다만, 대략 1950년대부터 컴퓨터가 산업으로서 시작하였다고 한다면 이제 겨우 한 70년 되는 셈입니다. 트랜지스터가 1948년에 최초로 만들어졌고 최초의 컴퓨터라고 불리는 (이론의 여지는 있지만) 에니악이 1946년 만들어졌으니 대략 1950년을 기점으로 보는 것도 크게 무리는 없어 보입니다.

IBM이 1956년 최초로 5MB의 스토리지를 비행기에 싣는 모습. Model 305 RAMAC. 이 모델은 판매가 아닌 리스의 형태로 당시 금액으로 월 3,200달러를 지불했어야 하는데요, 요즘 화폐가치로는 28,000달러 이상일 것이라고 하는군요. 출처: http://nextshark.com/ibm-5mb-hard-drive/

미래의 컴퓨팅은 어떻게 될까요? 이코노미스트는 지난 3월 12일자 상당히 흥미로운 기사를 실었습니다. The Economist에서 표제 기사와 기술 부문(Technology Quarterly) 등에서 상당히 많은 분량을 컴퓨팅에 관한 글로 채웠는데요, 읽으면서 역시 이코노미스트구나 하는 생각이 들었습니다. 특히 표제의 글인 ‘After Moor’s law, The future of computing’을 읽으면서 생각의 빈틈들을 메워나갈 수 있었습니다. 오늘날 30억 명의 사용자들이 들고 다니는 스마트폰은 1980년대 하나의 방(room)만한 크기의 슈퍼컴퓨터였고 IT라고 하는 산업은 계속해서 이렇게 끊임없이 디지털 혁신(digital distruption)을 해왔다는 것입니다. 그러나 그렇게 계속될 것 같은, 이른바 인텔의 공동 창업자가 말한 고든 무어(Gordon Moore)의 ‘무어의 법칙’은 이제 그 속도가 줄어들고 있습니다(아래 그림 참조). 매 2년이 아닌 2.5년 그 이상으로 말이죠. 그러나 이것은 “컴퓨팅의 속도가 갑자기 느려지는 것이 아니라 그 본질이 변화하고 있다(the nature of that progress is changing)”고 이코노미스트는 진단하고 있습니다. 컴퓨팅의 미래가 다른 3개의 분야에 의해서 변화하고 있고 그것들은 소프트웨어(software), 클라우드(cloud), 새로운 컴퓨팅 아키텍처(new computing architecture) 등이라고 말이죠.

출처:이코노미스트 2016, 3월 12일. http://www.economist.com/printedition/2016-03-12

3개 분야에 의한 컴퓨팅 환경 변화 중에서 ‘새로운 컴퓨팅 아키텍처’가 가장 눈에 띕니다. 특정한 업무를 위해 최적화된 특별한 칩(specialised chips optimsed for particular jobs)이 그러한 것이며 마이크로프로세서 기술의 발전이 클라우드 컴퓨팅이나 신경망 프로세싱(neural-network processing), 컴퓨터 비전(computer vision)이나 기타 다른 업무(other tasks) 등을 그러한 예로 꼽고 있습니다.

Custom built, 이코노미스트는 미래 컴퓨터에서 ‘새로운 아키텍처’로서 프로세스 차원에서의 예를 들고 있습니다(주 참조). 이러한 생각의 프레임워크를 그대로 원용해 본다면 데이터 센터에서의 미래도 충분히 가늠해 볼 수 있을 겁니다. 소프트웨어에 기반한 클라우드, 그리고 특별한 컴퓨팅 체계 등으로 생각해 볼 수 있는데요, 스토리지 비즈니스에 조망해 본다면 소프트웨어 정의 인프라스트럭처(Software Defined Infrastructure; SDI)와 표준화된 서버와 스토리지 기술 등이 그런 것이 아닐까 싶습니다. CPU 차원에서의 진보보다는 새로운 컴퓨팅 형태로서 말이죠. 위 그림에서 보는 것처럼 CPU의 경우 클럭 스피드를 높이는 것보다는 밀도를 높이고 있습니다. 이미 CPU 고성장의 한계라고 해도 크게 무리는 아닐 것이고 앞으로 인텔이 CPU 개발에 더 많은 노력을 해야 할 것인가도 사실 의문입니다. 이코노미스트에 따르면 실리콘 밸리의 분석가의 말을 빌려 “경제적 관점에서 무어의 법칙은 끝났다”고 선언합니다. 이는 미세 공정, 이른바 나노 공정의 수준이 높아질 수록 비용이 올라가기 때문에 그렇다는 것인데, 기술의 문제라기 보다는 양산의 문제로(경제적인 문제로) 현재의 미세공정의 수준이 앞으로 나아진다고 해도 지난 몇 수십 년 동안의 급격한 속도에 이르기는 어렵습니다.

이제 Intel CPU를 사용하는 서버라면 서버 그 자체로서 뿐만 아니라 그 응용 범위를 SDI와 같이 넓혀야 하는 것은 분명해 보입니다. 소프트웨어로 정의하는 스토리지와 네트워크 등이 클라우드를 가속시킬 것이고 소프트웨어로 정의되는 데이터 센터가 결국 데이터 센터가 지향해야 할 것입니다.

그런데 스토리지 산업은 소프트웨어로 정의되는 스토리지 그 이상의 것이 있어 보입니다. 여기에는 하드웨어에 의한 자기 파괴적인 기술 혁신이 있습니다. 누가 뭐래도 플래시는 HDD를 대체할 것이고 스토리지 산업의 판도를 많이 바꿀 것으로 보입니다. 이런 상황에서 스토리지 산업은 확실하게 이런 부문에서 앞으로 성장의 여지는 충분히 있어 보입니다. HDD는 상당히 많은 분야에서 그 역할을 다해내고 있지만 한계는 여전합니다. 물리적으로 플래터를 돌려야 하는 방식은 이미 물리적 한계에 부딪히고 있습니다. 또한 플래시 기술이 엔터프라이즈 환경에 접목되면서 이미 상당히 많은 다양한 상황을 경험해서 더 이상 플래시 먼발치에서 보기만 하는 것은 의미 없어 보입니다. 무엇보다도 성능이 좋아진다는 것은 엔터프라이즈 환경이나 IOT 등에서 환영할만한 사건이죠.

플래시가 가지는 이점은 성능이 좋아진다는 것 이상의 것이 있습니다. 스토리지 관리자들은 구성이나 문제 해결, 스토리지 어레이의 튜닝 등과 같은 일상적으로 발생하는 것들에서 벗어날 수 있다는 점에서 이점이 있습니다. 또한 기존의 HDD 또는 하이브리드 어레이와 같은 스토리지 시스템에서는 제공하지 못했던 새로운 가치를 제공합니다. 물리적인 랙의 개수를 줄이거나 상면의 숫자, 전력, 냉각비용 등은 플래시 기반의 스토리지 시스템이 제공하는 새로운 가치일 것입니다. 물론 여기에는 다른 주장들도 있습니다. 이를테면 3D NAND나 3D XPoint 등과 같은 기술이 더 많은 전력과 그로 인한 냉각 비용이 발생할 것이라는 것이죠. 그러나 데이터센터 내 점유 공간이 줄어들고 더 작은 면적에서 더 높은 성능을 제공할 수 있게 된다는 것은 단위 면적 당 이전보다 전력이나 냉각 비용 면에서 충분한 메리트를 제공할 수 있습니다.

가트너(Gartner)가 실시한 설문에 따르면 플래시 기반의 스토리지를 사용하는 사용자의 33%가 하이브리드 형태의 HDD 어레이를 사용하는 것과 비교해서 48%의 전력 비용을 절감했으며, 냉각 비용은 76% 절감, 공간 절약은 63%를 줄여 운영 및 유지 관리 비용을 16% 줄일 수 있게 되었다고 합니다.

또한 진동과 소음이라는 측면에서도 고려해 보아야 할 것 같은데 아직까지 이것에 관한 자료는 발견하지 못했습니다. 데이터 센터 내에서 끊임없이 발생하는 HDD의 진동이 실제 데이터센터에 어떠한 영향을 미치는지 말이죠. 전자적으로 동작하는 서버나 스토리지 시스템에서 물리적으로 동작하는 회전체는 냉각팬과 HDD뿐인데, 그런 면에서 향후 데이터센터 설비의 안정성과 연결되면서 플래시는 매우 중요하게 바라봐야 할 기술 중 하나가 될 것입니다.

하지만 플래시 역시 인텔의 CPU와 같은 길을 가지 않을까 생각합니다. 플래시에 적용되는 미세 공정이 어느 순간에는 현재의 CPU와 같이 수지타산이 맞지 않는 상황이 될 수도 있지 않을까 생각해 봅니다. 현재는 커가고 있는 단계니 그 순간이 언제인지는 알 수 없지만 결국 그런 순간이 나오지 않을까요?

컴퓨팅의 역사와 미래 기술을 보면서 현재의 스토리지 산업을 보면 상당히 큰 변화 한 가운데 있습니다. HDD가 플래시로 넘어가면서 데이터센터가 변화할 것이고 소프트웨어가 스토리지를 정의하고 데이터 센터를 정의하게 되고 그것이 클라우드로 커가면서 향후 컴퓨팅 환경은 우리에게 단순히 서비스로만 남을 것이라는 생각마저도 듭니다. 변화를 계속하고 새로운 기업들이 계속 태어나면서 이들이 거대 기업들을 위협하고 있는 이 산업에 있다는 것이 때로는 힘들지만 그래서 역동적이고 살아 있음을 느끼게 됩니다.


주) Computer vision: The Ecomist에서는 computer vision에서 대해서 모비디우스(Movidius)의 예를 들면서 증강현실(augmented reality)를 말하고 있습니다. 그렇다고 해서 증강현실에 한정하지는 않습니다. 현재 모비디우스는 9천만 달러에 달하는 자금을 모았으며 로봇이나 자율주행 자동차 등과 같은 곳에서 처리하는 특별한 형태의 칩을 개발하고 설계하는데 역량을 집중하고 있습니다. 모비디우스가 개발한 Myriad 2의 경우 이미지(image)와 비전(vision)을 처리하는 프로세서로 이것을 그들은 VPU(vision process unit)이라고 부릅니다. 저전력이면서 latency가 짧다고 말하고 있는데요, 자전거 헬멧에서 Myriad 2를 달고 사물을 어떻게 인지하는지를 보면 Nvidia의 GPU 기술과 비슷하고 자율주행자동차나 ADAS(advanced driver assistance system)의 관련 기술과도 비슷합니다. 관련 유투브 영상을 보시면 이해가 빠를 것 같기도 하네요(https://youtu.be/hD3RYGJgH4A).

 

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

설문을 통해 본 스토리지 경향

일? Work ? IT! 2015.07.19 22:08 Posted by Storage Story

가상 환경에서의 스토리지 사용은 어떠한 모습일까요? IDC가 이런 조사를 했습니다. 그랬더니 결론은 가상화 진행율이 높아지고 있고 클라우드 활용이 많아지고 있으며 플래시의 사용이 급속도로 빨라지고 있다는 소식입니다.

2015년 6월 인터넷을 통해 실시된 이 조사는 총 203명이 응답을 했고 다양한 산업군에서 참여를 하였으며, 응답자의 41.9%는 100TB이상의 스토리지를 가지고 있고 100TB 미만 51TB이상이 37.4%였습니다. 요즘 사실 100TB라고 해도 큰 느낌이 없어서, 운영 데이터의 크기로 보면 IDC가 좀 더 크게 봐야 할 것 같습니다.

2014년에도 이와 동일한 설문을 했었는데요, 가상화율을 보면 2014년 43.55%였던 것이 2015년에는 66.06%로 늘었고 이를 스토리지 관점에서 보면 가상 머신 상에서 운용되는 기업 데이터가 34%에서 82%로 늘었다는 겁니다. 가상화 비율이 높아지면서 클라우드로의 접근도 높아지는 경향을 보이고 있는데요, 클라우드에서 운영되는 데이터가 이미 전체 데이터의 반을 넘어서 64%에 이르렀다는 것이 IDC 조사 결과입니다. 이를 IDC에서는 클라우드 진입율(Cloud Penetration)이라고 표시하고 있는데, 2014년에는 21%에 불과했던 것이 64%로 늘었다는 것은 북미 지역에서는 상당히 많은 운영 관리가 가상화와 클라우드로 넘어갔다는 점에서 우리에게 무엇을 준비해야 할 것인가에 대해 의미 있는 방향이 될 것입니다.

스토리지 프로토콜에 대한 조사도 있었는데요, FC와 DAS가 17.0%와 17.6%로 가장 많은 점유를 보였고 그 다음으로는 NFS가 15.5%, 인피니밴드가 14.1% 등의 순이었습니다. FCoE는 8.8%로 가장 낮은 점유율을 보이고 있는데요, FCoE를 고려한다면 잘 생각해 봐야 할 것 같습니다.

가상화와 관련해서는 ‘가상화를 우선적으로 검토한다’는 의견이 2014년 대비해서 늘었고 가상화 솔루션으로서는 VMware vSphere가 23.1%로 1위를 하고 있고 Citrix XenServer가 Microsoft Hyper-V가 20.6%, 17.2%였고 Red Hat Enterprise Virtualization과 Oracle VM 등이 2자리 수 점유율을 보여주고 있습니다. 데이터 서비스 측면에서 보면 어레이 데이터 서비스, 하이퍼바이저 기반 복제와 DR 운영 등이 2014년 대비 지속적으로 늘어나고 있어 가상화 기술이 IT 인프라 전반에 가상화와 클라우드 기술이 더욱 더 넓게 퍼지고 있다는 것을 반증하는 모습을 확인할 수 있습니다. 이제 스토리지 시스템을 선택할 때에는 가상화와 클라우드 준비성(readiness)를 반드시 확인해야 할 사항이 되어 버렸습니다.

국내에서 여러 보안 사고가 나면서 VDI에 대한 검토를 많이 하고 있고 실제로 VDI 프로젝트가 현재 많이 진행되고 있는데요, 국내의 경우 플래시 스토리지를 기반으로 VDI 사업이 많이 진행되고 있는데 이러한 경향이 해외에서도 다르지 않습니다. IDC 조사 항목 중 VDI 환경에서 공간 효율적인 복제(space-efficient cloning) 기술을 사용하는가 라는 것이 있었는데요, 2014년 그렇다(Yes)라는 응답이 34%였는데, 이번 조사에서는 88%로 극적으로 늘어 났습니다. 이를 두고 IDC는 플래시의 영향이라고 해석을 하고 있습니다. 실제로 보다 직접적인 질문으로서 VDI 환경에서 플래시 스토리지를 적용하였는가 하는 설문을 했었는데, 2014년 그렇다는 응답이 45%였는데 2015년에는 90%로 많이 늘었습니다. 어레이 형태의 플래시 스토리지를 비롯하여 호스트 기반의 플래시, 그리고 어플라이언스 기반의 플래시 등 다양한 방식으로 플래시 스토리지가 적용, 운영되고 있다는 것입니다.

VSI(Virtual Server Infrastrucuture), 국내에서는 서버 가상화라는 이름으로 불리는 이 분야 역시 플래시의 사용이 크게 늘어나고 있습니다. VSI 환경에서 어떻게 사용하는가 하는 설문의 경우 AFA(all flash array) 형태로 사용한다는 것과 캐시의 형태로 플래시(flash as a cache)를 사용한다는 것이 39.0%와 40.7%로 가장 많은 응답을 보이고 있는데요, 하이브리드 형태의 플래시 스토리지를 사용하게 되면 캐시와 스토리지 계층화(storage tiering)를 하는 것이 일반적인 형태인 것을 생각해 보면 AFA로 사용하는 비중이 상당히 높다는 것을 추정해 볼 수 있습니다.

IDC의 조사에는 Hyperconverged Infrastrucutre에 대한 설문이 아쉽습니다. Hyerperconverged storage를 사용하고 있는가에 대한 조사가 있었는데 그 부분을 보면 76.4%가 그렇다고 응답을 하였는데요, 여기서 말하는 Hyperconverged storage가 Hyperconverged infrastrucutre와 같은 것인지 아닌지를 잘 모르겠네요.

전체적으로 보면 이번의 IDC의 설문 조사라는 것이 통계학적 의미가 있는지 불분명합니다. 표본이 어떻게 선정되었는지 그리고 선정된 표본이 대표성을 띄는 것인지도 확실하지도 않고 또한 설문에 응답한 것이 실제 사실을 어떻게 반영하는지도 분명치 않습니다. 질문의 문항들을 보면서 가장 의문스러웠던 것 중에 하나는 스토리지 프로토콜을 묻는 것이었는데 과연 설문에 응한 사람들 상당 수(57%)가 “IT or Infrastructure Manager/Director/VP”였고 35.5%는 CIO였습니다. 이들이 이러한 질문에 대해 이렇게 정확하게 대답을 할 수 있었을까 하는 생각입니다. 프로토콜은 뭐 그렇다 치더라도 얼마의 용량이 가상 서버와 클라우드에서 사용되고 있는지를 그렇게 잘 알 수 있을까 하는 생각이 듭니다.

그럼에도 불구하고 이 조사를 통해 얻을 수 있는 인사이트가 몇 개 있습니다. 아래와 같이 다시 정리해 봅니다.

  • VSI와 VDI는 이미 상당한 대세이고 가상 머신(VM)에 연결된 스토리지의 용량이 전체 스토리지 용량의 절반을 넘어가고 있는 것이 현실이다.
  • 플래시를 선택하여 적용하는 속도가 빠르게 진행되고 있고 AFA와 Cache 형태로 사용되고 있어 당분간은 All Flash Array와 Hybrid Flash Array가 공존을 하게 될 것이다.
  • 스토리지 용량 효율적인 기술이 많이 적용되고 있다: Thin provisioning, Space-efficient snapshot & Clone, Compression, Deduplication, Replication 등
  • 가상 환경을 위한 데이터 서비스나 관리 기술 들이 스토리지에 요구되고 있다: VAAI, VVOL 등

가상화의 진행과 그에 따른 스토리지 기술의 대응성이 결국 한 줄 정리로 요약해 볼 수 있을 겁니다. 가상화와 클라우드 경향이 분명히 거스를 수 없는 대세라고 한다면 데이터 스토리지에 그것을 위한 서비스를 요구하는 것이 당연할 것이고 스토리지 벤더들의 기술이 그것들을 수렴해 나가는 것이 당연해 보입니다. 스토리지의 선택을 고민한다면 가상화와 클라우드에 관한 대응성, 준비성 등을 고민해야 할 것입니다.

 

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

데이터 스토리지 이노베이션(Data Storage Innovation)에 관한 주제로 SNIA의 주관 하에 ‘Data Stoage Innovation Conference 2015’라는 행사가 열렸습니다. 지난 4월 7일부터 9일까 열린 이 행사에는 SNIA가 주최하는 것이니만큼 다양한 업체들이 다양한 주제들을 놓고 컨퍼런스를 했었는데요, 참석하지는 못해도 여러 루트를 통해 몇 가지 내용을 확인해 볼 수 있었습니다.

발표 자료들이 공개되기 때문에 사실 참석하지 않아도 어느 정도의 내용이나 주제를 확인할 수 있는데요, 전체적으로 보면 상당히 굵직한 흐름을 확인할 수 있었습니다. DSI의 하부 주제들은 상당히 많습니다. Advanced Data Dedupe을 시작으로 하여 Hard drives까지 20여 개의 하위 주제들이 있고 그 주제에 맞게 여러 벤더들이 나와서 다양한 이야기를 하고 있습니다. 마음 같아서는 다 살펴보고 싶지만, 관심 있는 것만 보겠습니다.

플래시와 관련해서 IDC의 시장 분석 내용에 눈이 갑니다. “The Flash Based Array Market”이라는 주제로 IDC의 에릭 버게너(Eric Burgener)의 발표 자료를 보면 Platform 3 환경이 되면서 플래시 스토리지가 왜 그리고 어떻게 필요하게 되었는지를 설명하고 플래시 기반 스토리지를 AFA(All Flash Array)와 HFA(Hybrid Flash Array), 그리고 하이브리드 플래시 어레이를 플래시로만 구성한 HFA/A(All Flash Configuraitons of hybrid flash arrays) 등으로 구분하고 있습니다. 그러면서 플래시 최적화된 스토리지 아키텍처를 이야기 하고 있습니다. 아래 그림은 해당 슬라이드에서 뽑은 것입니다. 그 중에서 Endurance optimizationPredictable performance even as configuration scales 등 2개 항목이 가장 눈에 띕니다.

플래시 저장 매체의 속성을 반영하여 기록 작업(write)을 최소화하면서 모든 셀에 평균적으로 균일하게 적용할 수 있도록 하는 알고리즘과 In-line 기반의 데이터 절감 기술 등을 적용하여 플래시 내구성을 최적화 하는 기술이 들어가야 하는 것을 말하고 있습니다. 그리고 가장 중요한 항목이 될 수 있는 부분이라고 생각되는데요, “예측 가능한 성능; Predictable performance”입니다. 시스템을 큰 틀에서 볼 때 시스템의 예측 가능성은 신뢰에서부터 비롯되는데요, 스토리지에서의 예측 가능성이라고 한다면 일정한 수준에서의 일관된 응답 시간(response time)이나 latency를 말하는 것입니다. 공감이 되는 항목입니다.

엔터프라이즈 플래시 최적화 기술로 IDC는 5년 이상의 수명 보장과 수 백 TB 규모의 유효 용량 제공, 99.999%의 가용성, 씬 프로비저닝을 비롯한 In-line 기반의 데이터 절감 기술, 데이터 사본을 만들기 위한 데이터 서비스 등을 말하고 있습니다. 사실 이러한 기술들이 요즘 플래시 전용 스토리지에서 거의 일상적인 현상이라는 생각이 드는군요.

시장을 살펴 보겠습니다. AFA가 아무리 뜬다고 해도 하이브리드 플래시보다 크기는 어려워 보이는군요. IDC의 예측대로라면 적어도 앞으로 한 3-4년은 AFA와 HFA가 바뀌기는 어려워 보입니다. 하지만 아래 그래프는 전체 스토리지에서 비교입니다.

범위를 한정해 본다면 즉, 프라이머리 스토리지(Primary Storage) 시장에서 AFA가 주류가 될 것이라는(will dominate) 예측은 당연한 이야기겠지만 다시금 염두에 두어야 할 내용이네요. 그리고 HDD는 백업, 아카이브, 콘텐트 레포지터리 등의 용도로 사용될 것이라는 IDC의 예측입니다. 그러면서 이미 시장에서 그리고 포춘 1000 기업들은 “All Flash” 스토리지를 가지고 있다고 하는 말로 마무리를 하고 있습니다.

IDC외에도 플래시를 주제로 시만텍(Symantec)과 시러스 데이터(Cirrus Data), HGST, 샌디스크(SanDisk) 등이 발표를 했었습니다. 시러스 데이터는 2011년 설립된 신생 기업으로 플래시를 기반으로 하는 캐시 기술을 이야기 했네요. 이들의 기술은 일종의 캐시 장비를 선보이고 있는데요, ‘Data Caching Server(DCS) 어플라언스’라는 제품으로 PCIe 플래시 카드를 달고 약간의 조닝(Zoning) 작업을 거치면 아래 슬라이드와 같이 쉽고, 간단하고 효과적이며, 안전하게 그러면서도 최적화 할 수 있다고 주장합니다.

샌디스크는 이전에 인수하였던 퓨전IO 사업부문에서 나와 MySQL에서의 데이터 기록 방식에 있어 2 writes 현상과 압축 사용 시 성능 문제 등을 언급하면서 이를 해결할 수 있는 솔루션이라는 이야기를 하고 있습니다. (아래 그림 참조)

샌디스크에 따르면 Atomic Write 기술을 적용했더니 아래 그림과 같이 녹색 부분과 같이 극적으로 latency가 낮아졌다고 합니다. 압축 관련 향상은 해당 자료를 참조하세요.

시만텍은 자신들이 가지고 있는 Symante Storage Foundation Cluster File System을 이용하여 소프트웨어 정의 스토리지 개념까지 확장시켜 가면서 플래시와 연결을 짓고 있습니다. 그리고 이제는 웨스턴디지털의 자회사인 HGST는 “플래시의 미래(The Future of Flash in the Data Center)”라는 주제를 통해 PCIe 타입의 플래시를 통해 성능을 향상을 포함하여 클러스터 환경에서의 캐시(Clustered cache)를 통해 응답 시간을 줄이거나 몽고DB와 같은 환경에서의 동기 복제(sync replication) 등을 Platform 3 관점에서 적절하게 풀어내고 있습니다. HGST가 작년 12월에 인수한 Skyera를 중심으로 이야기할 것으로 예상했는데, 아직 그들의 제품들 대부분이 PCIe, SAS, SATA 등의 인터페이스로 동작하는 것이라 그런지 다소 한정되어 있다는 생각이 듭니다.

DSI에서의 플래시에 관한 이야기는 이 정도였습니다. 물론 클라우드를 비롯한 다른 분야에서도 플래시를 다루고 있기는 하지만 크게 논의할 수 있는 수준이 아니었습니다. 플래시 이외에 관심을 가지고 본 분야는 클라우드입니다. 클라우드와 관련해서는 몇 가지 세션이 있었지만 사실 특별히 볼 것은 없습니다.

IDC 예측에 따르면 2015년에 8ZB로 예상되지만 2020년이면 44ZB 규모가 될 것이라고 합니다(위 그림 참조). 유니시스(Unisys)가 발표한 내용에 따르면 직원 수가 10만 명이 넘는 어떤 금융 기관의 클라우드를 구축했는데, 이때 당시 100여 개의 애플리케이션이 클라우드로 옮겨갔고 12PB 이상의 공간이 필요하다고 했었으나 8PB 규모로 씬 프로비저닝 기술을 적용하여 30%를 절감하였다고 하는군요. 개인적으로는 이 세션을 다시 들을 수 있다면 좋겠다는 생각이 듭니다(아래 그림 참조).

클라우드와 SDS(software defined storage)는 구분하기 어려운 주제일 것 같은데요, DSI에서 발표한 SDS 기업 중 HEDVIG이라 기업이 눈에 띕니다. 플래시를 활용하는 헤드빅(HEDVIG)의 아키텍처를 보면서 클라우드, 빅데이터 그리고 그 속에서의 플래시 기술을 종합해 보는 재미가 있어 좋습니다.

 

DSI의 모든 내용을 정리하는 것은 좀 어렵습니다. 그런데, Intel에서 발표한 자료를 보면 어느 정도 정리할 수 있는 몇 가지 키워드가 있습니다. 전체를 대변할 수는 없지만 어느 정도는 커버하지 않을까 하는 생각으로 옮겨 보았습니다.

  1. Intelligent Storage: deduplication, real-time compression, intelligent tiering, thin provisioning
  2. Scale-out: node working together external network
  3. Non-Volatile Memory: power consumption, performance, reliability
  4. Software Defined: Abstraction, aggregation, dynamic provision, orchestration

요즘의 스토리지와 관계된 상당히 많은 키워드들이 여기에 속해 있지 않은가 생각됩니다. 동의하시나요?

 

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

올해의 마지막 글이네요. 여기에 특별한 의미를 부여하지는 않지만, 올해 플래시는 정말 많이 뜨거운 한 해였습니다. 플래시가 스토리지 산업에서의 하나의 컴포넌트가 아닌 그것으로 하나의 산업이 되고 있는 것은 분명해 보입니다. 이런 시점에서 얼마 전 위키본(Wikibon)에서 플래시 어레이 아키텍처의 진화(Evolution of All-Flash Array Architecture)라는 이름의 좋은 글이 올라 왔는데요, 좋은 글이라서 살펴 보도록 하겠습니다.

이 글의 핵심은 한마디로 “2016년이면 SSD가 HDD보다 싸질 것이다”라는 것입니다. 이 글의 저자이자 위키본의 설립자인 데이빗 플로여(David Floyer)는 용량과 가격 등을 종합적으로 예측해 보니 그렇다는 것인데요, 아래 그래프를 살펴 보겠습니다.

(출처: 위키본 2014. 12. Evolution of All-Flash Array Architecture)

그래프에서 붉은 색으로 표시되는 것은 HDD이고 파란색 선은 SSD인데요, 예측 대로라면 2015년 하반기부터는 가격이 SSD나 HDD나 큰 차이가 없게 된다는 것입니다. 지금 시점에서 보면 1년 반 정도 남은 시간인데요, 플래시의 가격이 급격이 떨어지게 되는 시점을 2015년으로 예측하고 있습니다. 이러한 전망의 근거는 무엇일까요? 위키본의 리포트는 다음과 같이 말하고 있습니다.

  • 플래시에 관한 소비자 요구가 플래시 가격을 끌어내리고 있다.
  • 새로운 스케일 아웃 플래시 어레이 아키텍처가 성능에 영향을 미치지 않고 여러 애플리케이션들이 물리적인 데이터 공유를 할 수 있다.
  • 새로운 데이터 센터 구축 철학이 특정 업무나 애플리케이션 전용으로 돌아가는 스토리지가 아닌 데이터 공유가 될 수 있도록 한다.

다소 기계적인 번역을 해서 이상하긴 하지만, 간략하게 요약해 본다면 가격 인하 요구와 새로운 아키텍처와 철학 등이 플래시 가격 하락을 주도할 것이라는 것입니다. 새로운 아키텍처, 즉 공유된 데이터 환경은 생산성과 매출 잠재성을 높이는 것인데요, 이른바 ‘Data-rich applications’입니다. 데이터 속에서 답을 찾고자 하는 것이 이전의 IT 환경과는 다른 것입니다. 이전의 IT는 데이터를 어떻게 수집하고 처리하고 저장할 것인가에 초점을 맞추고 있다면 이제는 그것에서 더욱 더 나아가 데이터 중심의 애플리케이션이 비즈니스의 요구를 보다 더 잘 맞추게 될 것이고 이러한 시도가 시스템 아키텍처에도 영향을 미친다는 것입니다.

위키본은 흥미롭게도 AFA(all flash array) 벤더들이나 기타 플래시 아키텍처가 스케일 아웃 아키텍처 개발에 역점을 두어야 하고 데이터 공유를 통한 잠재성을 최대한 끌어 올리도록 해야 한다고 언급하고 있습니다. 또한 새로운 용어를 들고 나왔는데요, ‘전자 데이터 센터(Electronic Data Center)’라는 것입니다. 펌프나 팬(fan)을 안 쓸 수는 없겠지만 줄여서 기계적으로 동작하는 부속을 배제한다는 것입니다. 이는 단순히 HDD를 제거한다는 것보다는 테이프와 테이프 라이브러리 등과 같이 데이터를 이동을 위해서 뭔가 구동되어야 하는 것을 줄이고 데이터를 공유하고 활용함으로써 종국에는 생산성(productivity)과 매출(revenue)를 높일 수 있도록 해야 한다는 것입니다. 공감 가는 대목이 많습니다. 데이터의 사본을 만들고 그것을 활용하는 애플리케이션들이 각자 역할을 수행하는 현재의 데이터 운용 전략에서 데이터를 공유하면서 여러 애플리케이션이 활용할 수 있도록 하는 것은 고민해야 할 대목이 아닐까 생각해 봅니다. 실제로 리포트에서도 상당히 많은 분량을 여기에 집중하고 있습니다. 클론(clone)과 스냅샷(snapshot) 등으로 인한 오버헤드와 중복성, 애플리케이션 별로 별도 생성하다 보니 생기는 데이터의 이동과 데이터 시점에 관한 이슈 등을 현재와 같은 운영/관리를 앞으로도 계속해야 하는가에 대해 근본적으로 다시 고민해야 할 것입니다. 

기업용 스토리지 시스템으로 플래시를 생각할 때 중요하게 생각할 부분으로 안정성인데요, 이와 관련해서 위키본의 리포트에 따르면 “ware leveling”을 통해 데이터의 안정적인 기록을 하고 있고 현재도 개선을 이어가고 있으며 HDD보다 더 긴 시간의 수명 보장(5-10년 정도)을 하는 경우도 있다고 말하고 있습니다. 또한 통상 HDD로 구성된 데이터 저장체계에서 운영 비용이 도입 비용의 18%인데 반해 플래시는 10% 수준 정도이고 이는 앞으로 더 좋아질 것으로 전망하고 있습니다.

플래시 스토리지를 이야기할 때 많이 나오는 기능 중에 ‘중복 제거(deduplication)’와 ‘압축(compression)’입니다. 위키본의 리포트에서 상당한 직관을 발견할 수 있었는데요, 중복제거나 압축과 같은 기술이 데이터의 크기에 변형을 가져오게 되고 이를 HDD에 저장할 때 디스크의 단편화와 메타데이터의 관리(이 관리 행위는 랜덤하게 IO를 발생시켜 Seqeuntial Write/Read에 적합한 HDD와는 다소 맞지 않음) 등의 행위로 속도가 느려지게 된다는 것을 지적하고 있습니다. HDD를 탑재한 전통적인 어레이(게다가 컨트롤러가 2개뿐인 경우라면 더욱 더 그러하겠지만)에서는 데이터의 축소를 위한 이러한 연산이 결국 속도가 느려지게 되는 요인이 되었지만 스케일 아웃 형태의 플래시 어레이 아키텍처에서는 앞서의 처리 속도 문제를 해결하게 되는 이점이 발생한다는 것을 지적하고 있습니다.

이 보고서에서는 또한 플래시를 장착한 스토리지 시스템의 아키텍처는 전체적으로 어떻게 되어야 한다는 것을 명시하고 있는데요, 데이터 계층화 기술(tiering)과 같은 소프트웨어 기술이 플래시 자원의 이용을 보다 효율적으로 이뤄지도록 할 것이고 전통적인 형태의 2개의 컨트롤러를 가지고 있는 구조의 스토리지보다는 스케일 아웃 형태의 스토리지가 확장성, 응답속도와 일관성, 스냅샷과 같은 데이터의 중복성 등에서 적합하다는 주장을 하고 있습니다. 충분히 공감되는 지적입니다.

IDC 자료를 인용하면서 플래시 스토리지 시장에 대해서 다루고 있는데요, IDC 자료에 위키본이 몇 가지 데이터를 같이 넣었습니다. 2014년 상반기 시장은 전세계적으로 4억 9천 6백만 달러에 이르는데, EMC를 선두로 퓨어 스토리지와 IBM 등이 그 뒤를 잇고 있습니다.

(출처: 위키본 2014. 12. Evolution of All-Flash Array Architecture)

위키본의 리포트에서는 플래시 가격이 HDD보다 낮아질 시점을 2016년으로 예상하고 플래시 스토리지가 갖춰야 할 요건으로 스케일아웃 아키텍처와 중복제거, 압축, 스냅샷 등을 언급하고 있습니다. 이러한 전망이 맞을 수도 있고 그렇지 못할 수도 있겠지만 현 시점에서 시장에 대한 통찰력을 확인할 수 있는 좋은 리포트였습니다.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

언젠가 직장 선배가 제게 이런 이야기를 제게 하였습니다. 기술을 아는 것도 중요하지만 시장의 판세를 알아서 누가 어떤 기업들이 부상하는지 알아두고 좀 더 큰 그림에서 이해하는 것이 필요하다고 말이죠. 아무것도 모르고 시작해서 좀 안다고 깨방정을 떨 때 그 선배의 이런 이야기는 나만 잘 알아서 될 일이 아니구나 하는 생각을 하게 되었습니다. 판세를 읽어야 한다는 것, 그 중요한 경구를 다시금 새겨 봅니다.

HDD는 기계적으로 동작하는 저장장치입니다. 정보처리의 과정에서 거의 유일하지 않을까 싶은데, 기계적인 동작과 실리콘이 바로 인접해 있는 것으로 HDD는 그 역사도 오래되었지만 지금도 꾸준히 발전해 나가고 있는 기술이지만 결국 낸드 플래시에는 결국 수위를 내주지 않을까 싶습니다. 엔터프라이즈 환경, 즉 기업의 정보 저장을 위해서는 앞으로도 상당 기간, 어떤 사람들은 2020년까지는 확실히 HDD가 저장장치의 핵심에 있을 것으로 내다보고 있습니다. 하지만 이미 기업의 핵심 애플리케이션들은 플래시에 넘겨주고 있는 것이 아닌가 싶습니다.

얼마 전 IDC의 플래시 시장 동향 자료를 읽으면서 느낀 것인데, 참으로 플래시 기업들이 많구나 하는 생각을 새삼 다시 해 봅니다. 그 중에서 몰랐던 한 기업이 있어 살펴 보았습니다. 테자일 시스템즈(Tegile Systems; 이하 테자일)라는 기업인데요, 기능 상으로만 보면 현재 플래시 스토리지, 이른바 AFA(All Flash Array)들이 가지고 있는 기능들은 모두 가지고 있습니다. 이 회사의 스토리지 시스템은 AFA만을 표방하는 것은 아니고 하이브리드 스토리지도 비즈니스의 대상으로 놓고 있습니다. 하드웨어 제조를 어디서 하는지에 대해서는 확인되지 않았으나 외관상으로 보면 슈퍼마이크로에서 사다가 자사의 소프트웨어를 올리지 않았나 하는 생각이 듭니다(확인된 것은 아니고 그냥 추측입니다). 이 회사의 핵심은 소프트웨어입니다. 테자일의 스토리지 소프트웨어는 인텔리플래시(IntelliFlash)라는 이름을 가지고 있는데요, 기본적인 스택은 아래 그림과 같습니다.

위 그림을 보면 다소 큰 타이틀만 있어서 데이터 서비스(Data Services) 부문과 메타데이터 가속화(Metadata Acceleration)에서 무엇을 제공하지가 알 수 없습니다만, 실제 홈페이지나 제품 소개서에서는 비교적 상세하게 나와 있군요. 간단하게 전체적으로 좀 짚어보면 액티브/액티브 형태의 이중화된 컨트롤러가 있어 데이터의 지속적인 액세스가 가능하도록 되어 있고, 시스템 업그레이드나 용량 증설, 미디어 교체 등에도 다운타임이 발생하지 않는다고 말하고 있습니다.

플래시를 기반으로 하는 스토리지의 특징이라고 할 수 있는 데이터 축약과 관련해서 인라인 방식으로 데이터 중복 제거(deduplication)과 압축(compression)을 모두 지원하고 있습니다. 그래서 테자일은 메타데이터 가속 기능을 강조하고 있습니다. Snap과 Clone 등과 같은 시점 복제 기술을 제공하는 것은 물론이고 원격 복제(remote replication)을 제공하기도 합니다. 이런 기능 외에 흥미로운 점은 블록과 파일 등의 프로토콜을 선택적으로 적용할 수 있다는 점인데요, iSCSI와 FC를 비롯해 NFS, CIFS, SMB 3.0까지 지원한다고 밝히고 있습니다. 다양한 워크로드를 하나의 어레이(a single array) 상에서 구현할 수 있다는 홈페이지 설명에서 이 회사 제품의 좀 더 깊은 면을 보고 싶다는 생각을 들게 만듭니다.

이 회사의 제품은 크게 HA로 시작하는 제품과 T로 시작하는 제품 등으로 구별해 볼 수 있는데요, HA는 하이브리드 형태의 제품들이고 T는 AFA 제품입니다. HA 시리즈는 2100, 2300, 2400, 2800 등이 있는데요, 이 제품들 사이에 약간의 구성을 달리해서 제품 모델이 별도로 존재하는데, 솔직히 왜 이렇게 어렵게 하나 하는 생각이 듭니다. T 시리즈는 3600, 3700, 3800 등으로 나뉘어 있고 기본 컨트롤러의 메모리는 192GB이고 용량은 모델 별로 조금씩 다르게 되어 있습니다. 제품에 관해서 좀 더 상세한 정보를 찾고자 하신다면 테자일 홈페이지의 데이터시트를 확인해 보시면 됩니다.

스토리지 계층화 기술과 관련한 내용을 찾다가 유투브에 올라간 스토리지 스위츨랜드(Storage Switzerland)와의 화이트보드 영상을 보게 되었는데요, 향후에는 플래시 자체도 계층화를 하여 종전의 플래시→HDD가 아닌 저렴한 TLC 타입의 플래시를 붙임으로써 플래시 내(MLC→TCL)에서의 경제성을 높일 수 있도록 현재 개발을 진행하고 있다고 합니다. 그리고 TLC보다 더 저렴하게 데이터를 내려 보내는 계층화 시도는 클라우드를 이용할 것이라고 하는군요.

“Compromise nothing” – 이 회사가 기본적으로 표방하는 일종의 슬로건인데요, 아래 그림은 홈페이지에 있는  하이브리드냐 올 플래시냐를 설명하는 인포그래픽 자료에서 발췌한 것입니다. 이 문구는 거의 슬라이드에서 사용되고 있어 테자일이 어떤 것을 말하고 싶어하는지 간접적이나마 느낄 수 있습니다.

태자일이라는 기업에 대해서 좀 살펴 보겠습니다. 이 회사는 2010년 2월에 설립되어 현재 1,200개 이상의 시스템을 600개 이상의 기업들에 판매를 했다고 하는군요. 아래 그래프는 테자일의 고객 유치 현황을 보여 주고 있는 것인데요, 그래프를 분기 별로 이렇게 그리니까 상당히 가파르게 성장하는 것 같은 느낌을 주는군요.

(출처: Don't Sweat IT: How to Meet the Demands of Storage for Virtualization, 유투브)

많은 기업들이 테자일에 투자를 있습니다. 위 그림에서 알 수 있듯이 그림에 나와 있는 회사들이 주축이 되어 투자를 하고 있는데요, 2010년 7월 최초 투자 당시 250만 달러였는데, 2012년 4월에 1천만 달러를 오거스트 캐피탈(August Capital)에서 투자를 하기 시작해서 시리즈 C가 있었던 2013년 8월에는 메리테크 캐피탈(Meritech Capital), 웨스턴 디지털(Western Digital), 오거스트 캐피탈(August Capital), 샌디스크(SanDisk) 등이 총 3천 5백만 달러를 투자하였습니다.

창업자는 Rohit Kshetrapal(현 CEO, 어떻게 읽어야 하는지 몰라서 그냥 표시했습니다)과 Rajesh Nair(현 CTO) 등을 비롯해 총 4명인데요, 나름의 이력들이 있네요. Rohit는 Perfigo라는 네트워크 기반의 보안 기술을 제공하는 기업이었는데 이를 시스코에 2004년에 7천 4백만 달러에 매각을 하였고 그전에는 Webvive와 Brience 등의 기업에 있었는데 이들 기업들의 공통점은 모두 인터넷/웹이었습니다. Webvive는 1999년에 KPMG에 매각하였고 Brience는 Syniverse라는 곳에 2003년 인수가 되었습니다(당시 이들의 기업에서 Rohit이 창업자나 CEO였던 것은 아님). Rohit만 놓고 보면 스토리지 사업과는 크게 관계가 없었는데요, 이는 Rajesh도 비슷합니다. 마케팅을 담당하는 Narayan Venkat는 테자일에 입사하기 전에 바이올린 메모리와 VM웨어, LSI 엔지니오(Engenio), NetApp 등에서 근무한 경험이 있어 스토리지 산업과 상당히 오랜 기간 인연을 이어 왔습니다. 영업 총괄을 담당하는 데이빗 뱅스(David Bangs)는 레프트핸즈(LeftHands)를 비롯해 퓨전IO, 퀀텀 등에서 상당한 성과를 거두었다고 밝히고 있습니다. 홈페이지를 통해 이들의 이력을 비교적 자세히 공개하고 있는데요, 구글을 상당히 공을 들여 검색을 해 보았는데 크게 의미 있는 내용을 만나기는 힘들었습니다.

테자일의 기술과 기업을 살펴 보면서 크게 감흥이 있거나 하지는 않았습니다. 어떻게 보면 이제 이 기업의 스토리지 기술이 이미 보편적인 것이 된 것은 아닌가 싶습니다. 기술의 변별보다는 해당 기술의 에코 시스템과 안정성, 지원 능력, 기업의 영속성 등과 같은 것들이 중요한 요인이 보다 더 중요한 시점이 되고 있구나 하는 생각이 듭니다. 그래서인지 테자일의 여러 자료를 보면서 흥미로웠던 동영상이 있었는데, 서비스를 24/7으로 한다고 하는 점이었습니다. 적극적인 기술 지원 서비스를 매우 중요시 하는 기업이라는 생각이 듭니다.

계속 생겨 났다가 없어지기도 하고 때로는 기존 대형 경쟁 기업들을 위협하기도 하면서 또 때로는 한때는 경쟁쟁하던 기업과 한 가족이 되기도 하겠죠. 테자일이 앞으로 보여줄 모습은 무엇일까요? 매각을 할 요량이라면 지금부터 부지런히 영업해서 고객들 만들고 몸값을 올려 놔야 하겠죠. 플래시 스토리지 시장에서의 전쟁은 이미 시작했고 그나마 아직은 다소 초반전이겠지만 내년에는 선두 그룹과 후발 그룹 간의 차이가 명확해지리라 봅니다. 이러한 생각이 판세를 제대로 읽고 있는 것일까요?

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

오늘은 스토리지 기술보다는 소프트한 이야기를 해 보겠습니다. 2013년 현재 스토리지 기술들은 어떤 것들이 있을까 그리고 플래시 마켓의 리더는 누구일까 하는 이야기입니다. 2개의 이야기는 서로 다르지만 오늘을 사는 우리에게 매우 중요한 이야기를 담고 있어 훑어 보았습니다.

먼저 플래시 마켓 리더입니다. 플래시는 기술에 따라 워낙 다양하게 분류되니 그런 분류에 대해서는 오늘 이야기 하지 않을 겁니다. 만약 그것이 궁금하시다면 지난 저의 블로그를 아래 링크에 걸어 두었으니 참조하세요.

브랜드 펄스라는 리서치 기관은 브랜드에 관한 선호도 조사를 하면서 흥미로운 결과들을 많이 내 놓고 있는데요, 얼마 전 플래시 제품에 관한 브랜드 평가를 했었습니다. 여러 결과가 나왔는데요, 우리 나라의 경우 아직 시장이 초기이지만 북미만 해도 우리와는 상황이 다릅니다. 그래서 그런지 결과가 흥미롭습니다.

플래시로만 되어있는 SAN SSD 시스템 중에서는 EMC 익스트림IO가 가장 높은 블랜드 인지도를 가지고 있고 그 다음이 IBM이 인수한 텍사스 메모리 시스템즈입니다. EMC와 IBM을 제외하면 퓨전IO와 넷앱이 눈에 띄는데요, 그밖에 퓨어 스토리지, 바이올린 메모리 등이 플래시를 전면에 내세워 비즈니스를 하는 기업들로 브랜드 인지도가 높습니다. EMC나 IBM 등이 높은 브랜드를 유지하는 것처럼 보이지만 실제로는 이들 기업들의 기술과 제품들이 인수한 것이므로 플래시 기술에 대해서는 전통적인 스토리지 기업들이 상대적으로 열세에 있고 이를 만회하기 위해서 인수와 합병을 단행하는 것이 당연해 보입니다. 역시 새로운 기술은 새로운 사람들에 의해서 추진되어야 하는 것인가 봅니다.

플래시로만 되어 있는 어레이를 보았다면 HDD와 SSD를 혼용하여 사용하는 스토리지인 하이브리드 스토리지에서는 어떤 기업의 브랜드가 높을까요? 위 그림에서 보는 바와 같이 넷앱, IBM, EMC 순으로 이 세 개 업체가 빅 3를 형성하고 그 외 님블 스토리지, 퓨전IO, HP 등이 그 뒤를 따르고 있습니다. 흥미로운 것은 IBM이 높은 순위에 랭크되어 있다는 점인데요, 미드레인지 제품인 V7000의 역할이 컸나 봅니다. 퓨전IO/넥스트젠은 하이브리드 분야에서도 상당히 두각을 나타내었는데요, 국내에서도 서서히 저변을 확대하고 있는 퓨전IO가 많은 활동을 하고 있어 결과로 나타난 것이 아닐까요. 이 그래프를 보면서 님블 스토리지의 인지도가 이렇게 높나 하는 생각에 약간은 갸우뚱해 집니다. 2011년부터 님블은 벤처 캐피탈로부터 투자를 받아 하이브리드 형태의 스토리지 제품을 개발하면서 중복제거와 플래시 기술 개발에 주력을 한 것으로 알려져 있으나 이 회사의 수익성과 같은 이야기들이 나오지 않고 있어 영속성 면에서 의문을 제기하는 경우가 있었습니다. 그러나 이번의 결과를 보면서 님블의 브랜드가 이렇게 높나 하는 생각에 다소 놀랍네요.

브랜드 펄스와 관련해 마지막으로 짚어보고자 하는 것은 요즘 많이 뜨는 것이죠, 서버의 PCIe 슬롯에 DAS처럼 사용할 수 있도록 만드는 제품과 기업에 관한 브랜드 인지도입니다. 이 분야는 역시 퓨전IO가 앞서 나가고 있습니다. 그 뒤로는 인텔을 비롯해 LSI, EMC/익스트림SF, 샌디스크 등이 있네요.

이것을 보니 확실히 시장의 후발 주자가 눈에 보이고 선두 주자가 누구인지를 알 수 있네요. 퓨전IO가 앞서가고 있지만 한편으로 이 시장이 아쉬운 것은 x86에 한정되어 있다는 점이고 아직 기술의 성숙도가 외장형 스토리지와 비교해 낮다는 점입니다. 퓨전IO의 경우 플래시와 관련해 기술 리더십이 있지만 현재 고가의 주류 시장에서 활동할 수 없다는 점이 회사의 성장에 한계가 있습니다. 물론 향후 x86으로의 전환은 더욱 더 속도를 빨리 할 것이지만 무엇보다도 중요한 데이터 사본에 관한 기술, 이를테면 내부 볼륨 복제, 원격 복제, 스냅샷 등에서 더욱 성숙도를 높여야 하고 이중화를 비롯한 데이터 보호 수준을 어떻게 더욱 더 끌어올릴 수 있는가 하는 점에 대해서도 많은 연구가 있어야 할 것입니다. 물론 이러한 과제는 퓨전IO 뿐만 아니라 PCIe SSD 제조업체들이 모두 가지는 공통적인 과제인데요, 위 업체 중에서 EMC 하나를 제외하고는 데이터 보호 수준과 가용성, 안정성 등에서 비즈니스를 수 년간 끌어온 곳이 없다는 점이 앞으로 넘어야 할 숙제겠죠. 

플래시 기술은 이상에서 플래시로만 구성된 어레이, 하이브리드 어레이, PCIe DAS 형태 등으로 크게 구분되는데요, 이상에서 보듯이 다양한 업체들이 활동을 하고 있습니다. 확실히 이 시장은 전통적인 방식이라고 할 수 있는 외장형 디스크 어레이와는 시장의 주자와 인지도 등의 면에서 확연한 차이를 보이고 있는데요, 플래시가 HDD의 미래인가에 대해서는 잘 모르겠지만 상호 보완을 하면서 지속적으로 스토리지 시장 전체를 키워가겠구나 하는 생각이 듭니다.

그렇다면 2013년 중반을 통과하는 이 시점에서 스토리지 기술들은 어떤 것들이 있을까요? 가트너는 2013년 스토리지 기술 하이프 사이클(Hype Cycle for Storage Technologies, 2013)이라는 보고서에서 다양한 스토리지 기술을 그들의 방법론인 하이프 사이클에 적용하여 선보이고 있습니다. 하이프 사이클을 보는 것이 좋겠지만 블로그를 통해 공개할 수 없는 상황이라서 몇 개 핵심만 추려 보겠습니다.

하이프 사이클에 대해서 익숙하신 분들은 아시겠지만 기술들을 나열하고 이 기술들이 주류로서 채택되는 것을 향후 2년 내, 2-5년 사이, 5-10년 사이, 10년 이상 등으로 구분하고 해당 기술을 평가합니다.

먼저 향후 2년 내 주류로 채택될 기술들은 무엇이 있는지 보았습니다. 여기에는 씬 프로비저닝, 데이터 암호화(HDD/SSD), 기업용 파일 동기화 및 공유 기술(Enterprise File Synchronization and Sharing; EFSS), 깡통에서부터 복구할 수 있도록 하는 BMR(bare metal recovery), 가상 테이프, SAN 관리 등이 있습니다. 이들 기술 대부분은 현재 상당히 많이 사용되고 있는 기술들이죠. 그런데 흥미로운 것이 있습니다. EFSS라는 것인데요, 가트너에 따르면 이 기술을 2013년도에 처음으로 하이프 사이클에 포함시켰다고 합니다. 그런데 향후 2년 내 주류 기술이 될 것이라고 하니 뭐길래 그렇게 빠를까요?

EFSS는 기업용 드롭박스 같은 것입니다. 모바일 혁명으로부터 시작된 이 기술이 파일의 동기화와 공유 방식에 대해서 퍼블릭 차원이 아닌 기업용 솔루션으로 이렇게 빨리 주류 솔루션이 될 수 있을까요? 이것은 기업들이 이른바 BYOD(bring your own device) 전략이 채택되면서 파일의 공유와 동기화 기술이 더욱 절실해 질 것이라고 합니다. 우리 나라에서 BYOD를 하는 경우가 있는지는 잘 모르겠습니다. 기업의 업무 생산성 향상을 위해서는 기업이 해당 디바이스를 직원들에게 제공해야 하는 것 아닌가 하는 생각이 들 수 있을지도 모르겠지만 직원들의 스마트폰에서 보다 빠르게 업무가 돌아갈 수 있다면 그것도 생산성을 높이는 방법일 수 있습니다.

저 개인적으로는 이미 이 서비스를 사용하고 있는데요, 노트북과 스마트폰 사이의 데이터의 동기화가 이뤄지기 때문에 짬짬이 일하기 아주 좋습니다. PC에서 문서를 작성하다가 이동 중 잠깐 해당 파일을 스마트 폰이나 모바일 단말기 또는 다른 PC 상에서 열어 잠시 수정을 하면 다시 나의 노트북에서는 수정된 내용이 반영되어 있으니 돌아다니면서 일하기 참 좋습니다.

그런데 한편으로는 EFSS는 보안상으로 아주 취약합니다. 물론 파일의 열람이나 수정, 삭제, 편집 등이 어떻게 이뤄지고 있는지 완벽하게 통제할 수 있는 범위에 있다면 문제가 아니겠지만 그게 그리 쉬워 보이진 않습니다. 가트너 보고서 역시 이런 점을 지적하고 있는데요, 현재 EFSS 기술을 제공하는 벤더들로는 액셀리온(Accellion), 에어와치(AirWatch), 박스(Box), 드롭박스(Dropbox), EMC/싱크플리시티(Syncplicity), 미즈오 소프트웨어(Mezeo Software) 등이 있습니다. 개인적인 판단입니다만 국내의 네이버나 다음 등을 비롯해 통신사들이 제공하는 솔루션 등을 패키지 소프트웨어로 만들어 해외 시장에 들고 나가도 될 것 같은데, 그럴 생각이 있는지 없는지 모르겠네요.

향후 2-5년 사이에 주류로 편입될 기술들로는 어떤 것들이 있는지 보았는데요, 데이터 중복 제거, 클라우드 스토리지 게이트웨이, CDP(지속적 데이터 보호, continuous data protection), 엔터프라이즈 정보 아카이빙(Enterprise Information Archiving), 솔리드 스테이트 어플라이언스(Solid State Appliance), 스토리지 자원 관리(Storage Resource Managment), 자동화된 스토리지 계층화, FCoE(Fibre Channel over Ehternet), 스토리지 가상화 등이 여기에 있군요. 여기서 단연 눈에 띄는 2가지가 있는데요, 클라우드 스토리지 게이트웨이와 솔리드 스테이트 어플라이언스입니다. 클라우드 스토리지 게이트웨이는 얼마 전 저의 블로그에서도 꽤 비중 있게 다룬 바 있어서 아래 링크를 걸어 놓았으니 참고하시면 좋을 것입니다.

그런데 솔리스 스테이트 어플라이언스는 뭘까 싶어서 자세히 리포트를 보았습니다. 앞서 브랜드 펄스에서 언급한 것으로 완전 플래시 어레이입니다. 가트너에 따르면 2012년 이러한 유형의 제품은 전세계적으로 고작 2천 여 대 밖에는 판매되지 않았지만 2017년이면 2만 대 이상이 판매될 것으로 전망하면서 32억 달러에 달하는 시장을 형성하게 될 것이라고 합니다.

향후 5-10년 사이에 주류로 들어가게 될 스토리지 기술들은 뭐가 있을까요? 가장 선명하게 와 닿는 것은 빅 데이터입니다. 파일 분석(file analysis), 온라인 데이터 압축, 스토리지 클러스터 파일 시스템, 클라우드 기반의 복구 서비스, 선형 테이프 파일 시스템(LTFS: Linear Tape File System), 오브젝트 기반 스토리지(Object-based Storage) 등이 있습니다. 그런데 파일 분석(File Analysis; FA)가 뭘까 싶어서 들여다 보았는데요, 가트너에 따르면 기존 파일 관리의 경우 파일의 속성(attribute) 위주의 관리였다면 FA는 메타데이터를 이용하여 파일의 컨텍스트까지 관리하여 기업 내 정보 통제(information governance)를 위한 방법이 된다고 설명하고 있습니다. 이렇게 함으로써 용량이 부족하다고 무작정 스토리지를 늘리는 것이 아닌 파일의 속성을 잘 알고 대처함으로써 스토리지 비용을 최적화하고 비즈니스 리스크를 최소화 한다는 장점이 있다고 합니다. 너무 추상적인 이야기인데요, HP가 거액을 들여 인수한 오토노미와 같은 소프트웨어가 여기에 속합니다. 그런데 이 기술이 향후 5-10년 내에 주류가 될 것이라니 꽤나 멀어 보이네요.

주류가 되려면 10년 이상 기다려야 하는 기술이 뭔지 보았습니다. 소프트웨어 정의 스토리지(Storage defined Storage)와 병렬 네트워크 파일 시스템(Parrallel Network File System) 등인데요, 10년이나 기다려야 할까요? 가트너가 너무 멀게 내다 보는 것 아닌가 하는 생각이 듭니다. 사실 SDS 즉 소프트웨어 정의 스토리지만 해도 클라우드가 진행되면서 점점 SDS에 대한 요건이 선명해지고 있는데요, 아직은 시작단계이지만 결국 이렇게 되지 않을까 싶습니다.

사실 1년 뒤도 알 수 없는데, 가트너는 10년을 바라보면서 하이프 사이클을 만들고 그 속에 참으로 다양한 기술과 제품들이 개발되고 논의되는 것을 보고 있노라면 무척 경이롭다는 생각이 듭니다. 2014년 스토리지 하이프 사이클은 또 어떤 모습이 될지 벌써부터 궁금해집니다.

.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

최근 대형 인수 및 합병이 플래시 업계에서 계속 벌어지고 있습니다. 지난 달(6월) 24일에 웨스턴 디지털(WD)의 계열사인 HGST가 SSD 업체로 잘 알려진 에스텍(sTec)을 인수하더니 바로 얼마 전(7월 2일)에는 샌디스크(SanDisk)도 SSD 제조업체인 스마트 스토리지 시스템즈(SMART Storage Systems)을 인수하였습니다. 묘하게도 거의 비슷한 시기에 거의 비슷한 기업의 인수/합병이네요. 이러한 배경에는 플래시를 둘러싼 기술 확보 전쟁이 있음을 알 수 있습니다.

시장조사전문기관인 IHS아이서플라이의 2013년 1월 보도자료에 따르면 올해 SSD의 출하량이 8천 3백만 개가 될 것으로 예상되며 이는 전년(2012년) 3천 9백만 개와 비교해 두 배 이상 성장을 예견하였습니다. 그리고 이러한 추세는 2016년이면 2억 3천 9백만 개에 달하게 될 것이라는 전망도 하고 있습니다. 이 수치는 2016년의 하드 디스크 드라이브 출하량의 40% 가량이 될 것이라고 하는군요.

SSD의 성장의 가장 큰 축은 울트라 북과 같은 초박형 PC 때문이지만 스토리지 시스템 측면에서 본다면 캐시(시스템 스토리지로서의 캐시)와 주 스토리지(primary storage) 등으로 사용이 늘어나게 될 것입니다. 이렇게 수요가 늘어나는 측면도 있지만 또 다른 측면에서는 공급 단가의 하락으로 수요를 더욱 키우는 측면도 있습니다. 앞으로도 고성능 요건과 모바일 기기에서의 저전력 등으로 플래시를 대안으로 생각하는 경우는 더욱 더 늘어날 것인데, 사실 플래시 말고는 대안도 없습니다.

이렇게 플래시를 둘러싼 향후 기술 패권에서 살아남기 위해 다양한 시도들이 이뤄지고 있는데요, HGST를 포함하여 WDC(Western Digital Corporation)와 샌디스크 등의 2개 기업의 움직임을 살펴 보겠습니다.

에스텍은 WDC의 자회사인 HGST에서 인수하였는데요, 주당 6.85달러로 총 3억 4천만 달러를 들여 합병을 하기로 지난 달 24일에 결정하였습니다. 참고로 인수 당시 에스텍의 주가는 3.59달러였으니 거의 2배의 금액을 제시했군요. 이미 HGST는 인텔과 SSD에 관해 공동 제품 개발 프로그램(joint development program)을 이행하고 있었는데, 이번 인수와 관계 없이 이 프로그램은 계속해서 수행하기로 하였고 향후 SAS 기반의 SSD 제품 개발까지 계속 이 프로그램을 가동할 것이라고 하는군요.

사실 에스텍은 SSD가 기업용 스토리지 시스템으로 탑재되던 초창기 시절에 영광의 나날을 보낸 적이 있었습니다. 2008년 EMC의 시메트릭스 제품군에 에스텍의 플래시 드라이브가 탑재되었는데, 당시 유일하게 FC 인터페이스를 제공하는 SSD기업이었고 이로 인해 상당히 많은 SSD 제품을 양산하였는데, 이때 수요 예측을 잘못하는 바람에 과잉 생산을 하게 되었고 그로 인해 재고 부담이 컸었다고 합니다. 사업적으로 이러한 난관을 타개하기 위해 에스텍은 기존 회사명을 STEC에서 sTec으로 변경하면서 다양한 기술 개발로 쇄신을 하게 됩니다. 에스텍은 기존 드라이브 타입의 제품 외에도 2013년 6월 초에는 마이크로소프트의 WSS(Windows Storage Server) 2012를 탑재한 스토리지 어플라이언스(제품명 sTec s3000)를 내놓으면서 제품 및 기술의 다변화에도 노력을 하고 있으며 현재 특허 55개, 출원중인 특허 78개 등 기술 기업으로 면모를 보여 주고 있습니다.

중소기업을 겨냥한 에스텍의 스토리지 시스템, S3000

에스텍의 제품은 PCIe 기반의 카드 타입 제품부터 드라이브 형태의 제품, 램 기반의 SSD, 그리고 위의 그림과 같은 플래시 스토리지 시스템인 S3000, 캐싱 소프트웨어 제품인 인핸스IO(EnhanceIO™) 등 하드웨어 및 소프트웨어 등 다양한 제품을 가지고 있어 제품 라인업은 잘 갖추고 있습니다.

HGST는 사실 몇 해 전까지만 해도 SSD 시장 대응을 위해 특별한 노력을 하지는 않았지만 2009년 실리콘시스템즈(SiliconSystems)라는 기업을 인수하면서 이 분야에 뛰어 들기 시작하였습니다. 참고로 실리콘시스템즈는 SATA 기반의 SSD에 관한 기술을 가지고 있었습니다. 그리고 인텔과의 공동 개발 프로그램을 이행하고 WDC와의 합병을 통해 SAS 인터페이스와 SSD 등에 관한 투자를 하게 되고, 이후 2013년 3월 기업용 플래시 스토리지 기업인 스카이어라(Skyera)에 투자, 그리고 이번 HGST의 에스텍 인수까지 지속적인 투자가 이어지고 있습니다.

WDC는 플래시에 관해서 에스텍과 HGST를 통해 기술을 확보하는 데는 성공했다는 평가를 받고 있습니다. 그래서 전체적으로 윈-윈이라고 하는 이야기가 나오고 있는데요, 인수/합병 후 어떻게 재편하고 키워내느냐는 또 다른 숙제라고 할 수 있는데 앞으로 어떻게 될 지 지켜봐야 할 것 같습니다.

이제는 샌디스크의 플래시 사업에 대한 여정(?)을 살펴 보겠습니다. 지난 7월 2일, 샌디스크는 스마트 스토리지 시스템의 250여명 직원을 승계하면서 3억 7백만 달러에 달하는 인수 금액을 제시하고 이번 딜을 8월까지 마무리 하는 것으로 양사가 최종 결정했다고 합니다. 샌디스크의 플래시 사업에 관한 인수는 2011년 5월 플래시 드라이브 제조업체인 플라이언트(Pliant)의 인수로부터 시작되는데요, 그 뒤 캐싱 기술을 제공하는 기업이었던 플래시소프트(FlashSoft)를 2012년 2월에 인수하고 그 다음 달인 2012년 6월에는 슈너 인포메이션 테크놀러지(Schooner Information Technology)를 인수하였습니다. 그리고 WDC와 유사하게 전략적인 투자자로서 역할을 하게 되는데, 여기 투자 대상 기업이 윕테일(Whiptail)입니다. 윕테일은 플래시 스토리지 시스템으로 WDC가 스카이어라에 투자하였다면 샌디스크의 그 대상은 윕테일입니다. 샌디스크의 투자는 윕테일 뿐만 아니라 클라우드 스토리지 기업이라고 할 수 있는 팬저라(Panzura)에도 전략 투자를 하였는데요, 클라우드 스토리지로의 램프(ramp)를 제공하는 팬저라에 대한 투자까지 생각해 본다면 샌디스크의 스토리지 비즈니스에 대한 욕심을 확연히 느낄 수 있군요. 팬저라에 관한 내용은 아래 링크에서 확인할 수 있습니다.

.[<

스마트 스토리지 시스템은 IBM을 비롯한 여러 기업에 OEM으로 SSD를 공급한 기업으로 잘 알려져 있는데요, 이 회사의 모기업은 스마트 월드와이드 홀딩스(Smart Worldwide Holdings)라는 기업으로서 실버 레이크 파트너스(Silver Lake Partners)가 소유한 기업입니다. 참고로 실버 레이크는 델(DELL)의 주요 투자자로서 현재 마이클 델과 대주주인 투자사입니다.

스마트 스토리지 시스템에 관해서 좀 찾아 보았습니다. 현재의 이름 이전에 ‘스마트 모듈러 테크놀러지(SMART Modular Technologies)’였고 앞서도 언급한 바와 같이 주로 OEM 비즈니스를 해 왔었습니다. 그래서 시장에 ‘스마트’라는 이름으로 알려지지는 않았는데요, 2008년 애드트론(Adtron)이라는 고성능 SSD 및 군사 전문용 제품을 공급하던 업체를 인수하면서 기술적으로 도약을 하였습니다. 또한 이 회사의 기술에서의 핵심 중 하나는  SLC 타입의 SSD의 내구성(endurance specification)을 MLC에서도 구현할 수 있을 정도로 끌어 올렸다는 것인데요, 어떻게 그렇게 되는지에 대해서는 찾기 어려웠습니다. 이러한 스마트는 최근 들어 기업용 스토리지 시장에서 빠르게 성장하고 있고, 바로 직전 분기에 2천 5백만 달러의 매출을 기록하였다고 합니다.

샌디스크는 플라이언트와 스마트 스토리지 시스템을 통해 SSD를 생산, 판매할 수 있는 기술과 역량을 갖췄지만 또 한편으로는 사실 두 개 기업이 서로 상당히 비슷하기 때문에 어떻게든 조정을 해야 할 것입니다. 샌디스크의 강력한 파트너인 도시바로부터 이미 스마트는 플래시를 공급받고 있는데(사실 두 회사의 제품은 동일하지만), 스마트가 이제는 도시바와 보다 빠르게 플래시 기술 개발(예를 들어 플래시 칩과 컨트롤러 설계 및 인터페이스 등)을 할 수 있게 되어 빠른 시장 대응이나 기술 리더십을 가지게 될 것으로 시장 전문가들이 내다 보고 있네요.

.

WDC와 샌디스크, 플래시의 비즈니스 잠재성이 아니었으면 어쩌면 두 회사는 경쟁관계가 아니었을지도 모르겠구나 하는 생각이 듭니다. 그런데 흥미롭게도 두 회사의 투자 방향과 기술 획득 과정에서 유사한 면이 많습니다. 두 기업 모두 플래시 기반의 스토리지 시스템에 전략적 투자를 하고 있고 SSD 기업을 인수하여 핵심 기술을 획득하였습니다. 그리고 보다 플래시 칩에 가까이 가고 있습니다. 플래시 칩을 이용하여 스토리지 시스템을 만드는 것에는 투자하는 방향으로 하지만 보다 근본적인 SSD와 같은 기술은 인수를 통해 컨트롤러 설계 역량, 데이터 배치 기술, 내구성 확보를 위한 방법 등에 관한 각종 특허 등 이른바 원천이 되는 기술을 가지기 위해 현금을 쓰고 있습니다.

이런 동향을 보니 플래시 공부를 좀 많이 해야겠구나 하는 생각이 듭니다. 하지만 플래시와 같이 미시적인 측면에서의 변화도 있지만 빅데이터와 같이 거시적인 차원에서의 변화도 있습니다. 알아야 할 것이 많아서 좋지만 많기 때문에 무력해지면 안될 것입니다. 정말 바쁜 IT입니다.

.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

가트너(Gatner Corp.)가 3월에 발표한 매직 쿼드런트(Magic Quadrant)입니다. 범용 디스크 어레이(general-purpose disk array)에 관한 이 매직 쿼드런트는 총 20개 스토리지 기업을 대상으로 평가한 것으로 선두 기업과 니치 플레이어 등을 한 눈에 확인할 수 있는 직관을 제공합니다. 매직 쿼드런트를 보면서 몇 개 기업들을 간략하게나마 살펴 보겠습니다.



선두 기업(leaders) 그룹에는 EMC, 넷앱, 히타치, IBM, 델, HP 등이 속해 있습니다. 알만한 기업들이 대부분 여기에 속해 있는 반면 비저너리(visionaries) 그룹에는 코레이드(Coraid), X-IO, 님블 스토리지 등이 여기에 속합니다. 오늘은 여기 비저너리에 있는 스토리지 기업들을 중심으로 살펴보겠습니다.

코레이드는 비교적 최근에 만들어진 스토리지 기업으로 이더넷 상에서 ATA(ATA over Ethernet; AoE)이라는 기술을 제공하면서 가격과 용량을 중심으로 비즈니스를 전개하는 기업입니다. NAS를 포함, FC를 비롯해 FCoE, iSCSI 등 다양한 인터페이스를 통해 범용적인 목적으로 두루 활용되는 스토리지 시스템을 판매하고 있는데요, 아쉬운 점은 AoE라는 기술이 코레이드에 의해서만 구현되고 있다는 점입니다. 쓰루풋이 좋다고 알려진 이 제품이 시장에서는 AoE라는 기술 구현 방식을 사용하는 다른 스토리지 기업이 나오지 않는 한 코레이드 혼자서 이야기하는 것은 역부족이 되지 않을까 생각해 봅니다. 하지만 코레이드는 빅데이터와 클라우드로 대표되는 이 시기에 좋은 평가를 받고 있습니다. 특히 2011년 연텍(Yunteq)이라는 기업을 인수하면서 이더클라우드(EtherCloud)라는 기술을 선보이고 있습니다. 이더클라우드는 스토리지 관리를 REST API를 통해서 제공하여 클라우드 사업자나 사용자 포털 등에서 프로그래밍을 하기 쉬운 환경을 제공한다는 측면에서 그 의의가 있을 겁니다. 실제로 IDC의 경우 클라우드와 관련해 코레이드에 클라우드 제공자들과의 연계성을 주문하고 있습니다. 여기서 클라우드 제공자란 너바닉스(Virvanix), 아마존(Amazon), 마이크로소프트, 팬저라(Panzura), 트윈스트라타(Twinstrata), 나즈니(Nasuni) 등이 여기에 속합니다.

출처: 블룸버그 비즈니스위크, 2012년 8월 30일

또한 IDC는 코레이드의 2013년 전망을 미드레인지 분야에서의 빠른 성장과 시장점유율을 기대한다고 하는군요. 국내에서는 별로 알려져 있지 않지만 북미 지역에서는 블룸버그 비즈니스 위크(Boolberg Businessweek)에서는 2012년 8월 30일, ‘기업용 스타트업 기업들이 시대가 온다(Enterprise Startups Come of Age)’라는 제목의 기사에서 코레이드를 그런 기업 중 하나로 꼽고 있습니다(위 그림 참조).

다음으로는 X-IO를 살펴 보겠습니다. 이 스토리지 기업 역시 국내에서는 많이 알려져 있지 않지만 기술을 중시하는 스토리지 중 한 곳입니다. 국내 에서는 사업을 하고 있고 홈페이지에서 한국어 서비스도 제공하고 있어 관심 있으신 분들은 데이터 시트를 비롯한 주요 상품 정보는 한글로 확인할 수 있습니다. ISE(Intelligent Storage Element)라는 이름의 스토리지 기술을 통해 컨트롤러 하드웨어, 관리 및 분석 소프트웨어 등을 통합하여 제공한다는 컨셉을 가지고 있습니다. DAS, SAN, NAS 등의 다양한 인터페이스를 지원하고 있으며 고성능을 제공한다고 합니다. XIO의 주장에 따르면 3U 폼팩터의 ISE에서 20만 IOPS를 낸다고 하는데요, 심지어는 디스크 사용율이 97%에 이르러도 스토리지 성능을 유지할 수 있다고 합니다.

SSD와 HDD를 하나의 풀(single pool)로 구성한다는 CADP 설명 그림(출처: 홈페이지)

성능의 배경에는 XIO의 기본이 되는 기술인 CADP(Continuous Adaptive Data Placement)가 중요한 역할을 하고 있는데요, 정확한 내부 알고리즘은 알 수 없지만 회사의 자료들을 보면 스토리지 데이터 용량이 증가해도 IOPS는 일정하게 유지시켜주고 이는 HDD와 SSD를 단일 LUN으로 구성하여 데이터 이동을 함으로써 가능하다고 합니다. 보다 구체적인 내용은 백서에서 간단하게 나마 알 수 있는데요, 스토리지 업계에서 일반적으로 이야기하는 자동화된 계층화(automated tiered storage) 기술과 뭐가 다르다는 것인지 정확히 모르겠습니다. 결국 제공할 수 있다고 이야기하는 20만 IOPS는 SSD에서 내는 것이고 IO의 행태를 실시간으로 배치함으로써 성능을 유지한다는 것인데 이를 XIO에서는 진정한 SHD(True SHD)라는 용어로 대변하고 있습니다. 참고로 SHD는 SSD와 HDD의 합성어라고 하는군요.

다음 살펴 볼 스토리지 기업은 님블 스토리지(Nimble Storage)입니다. 님블 스토리지의 경우 제 블로그에서 상당히 여러 차례 SSD 기업들과 함께 이야기 한 적이 있는데요, 데이터 압축을 기반으로 하는 SSD 솔루션 기업입니다. 현재까지 총 8,170만 달러의 투자를 받은 기업으로서 뚜렷한 실적이 공개되지 않아 약간은 베일에 쌓여 있는 기업입니다.

님블 스토리지 이미지와 수상 이력(출처: 님블 스토리지 홈페이지)

님블 스토리지의 핵심 기술은 CASL(Cache Accerated Sequential Layout)이라는 것인데요, 이름에서 알 수 있듯이 캐시 기술이 핵심입니다. CASL에는 플래시 기반의 읽기 캐싱(read caching) 기술과 최적화된 기록 방식(write-optimized)을 제공합니다. 플래시는 읽기 성능이 빠르다는 것은 널리 알려진 기술이고 여기에 님블은 핫 액티브(hot active) 데이터를 플래시 상에서 처리될 수 있도록 올려주고 데이터의 기록은 압축을 하고 그것을 순차적으로 기록함으로써 HDD의 기록 성능을 대폭 향상시킨다는 것입니다. 압축은 인라인(inline) 방식을 채택하고 있고 이를 위해 멀티 코어 기반의 프로세서를 장착하였다고 합니다.

CASL 기술 개요(출처: 님블 스토리지 백서 중에서, 2013)

님블은 플래시를 사용하는 스토리지 제품 중에서 비교적 완성도를 높였다고 볼 수 있습니다. 일부 플래시 제품 중에는 스냅샷이나 원격 복제 기술과 같은 것을 아직 갖추지 못한 것도 있고 씬 프로비저닝과 같은 프로비저닝 기술이 없는 것도 있습니다. 게다가 VM웨어와 같은 하이퍼바이저 지원성도 필요한데 이 부분이 빈약한 제품들도 있습니다. 하지만 님블은 그러한 면에서 가상화 기술 기술 지원성을 포함하여 익스체인지나 SQL 서버 등의 애플리케이션 지원성까지 확보하고 있어 완성도를 높게 보고 있습니다. 그러나 고객을 많이 만들지 못하고 있는 것 같은데, 마케팅이나 영업력을 어떻게 확보하는가가 이 회사의 숙제일 것입니다. 가트너도 이러한 면을 지적하고 있는데요, 아직까지 수익성이 의심스럽고 현금 흐름이 좋지 못하며 이 회사 자체의 영속성(sustainability)에 대해 고객들이 의구심을 갖고 있다고 밝히고 있습니다.

매직쿼드런트에 도전자 그룹(Challengers)나 니치 플레이어(niche players)는 의도적으로 다루지 않았습니다. 흥미가 있는 기업들도 있습니다. 일례로 AMI가 그런데요, 나중에 AMI를 좀 더 살펴볼 시간을 가져 보겠습니다. 그밖에 화웨이 테크놀러지의 실적을 중심으로 중국 내에서의 활동 등도 기회가 닿으면 확인해 보았으면 좋겠습니다.

 

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

스토리지 기술의 경계가 명확하지 않아서 과연 이 기업이 스토리지 기업인가 하는 의문이 있기는 하지만 스토리지와 관계가 있는 기업들을 중심으로 둘러 보겠습니다. 뚜렷한 주제는 있습니다. 크게 플래시와 관련된 기술이 하나이고 또 다른 축은 클라우드와 빅데이터입니다. 사실 요즘 컴퓨팅 기술의 주요 화두들이기 때문에 꼭 스토리지 기술인가 하는 의문도 들기는 합니다.

지난 주 웨스턴디지털로부터 투자를 받은 스카이어라(Skyera) 이야기입니다. 이 기업은 기업용 플래시 기술을 제공하는 기업으로서 기업의 이름에서 스카이가 있어서 그런지 제품의 이름도 스카이호크입니다. 기업의 CI와 제품명 등이 무슨 관계가 있는 것인지 잘 모르겠지만, 이 기업 아직은 신생기업이고 2010년에 시작해서 직원수가 50여명 정도 되는 기업입니다. 기업의 규모는 중요하지 않습니다. 지금 소위 잘나가는 기업이 처음부터 현재의 모습이 아니었으니 말이죠.

스카이어라를 보면서 RAID 기술에 대해 다시 생각하게 됩니다. RAID 기술은 초기 저가의 디스크를 묶어서 논리적인 저장장치를 만들겠다는 의도가 있었습니다. 여기서 중요한 것은 저가의 디스크, Inexpensive Disk 라는 점입니다. 최근의 플래시 기업들을 보면 이런 기업들이 종종 눈에 띄는데요, MLC를 이용해서 기업용 디스크를 만든다는 것입니다. 사실 2012년 이후 MLC를 이용한 기업용 플래시 솔루션이 인정을 받지 그 전에는 SLC 아니면 기업용 제품이라고 하기 어려웠습니다. 최근에는 MLC도 eMLC와 cMLC로 나누고 있는데, 일반적으로 기업용 솔루션은 eMLC를 사용하고 일반 컨슈머 제품은 cMLC를 사용합니다.

스카이어라는 cMLC를 사용하겠다고 하는군요. 저렴한 플래시 칩을 이용해서 성능과 가격을 잡겠다는 것이 이 기업의 목표고 점점 그것을 현실로 만들고 있습니다. 스카이어라의 CEO가 ‘2012 플래시 메모리 서밋’에서 발표한 자료를 보니 기술의 핵심이 무엇인지 알 수 있습니다. 솔루션의 핵심은 네트워킹 기술인데요, 플래시 스토리지가 만들어지고 나서 서버와 플래시 스토리지 간의 충분하지 못한 네트워크 기술 때문에 병목이 발생하는데 이를 해결하는 것이 이 회사의 제품인 스카이호크라는 주장입니다.

실제로 스카이호크에는 상당히 많은 기가비트 포트가 달려있는데 마치 이더넷 스위치 같다는 느낌마저도 듭니다. 1GbE 포트가 40개나 달려 있으니 말이죠. 스카이어라는 주장합니다. 19/20nm의 플래시 제품이 기업용 제품으로 사용되지 못할 이유가 없고 플래시는 하드 디스크의 가격만큼의 경쟁력을 가질 수 있으며 그래서 기업용 솔루션으로 플래시가 대안이 될 수 있다고 합니다.

유투브의 비디오를 보니 실제 제품의 내부 아키텍처를 알 수 있는데요, 플래시 모듈이 마치 서버의 DIMM 처럼 탑재되고 RAID SE라는 소프트웨어 기술이 하나의 칩으로 연결되어 네트워크 CPU를 거처 서버들과 연결됩니다. 그림만 보면 마치 이더넷 스위치 속에 플래시를 넣어 놓았다는 생각이 들기도 합니다.

스카이어라의 팀 구성을 보니 설립자들은 지금은 LSI에 인수된 샌드포스의 설립자이자 핵심 개발자였고 그 외 임원들은 마이크론, HDS, 마이크로소프트, STEC, 브로케이드, 이볼트 등에서 온 사람들로서 이 분야에서는 상당히 경험이 많은 사람들이네요.

스카이어라의 기술을 좀 더 들여다 보았습니다. 아래 슬라이드를 보면 알 수 있지만 cMLC를 사용하고 있으며 외관은 마치 스위치를 보는 것 같습니다. 10GbE와 40GbE 네트워크 연결을 지원하고 최대 44TB까지 제공한다고 합니다. 그런데 중복제거와 압축을 사용할 경우 실제 논리적인 데이터 저장량은 더욱 늘어나서 이 회사의 주장에 따르면 100TB 이상을 저장할 수 있게 된다고 합니다. 기술에 대한 검증은 있어야겠지만 19인치 표준 랙에 1U 크기의 폼팩터로 동작을 한다면 상당히 매력적일 것 같습니다. 게다가 물리적 용량으로 44TB를 제공한다면 더욱 관심이 갑니다.

하드웨어에서 플래시 컨트롤러를 제공하고 RAID-SE라는 자체 개발한 RAID 알고리즘을 적용합니다. 특이한 것은 앞서도 간단히 언급했지만 하드웨어 기반의 압축을 제공하고 인라인 방식의 중복 제거(in-line deduplication)을 통해 용량을 늘리고 암호화 기술도 AES 128을 제공하고 있네요. 이상의 것들을 하드웨어 차원에서 제공하고 있으며 소프트웨어 기능을 통해 스냅샷, 클론, QoS, 멀티 패스 지원, 일관성 그룹(Consistency Group) 제공, 씬 프로비저닝 등등 거의 대부분의 스토리지 기술이 제공하는 기능들은 모두 지원을 하고 있군요.

이런 스카이어라에 5,160만 달러를 델 벤처스(Dell Ventures) 주도로 지난 2월에 투자하였고 이번 달에는 웨스턴 디지털이 투자 선언을 이어가고 있습니다. 델 벤처의 경우 스카이어라를 비롯해 과거에는 퓨전IO에도 투자를 한 바 있고 올해(2013년) 1월만해도 마이란티스(Mirantis)라는 오픈스택을 기술을 가진 기업에 1천만 달러를 투자하였습니다.

투자와 관련해 웨스턴 디지털이 이 기업에 투자하는 것이 상당히 눈에 띕니다. WD의 경쟁 기업이라고 할 수 있는 씨게이트의 경우 온라인 백업 기업인 이볼트(EVault)를 비롯해 외장형 스토리지 기업인 라씨(LaCie) 그리고 플래시 기업인 덴스비츠(DensBits Technologies)버리덴트(Virident) 등에 인수 및 투자 등을 하였지만 플래시에 대해서는 WD의 움직임은 눈에 띌 것이 없었습니다. 플래시와 관련해서는 실리콘 시스템즈를 2009년에 인수하였고 백업 기업인 아케이아(Arkeia)를 인수한 바 있습니다. 투자나 인수 등에 있어서는 씨게이트만큼 적극적이지 않은 것이 사실입니다.

씨게이트가 투자한 플래시 기업들은 제품이 출시되면서 시장에서의 반응이 나타나고 있는데 반해 웨스턴디지털이 인수한 실리콘 시스템은 그 뒤 어떻게 성과가 났는지는 확인이 안되는군요. WD의 경우 이번 투자가 상당히 중요할 것입니다. HDD만으로는 어려울 것이라는 우려가 있느니만큼 향후 WD가 또 다른 플래시 솔루션 기업들에 대해 투자나 인수를 할 것인지 궁금해집니다.

새로운 형태의 플래시 솔루션이 어떤 결과를 만들어 낼 지 모르겠지만 이런 새로운 도전을 하는 기업들을 보면 그들의 비즈니스 생태계가 부럽기도 합니다. 스카이어라를 보면서 더욱 그런 생각이 듭니다. SSD 컨트롤러인 샌드포스를 개발해서 LSI에 매각하고 다시 나와서 새로운 기업을 설립하고 또 다시 도전해 보는 것, 국내에서 좀처럼 보기 어려운 모습입니다. 부럽네요.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
TAG flash, Skyera, SSD, WD

ACID, 데이터베이스를 공부하다 보면 참 많이 나오는 단어입니다. 트랜잭션이 안전하게 실행될 수 있다는 것을 보증하기 위한 속성으로 원자성(atomicity), 일관성(consistency), 고립성(isolation), 지속성(durability) 등의 영문 앞 자를 따서 붙인 것으로 이것을 잘 보장해 주는 시스템이 이른바 데이터베이스 관리 시스템(DBMS)입니다. 그런데 사실 이 ACID 속성을 모두 갖추는 것이 쉽지 않습니다. 그래서 ACID를 보장하기 위해서 락(lock)을 걸게 되고 이로 인해 동시 작업을 해야 할 경우 어렵고 성능이 떨어지게 됩니다. 락이 걸려 있는 동안에는 다른 작업, 이를테면 데이터베이스의 갱신(update)이나 추가(insert) 등이 안되기 때문에 계속 대기 상태를 유지해야 합니다. 그래서 최근에는 MVCC(mutilversion concurrency control)이라는 기능이 지원됨으로써 동시 사용자들에 의한 동시 작업을 지원합니다.

ACID는 DB를 구성하는데 있어 상당히 어려운 과제를 제공하고 있는데 최근의 NoSQL이 이러한 전통적인 방식에서의 접근이라고 할 수 있는 ACID를 지원하는가에 대해서 말들이 많습니다. 크리스토프 코박스(Kristof Kovacs)라는 사람에 따르면 모든 NoSQL이 ACID 속성을 가지는 것이 아니지만 ACID 속성을 가진 NoSQL 솔루션이 없는 것은 아니라고 합니다. 실제로 그의 블로그를 보면 네오4j(Neo4j)의 경우 완벽하게 ACID를 지원한다고 합니다. 그는 상당히 많은 NoSQL 기술 비교를 자신의 블로그에 통해 올려 놓았는데요, 비교 대상인 NoSQL들로는 카산드라, 몽고DB, 레디스(Redis), 리악(Riak), H베이스(HBase), 카우치베이스(Couchbase), 네오4j(Neo4j), 볼트DB(VoltDB) 등이 있습니다. NoSQL 홈페이지를 보니 네오4j이외에도 여러 NoSQL 기술들이 ACID를 지원하고 있습니다. 관심 있으신 분은 직접 찾아 보시는 것도 좋을 것 같습니다.

네오4j 홈페이지, 전면에 ACID를 완벽하게 제공하는 NoSQL임을 밝히고 있다

그러나 NoSQL에 ACID라는 속성을 보장하게 하려면 결국 성능에 영향을 미칠 수 밖에 없는데 NoSQL의 등장 배경을 생각해 보면 ‘SQL만이 아니다(Not Only SQL)’라는 기치 아래 기존 SQL의 성능을 높이기 위해서 나왔는데 그것에 발목을 잡힐 필요가 있을까 하는 의견들도 많습니다. 스택오버플로우(Stackoverflow)에 올라오는 게시물들에는 이러한 이야기들이 많이 있는데요, CAP 이론에 의해 NoSQL이 왜 ACID 속성을 버리는지 설명하고 있습니다.

국내에서는 아쉽게도 우리 글로 되어 있는 이 분야의 자료들이 많지 않은 것 같습니다. 영문자료들은 많이 공개되어 있지만 보다 많은 글들이 나와서 국내에서도 긍정적인 생태계를 이루었으면 하는 바램이 있습니다.

ACID를 완벽하게 지원하느냐는 NoSQL에서 그렇게 중요하지 않지만 전통적인 IT 부서의 경우 이러한 속성 유무에 따라 NoSQL에 대한 신뢰를 평가할지도 모르겠습니다. 관계형 데이터베이스와 NoSQL을 적절히 용도에 맞게 배치하여 사용하면 되겠지만 보수적인 국내 정서에서 이런 것은 쉽지 않아 보입니다.

마크로직이라는 회사가 있습니다. 국내에서는 많이 알려져 있지는 않지만 국내 비즈니스를 하고 있습니다. 하둡과 NoSQL, 빅데이터 솔루션 등을 취급하고 있는 기업으로서 떠오르는 기업 중 하나입니다. 2001년도에 설립되어 약 250여명이 근무하고 있는 것으로 알려져 있는 전형적인 오픈 소스 기반의 소프트웨어 기업입니다. 이 기업에 대한 투자도 꾸준히 이어지고 있는데요, 2002년도에 시리즈 A로 6백만 달러를 받을 것을 시작으로 하여 2003년에는 1,200만 달러, 2007년에는 1500만 달러, 2009년도에는 1250만 달러 등 총 4550만 달러가 투자된 기업들입니다. 설립자인 데이브 켈로그(Dave Kellogg)는 마크로직을 설립하기 전에 지금은 테라데이터에 인수된 애스터 데이터와 비즈니스 오브젝트 등에서 디렉터와 마케팅 총괄 등을 수행했습니다. 흥미로운 것은 데이브가 데이터히어로라는 기업에 투자를 하고 있는데요, 데이터히어로는 데이터를 분석할 수 있도록 시각화 하는 솔루션을 개발하는 회사입니다. 마크로직, 설립자, 그리고 설립자가 투자한 기업들을 보면 전체적으로 빅데이터에 초점을 맞추고 있습니다. 참고로 현재 CEO는 게리 블룸(Gary Bloom)으로서 마크로직 전에는 시만텍/베리타스, 오라클 등에 있으면서 데이터베이스와 스토리지 등에 관한 다양한 경험을 쌓았습니다.

최근 스토리지리뷰(StorageReview)에 마크로직의 NoSQL 데이터베이스 스토리지 벤치마크 결과가 올라왔습니다. 회사의 주장에 따르면 ACID를 완벽하게 지원한다고 하는군요. 그런데 이 테스트 결과가 묘하게도 플래시 제품에 관한 성능을 가늠해 볼 수 있겠다는 생각이 듭니다. 물론 애플리케이션이 마크로직 NoSQL 솔루션이고 아래에 있는 AP 및 DB서버가 레노보 씽크서버였습니다. 그리고 인피니밴드는 멜라녹스 SX6036였습니다. 플래시 디바이스 성능은 별도의 ‘네트워크 스토리지 호스트’에 의해 테스트 되었는데요, 환경에 따라 다를 수 있기 때문에 아래 결과만 놓고 어떤 제품이 제일 좋다고 이야기 하는 바보 같은 이야기를 하지 않았으면 합니다. 

위 그림에서 표시된 수치는 평균 응답지체(latency)시간입니다. 역시 PCIe 기반의 제품들은 응답 시간이 좋습니다. Latency가 가장 좋은 제품은 델 R720 익스프레스플래시 350GB였습니다. 그리고 마이크론, 퓨전IO, OCZ, 버리덴트(Virident)  등의 제품이 높은 성능을 냈습니다. HDD의 대표로 테스트 된 도시바의 15,000rpm 디스크의 경우 성능에서 상당히 큰 차이를 보이고 있습니다. 이런 비교를 왜 했는지 알 수 없지만 아마도 극단적인 대조군을 만들기 위해서 사용된 것이 아닌가 하는 생각이 듭니다.

델 R720 서버 전면부, 이번 테스트에서는 좌측부터 4개 드라이브에 SSD를 탑재하여 테스트함

그런데 결과만 놓고 보면 델의 R720 익스프레스플래시가 가장 좋은 것 같지만 과연 그럴까요? 결과 그래프에서 표시되고 있는 디바이스 아래에 작은 글씨로 간단히 구성 내역을 보여 주고 있는데요, 자세히 보시면 델의 제품이 가장 잘 나올 수 밖에 없습니다. SSD 드라이브 4개를 JBOD로 묶어서 사용했습니다. 하지만 다른 PCIe 타입의 플래시 카드 제품들은 1개의 제품을 4개의 파티션으로 나누어 테스트를 진행했습니다. 리소스 면에서 델 R720을 따라갈 수 없었을 것입니다. 궁금해서 R720과 SSD 등에 대해 찾아봤습니다.

캐시케이드(CacheCade) 라는 기술을 적용했는데요, 델 서버의 PERC 컨트롤러 상에서 동작하는 것으로 SSD 디바이스를 마치 전용 캐시 풀로 사용할 수 있도록 하는 기술입니다. 이렇게 함으로써 핫 데이터(hot data) 즉 액세스가 빈번한 데이터는 이 SSD 상에서 처리될 수 있도록 하는 것입니다. SSD를 이용하여 빠르게 응답할 수 있도록 응답지체(latency)를 줄이면서 PCIe를 사용으로 인한 PCI 슬롯 점유 문제와 서버 내 RAID 컨트롤러(PERC)에서 간단히 처리할 수 있는 기술이 접목됨으로써 R720 서버 자체가 OLTP 솔루션이 되는 것입니다. 아래 그림은 델 커뮤니티에서 가져온 것으로 이때는 마이크로소프트 SQL 서버2008에서 테스트 했던 것인데요, 재미있는 것은 PCIe 플래시 카드보다 성능이 좋지는 않게 나왔네요.

마크로직의 NoSQL에서의 성능 비교와 SQL서버2008에서의 성능 비교가 이렇게 다릅니다. 테스트 결과를 맹신할 필요는 없습니다. 워크로드 즉, 해당 업무의 I/O 특징이 무엇인가가 관건이겠죠.

스토리지만 알아서 되는 세상이 아닌가 봅니다. 많은 것을 알아야 합니다. 물론 모르고 그냥 살 수도 있겠지만 하루가 다르게 새로운 기술이 나옵니다. OLTP만 좀 안다고, 스토리지 조금 안다고 세상에 나와서 비즈니스를 할 수 있는 세상은 아닌 것 같습니다. SQL와 데이터베이스도 알아야 하고, 하둡도 필요하고, NoSQL, 빅데이터와 통계, 플래시, 서버, 스토리지, 네트워크  등등…. 너무나 알아야 할 것이 많고 배워도 그 끝이 없습니다. 피곤할 법도 하지만 그래서 이 바닥에서 한가하게 조용히 늙어지기만 기다릴 수 없는 동력이 있나 봅니다.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고