컴퓨터의 미래와 스토리지

Cloud 2016.03.20 21:45 Posted by Storage Story

스토리지 산업에 많은 변화가 있다는 것은 스토리지 산업이 별나서가 아니라 IT 산업이 가지는 특징과 관계가 있어 보입니다. 어떻게 보면 IT 산업은 인류에게 있어 상당히 낯선 산업입니다. IT라는 것이 탄생한지 얼마나 되었을까요? 언제부터 IT 역사의 시작으로 삼으면 좋을지는 모르겠습니다만, 대략 1950년대부터 컴퓨터가 산업으로서 시작하였다고 한다면 이제 겨우 한 70년 되는 셈입니다. 트랜지스터가 1948년에 최초로 만들어졌고 최초의 컴퓨터라고 불리는 (이론의 여지는 있지만) 에니악이 1946년 만들어졌으니 대략 1950년을 기점으로 보는 것도 크게 무리는 없어 보입니다.

IBM이 1956년 최초로 5MB의 스토리지를 비행기에 싣는 모습. Model 305 RAMAC. 이 모델은 판매가 아닌 리스의 형태로 당시 금액으로 월 3,200달러를 지불했어야 하는데요, 요즘 화폐가치로는 28,000달러 이상일 것이라고 하는군요. 출처: http://nextshark.com/ibm-5mb-hard-drive/

미래의 컴퓨팅은 어떻게 될까요? 이코노미스트는 지난 3월 12일자 상당히 흥미로운 기사를 실었습니다. The Economist에서 표제 기사와 기술 부문(Technology Quarterly) 등에서 상당히 많은 분량을 컴퓨팅에 관한 글로 채웠는데요, 읽으면서 역시 이코노미스트구나 하는 생각이 들었습니다. 특히 표제의 글인 ‘After Moor’s law, The future of computing’을 읽으면서 생각의 빈틈들을 메워나갈 수 있었습니다. 오늘날 30억 명의 사용자들이 들고 다니는 스마트폰은 1980년대 하나의 방(room)만한 크기의 슈퍼컴퓨터였고 IT라고 하는 산업은 계속해서 이렇게 끊임없이 디지털 혁신(digital distruption)을 해왔다는 것입니다. 그러나 그렇게 계속될 것 같은, 이른바 인텔의 공동 창업자가 말한 고든 무어(Gordon Moore)의 ‘무어의 법칙’은 이제 그 속도가 줄어들고 있습니다(아래 그림 참조). 매 2년이 아닌 2.5년 그 이상으로 말이죠. 그러나 이것은 “컴퓨팅의 속도가 갑자기 느려지는 것이 아니라 그 본질이 변화하고 있다(the nature of that progress is changing)”고 이코노미스트는 진단하고 있습니다. 컴퓨팅의 미래가 다른 3개의 분야에 의해서 변화하고 있고 그것들은 소프트웨어(software), 클라우드(cloud), 새로운 컴퓨팅 아키텍처(new computing architecture) 등이라고 말이죠.

출처:이코노미스트 2016, 3월 12일. http://www.economist.com/printedition/2016-03-12

3개 분야에 의한 컴퓨팅 환경 변화 중에서 ‘새로운 컴퓨팅 아키텍처’가 가장 눈에 띕니다. 특정한 업무를 위해 최적화된 특별한 칩(specialised chips optimsed for particular jobs)이 그러한 것이며 마이크로프로세서 기술의 발전이 클라우드 컴퓨팅이나 신경망 프로세싱(neural-network processing), 컴퓨터 비전(computer vision)이나 기타 다른 업무(other tasks) 등을 그러한 예로 꼽고 있습니다.

Custom built, 이코노미스트는 미래 컴퓨터에서 ‘새로운 아키텍처’로서 프로세스 차원에서의 예를 들고 있습니다(주 참조). 이러한 생각의 프레임워크를 그대로 원용해 본다면 데이터 센터에서의 미래도 충분히 가늠해 볼 수 있을 겁니다. 소프트웨어에 기반한 클라우드, 그리고 특별한 컴퓨팅 체계 등으로 생각해 볼 수 있는데요, 스토리지 비즈니스에 조망해 본다면 소프트웨어 정의 인프라스트럭처(Software Defined Infrastructure; SDI)와 표준화된 서버와 스토리지 기술 등이 그런 것이 아닐까 싶습니다. CPU 차원에서의 진보보다는 새로운 컴퓨팅 형태로서 말이죠. 위 그림에서 보는 것처럼 CPU의 경우 클럭 스피드를 높이는 것보다는 밀도를 높이고 있습니다. 이미 CPU 고성장의 한계라고 해도 크게 무리는 아닐 것이고 앞으로 인텔이 CPU 개발에 더 많은 노력을 해야 할 것인가도 사실 의문입니다. 이코노미스트에 따르면 실리콘 밸리의 분석가의 말을 빌려 “경제적 관점에서 무어의 법칙은 끝났다”고 선언합니다. 이는 미세 공정, 이른바 나노 공정의 수준이 높아질 수록 비용이 올라가기 때문에 그렇다는 것인데, 기술의 문제라기 보다는 양산의 문제로(경제적인 문제로) 현재의 미세공정의 수준이 앞으로 나아진다고 해도 지난 몇 수십 년 동안의 급격한 속도에 이르기는 어렵습니다.

이제 Intel CPU를 사용하는 서버라면 서버 그 자체로서 뿐만 아니라 그 응용 범위를 SDI와 같이 넓혀야 하는 것은 분명해 보입니다. 소프트웨어로 정의하는 스토리지와 네트워크 등이 클라우드를 가속시킬 것이고 소프트웨어로 정의되는 데이터 센터가 결국 데이터 센터가 지향해야 할 것입니다.

그런데 스토리지 산업은 소프트웨어로 정의되는 스토리지 그 이상의 것이 있어 보입니다. 여기에는 하드웨어에 의한 자기 파괴적인 기술 혁신이 있습니다. 누가 뭐래도 플래시는 HDD를 대체할 것이고 스토리지 산업의 판도를 많이 바꿀 것으로 보입니다. 이런 상황에서 스토리지 산업은 확실하게 이런 부문에서 앞으로 성장의 여지는 충분히 있어 보입니다. HDD는 상당히 많은 분야에서 그 역할을 다해내고 있지만 한계는 여전합니다. 물리적으로 플래터를 돌려야 하는 방식은 이미 물리적 한계에 부딪히고 있습니다. 또한 플래시 기술이 엔터프라이즈 환경에 접목되면서 이미 상당히 많은 다양한 상황을 경험해서 더 이상 플래시 먼발치에서 보기만 하는 것은 의미 없어 보입니다. 무엇보다도 성능이 좋아진다는 것은 엔터프라이즈 환경이나 IOT 등에서 환영할만한 사건이죠.

플래시가 가지는 이점은 성능이 좋아진다는 것 이상의 것이 있습니다. 스토리지 관리자들은 구성이나 문제 해결, 스토리지 어레이의 튜닝 등과 같은 일상적으로 발생하는 것들에서 벗어날 수 있다는 점에서 이점이 있습니다. 또한 기존의 HDD 또는 하이브리드 어레이와 같은 스토리지 시스템에서는 제공하지 못했던 새로운 가치를 제공합니다. 물리적인 랙의 개수를 줄이거나 상면의 숫자, 전력, 냉각비용 등은 플래시 기반의 스토리지 시스템이 제공하는 새로운 가치일 것입니다. 물론 여기에는 다른 주장들도 있습니다. 이를테면 3D NAND나 3D XPoint 등과 같은 기술이 더 많은 전력과 그로 인한 냉각 비용이 발생할 것이라는 것이죠. 그러나 데이터센터 내 점유 공간이 줄어들고 더 작은 면적에서 더 높은 성능을 제공할 수 있게 된다는 것은 단위 면적 당 이전보다 전력이나 냉각 비용 면에서 충분한 메리트를 제공할 수 있습니다.

가트너(Gartner)가 실시한 설문에 따르면 플래시 기반의 스토리지를 사용하는 사용자의 33%가 하이브리드 형태의 HDD 어레이를 사용하는 것과 비교해서 48%의 전력 비용을 절감했으며, 냉각 비용은 76% 절감, 공간 절약은 63%를 줄여 운영 및 유지 관리 비용을 16% 줄일 수 있게 되었다고 합니다.

또한 진동과 소음이라는 측면에서도 고려해 보아야 할 것 같은데 아직까지 이것에 관한 자료는 발견하지 못했습니다. 데이터 센터 내에서 끊임없이 발생하는 HDD의 진동이 실제 데이터센터에 어떠한 영향을 미치는지 말이죠. 전자적으로 동작하는 서버나 스토리지 시스템에서 물리적으로 동작하는 회전체는 냉각팬과 HDD뿐인데, 그런 면에서 향후 데이터센터 설비의 안정성과 연결되면서 플래시는 매우 중요하게 바라봐야 할 기술 중 하나가 될 것입니다.

하지만 플래시 역시 인텔의 CPU와 같은 길을 가지 않을까 생각합니다. 플래시에 적용되는 미세 공정이 어느 순간에는 현재의 CPU와 같이 수지타산이 맞지 않는 상황이 될 수도 있지 않을까 생각해 봅니다. 현재는 커가고 있는 단계니 그 순간이 언제인지는 알 수 없지만 결국 그런 순간이 나오지 않을까요?

컴퓨팅의 역사와 미래 기술을 보면서 현재의 스토리지 산업을 보면 상당히 큰 변화 한 가운데 있습니다. HDD가 플래시로 넘어가면서 데이터센터가 변화할 것이고 소프트웨어가 스토리지를 정의하고 데이터 센터를 정의하게 되고 그것이 클라우드로 커가면서 향후 컴퓨팅 환경은 우리에게 단순히 서비스로만 남을 것이라는 생각마저도 듭니다. 변화를 계속하고 새로운 기업들이 계속 태어나면서 이들이 거대 기업들을 위협하고 있는 이 산업에 있다는 것이 때로는 힘들지만 그래서 역동적이고 살아 있음을 느끼게 됩니다.


주) Computer vision: The Ecomist에서는 computer vision에서 대해서 모비디우스(Movidius)의 예를 들면서 증강현실(augmented reality)를 말하고 있습니다. 그렇다고 해서 증강현실에 한정하지는 않습니다. 현재 모비디우스는 9천만 달러에 달하는 자금을 모았으며 로봇이나 자율주행 자동차 등과 같은 곳에서 처리하는 특별한 형태의 칩을 개발하고 설계하는데 역량을 집중하고 있습니다. 모비디우스가 개발한 Myriad 2의 경우 이미지(image)와 비전(vision)을 처리하는 프로세서로 이것을 그들은 VPU(vision process unit)이라고 부릅니다. 저전력이면서 latency가 짧다고 말하고 있는데요, 자전거 헬멧에서 Myriad 2를 달고 사물을 어떻게 인지하는지를 보면 Nvidia의 GPU 기술과 비슷하고 자율주행자동차나 ADAS(advanced driver assistance system)의 관련 기술과도 비슷합니다. 관련 유투브 영상을 보시면 이해가 빠를 것 같기도 하네요(https://youtu.be/hD3RYGJgH4A).

 

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

새로운 스타트업기업, Minio

Cloud 2015.06.28 13:36 Posted by Storage Story

클라우드 스토리지 기술을 보다 보면 상당히 많은 기업들이 Amazon S3 API나 이것과 100% 호환된다는 것을 강조합니다. 그만큼 아마존의 기술이 이 분야에서의 영향력이 크다는 것을 의미하겠죠. 얼마 전 Minio라는 기업을 알게 되었습니다. 2014년 11월 22일에 설립된 완전 스타트업 기업이죠. 크런치베이스에 따르면 직원 4명으로 표시하고 있는데요, 이들 4명이 공동 창업자로 있으면서 지난 (2015년) 6월 17일에 9개 투자자로부터 330만 달러를 펀딩 받았습니다. 투자자를 살펴보니 랙스페이스(Rackspace)의 CEO인 Lanham Napier, 닥커(Docker) CEO인 Ben Golub, 시마이크로(SeaMirco)의 CEO Andrew Feldman, 구글 VP Cloud Platforms의 Brian Stevens 등의 개인투자자와 넥서스 벤처 파트너스(Nexus Venture Partners) 등이 있습니다.

4명의 창업자들을 살펴보면 현재 CEO 역할을 하고 있는 Anand Badu Periasamy는 글러스터(Gluster)의 공동 창업자 중 하나로 Gluster는 레드햇에 2011년 1억 3600만 달러에 인수되었습니다. 2014년까지 레드햇에 있었으며 아마 인수 당시 중요한 인물이었기 때문에 인수조건으로 2014년까지 레드햇에 근무하다가 나와서 창업을 시작하지 않았나 하는 생각이 듭니다. 나머지 3명도 역시 레드햇, 글러스터 등과 직간접적으로 연결되어 있는 사람들이군요.

Minio라는 이름은 Minimal Object Storage라는 것을 대변하는 이름으로 미니멀리즘을 의미한다고 하는군요. 코드는 Golang으로 만들어졌고 오픈소스 커뮤니티에 아파치 라이선스 v2 조건으로 사용을 할 수 있습니다. Minio Object Storage는 크게 3개의 컴포넌트로 구성되어 있는데요, Minio Application Server, Minio Client, Minio Libraries 등으로 개발자들은 Application Server를 이용하여 자기 자신만의 클라우드 스토리지를 만들 수 있고 Client를 통해 클라우드로 대량 복사 작업을 진행할 수 있습니다. S3 기반의 개발을 해야 하는 경우라면 바로 S3 서비스를 사용하지 않고 내부에 먼저 Minio를 이용해 Object storage를 만들어 두고 그리고 적절한 시점이 되면 퍼블릭 S3에 데이터를 옮기게 될 수 있게 되는 것이죠.

Minio의 코어 기술을 도넛(Donut)이라고 부르는데, 여러 대의 서버와 디스크 장애가 발생해도 데이터 가용성이 유지될 수 있도록 하는 기술입니다. Minio의 기술 이름이라고 할 수 있는데요, 이는 Erasure coding(EC) 기술입니다. EC는 어떤 데이터를 조각을 내어 분산 저장, 즉 디스크나 스토리지 노드나 지역적으로 분산하여 저장을 할 때 사용되는 데이터 보호 방법론인데요, 그런 점에서 볼 때 넷앱의 WAFL이나 오라클의 ZFS와 유사하다는 것이 분석가들의 의견입니다. 데이터 보호를 위해 사용되는 Donut 기술에는 이른바 Silent data corruption 현상을 막기 위해서 내부적으로 SHA 512 체크섬을 계속해서 수행함으로써 데이터의 안정성과 보장을 하고 있습니다.

궁극적으로 Minio는 소프트웨어 정의 스토리지(software defined storage)를 지향하고 있습니다. TechCruch에 관련 기사를 보니 아래와 같은 나오는데요, 잠시 생각해 봐야 할 부분이라서 원문과 발번역(ㅠㅠ)을 같이 실어 보았습니다.

The company is targeting younger developers in particular, which it believes have different needs from the previous generation. Millennial developers demand 4 characteristics in cloud storage including the freedom to run their applications anywhere, easy API-based access, scalability from millions to billions of users and ease of operations, according to the company. Minio hopes to solve all of these.

미니오가 노리는 시장 타깃은 젊은 개발자들로서 이들은 기존 세대와는 다른 니즈를 가지고 있다. 이들 신세대 개발자들은 4개의 특성을 가지고 있고 그것들은 자신들이 만든 애플리케이션이 어디서나 동작할 수 있어야 하고 API 기반의 손쉬운 액세스를 제공해야 하며 수 십억의 사용자들까지 사용할 수 있도록 확장성을 가지면서도 운영이 쉬워야 한다는 것이다. 미니오는 이러한 문제를 모두 해결 할 수 있기를 바란다.

미니오라는 기술의 지향성 보다 4개의 특징이라는 것이 최근의 IT 경향을 그대로 요약해 두었다는 생각입니다. 플랫폼에 관계 없이 실행되고 클라우드 규모의 확장성과 API를 기반하여 액세스도 쉬우면서 관리까지 쉽게 한다는 것은 각 특성들간의 상충 되는 것이 있기도 하지만 종국의 지향점이라는 생각이 듭니다.

오픈 소스 경향이 기존 거대 기업들을 움직이면서 EMC를 비롯해 많은 기업들이 자신들의 기술을 오픈 소스로 내놓고 있습니다. 시대적 요구가 Openness로 끌어가고 있습니다. 이 분야의 참여자들이 늘어나면서 세상이 보다 더 클라우드로 연결되고 그래서 정말 ‘Software is eating the world” 인가 봅니다.

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

오픈 소스와 소프트웨어 기술 등이 조합을 이루면서 데이터 센터 전체가 변화할 것 같다는 생각이 듭니다. 웹 스케일(web scale)이라는 것이 데이터 센터의 큰 조류가 될 지는 알 수 없지만 무척이나 이 단어를 많이들 사용합니다. 구글이나 페이스북을 보면서 이른바 확장성의 기준이 웹 스케일이라는 초대형으로 설계되고 운영되어야 한다는 것을 이야기 하고 있지만 실제 대부분의 기업들에서는 그렇게까지 웹 스케일이라는 규모가 요구될까 하는 생각이 듭니다. 하지만 정말 중요한 것은 웹 스케일이 아니라 소프트웨어로 정의되는 인프라스트럭처라는 점입니다. 소프트웨어로 뭐든지 정의한다는 이른바 “Software Defined Anything”의 과정이나 전제가 웹 스케일과 같은 특성이 될 수 있을 것입니다. 소프트웨어로 뭐든지 만들 수 있다는 발칙(?)한 상상력은 오픈 소스 소프트웨어와 x86서버 등을 토대로 계속 ‘진행 중’입니다.

Software Defined Anything을 보면서 상당히 흥미로운 기술을 보았습니다. 큐물러스 네트웍스(Cumulus Networks; 이하 큐물러스)라는 소프트웨어 정의 네트워크(software defied network) 기술을 구현하는 기업입니다. 규물러스는 2010년 1월에 캘리포니아 마운틴 뷰에서 설립되었고, 시스코(Cisco)와 VM웨어 등의 출신으로 이뤄진 기업니다. VM웨어의 기술이 x86서버에 가상 머신(VM)을 올리는 것이라고 한다면 큐물러스의 기술은 일반적인 스위치에 큐물러스의 Network OS를 올려서 가상의 네트워크 스위치를 만드는 것이라고 할 수 있습니다. 슬라이드셰어에 큐물러스의 슬라이드 자료를 보니 잘 설명하고 있는 그림이 있어 아래에 붙여 봅니다.

델(DELL)은 2014년에 큐물러스와 파트너십을 맺고 비즈니스를 시작했습니다. 델의 네트워킹 장비에 큐물러스 소프트웨어를 올린다는 것인데요, Dell S4810-ON이나 S6000-ON 등의 스위치를 기반으로 SDN 전략을 수행할 수 있을 것이라는 생각이 듭니다. 큐물러스의 소프트웨어 기술이 모든 스위치에 올라가지는 못합니다. 그래서 큐물러스는 HCL(Hardware Compatibility List)를 홈페이지에 게시하고 있는데요, 아직 많은 하드웨어 업체들의 참여를 이끌어 내지는 못하고 있습니다. 지원되는 스위치 업체들을 보면, 델을 비롯하여 퀀타(Quanta), 펭귄 컴퓨팅(Penguin Computing), 엣지코어(Edge-core) 등이 있으며 일부 제품 모델에 한정하고 있어 제품을 시험 삼아 경험해 보는 것이 쉽지는 않아 보입니다.

이 기업의 투자 내역을 보았습니다. 2012년 10월에 1,500만 달러로 시리즈 A를 시작하였고, 2014년 1월에는 3,600만 달러를 유치하였습니다. 투자 기업 중에 Andreessen Horowitz가 있는데요, “Software is eating the World”라는 유명한 말을 남긴 Marc Andreessen이 있는 곳입니다(관련 글 링크). 큐물러스의 홍보 영상에 보면 Marc Andreessen이 나와서 기업에 관한 좋은 말을 하는 장면이 나오는데, 그 이유가 있었네요.

델은 ‘Blue Thunder’이라는 이름으로 소프트웨어 정의 스토리지(SDS; software defined storage) 전략을 추진하고 있습니다. 스토리지 소프트웨어 기업인 넥센타(Nexenta)와의 OEM 공급 계약을 비롯하여 뉴타닉스(Nutanix)와도 OEM 계약을 맺어 CI(Converged Infrastructure) 비즈니스를 하고 있습니다. 뿐만 아니라 레드햇(Red Hat)과의 협업을 통해 오픈스택(OpenStack)과 Ceph 비즈니스를 할 수 있는 토대를 마련해 두었고 클라우데라(Cloudera)와 빅 데이터 사업, 마이크로소프트와는 Storage Spaces, VM웨어와는 EVO:RAIL 사업까지 확장하고 있습니다.

마이크로소프트는 델과의 관계가 매우 특별하다고 할 수 있는데요, 투자자이면서도 동시에 OEM 판매자이기도 한 델은 일종의 어플라이언스 형태로 ‘CPS(Cloud Platform System)’까지 만들었는데, CPS의 경우 델의 하드웨어(서버, 스토리지, 네트워크)와 마이크로소프트의 하이퍼-V와 시스템 센터 등을 기반으로 클라우드 소프트웨어(애저; Azure)를 올린 제품입니다. 

(출처: 테크넷, http://blogs.technet.com/b/windowsserver/archive/2014/10/20/unveiling-the-microsoft-cloud-platform-system-powered-by-dell.aspx)

CPS의 소프트웨어 스택을 보면 스토리지 부문에 Storage Spaces를 볼 수 있습니다. 델 스토리지 중에서 별도의 기능(예를 데이터 서비스 기능)이 없는 일반 디스크 스토리지(commodity storage, JBOD)를 Windows Server 2012 이상에서 제공하는 Storage Spaces라는 기능을 이용해서 소프트웨어로 정의하는 스토리지를 만들었습니다. 우리 말로는 ‘저장소 공간’이라는 말로 번역되었는데요, 테크넷에도 비교적 상세하게 기술 소개가 되어 있습니다. Storage Sapces는 레드햇의 Ceph나 EMC의 ScaleIO와 사실 매우 유사합니다. 다만 차이가 있다면 스토리지 시스템을 만들기 위한 운영체제가 다를 뿐이라는 것 뿐이죠. SDS를 위한 방법론으로서 Microsoft Storage Spaces는 다양한 RAID 기술과 씬 프로비저닝, 스토리지 풀 등 일반적인 스토리지가 제공하는 기능들 상당 부분을 제공하고 있습니다.

클라우드를 생각해 보겠습니다. 클라우드가 데이터센터의 미래가 될 것임에는 현재로서 크게 이변이 없는 한 틀린 명제는 아닐 것입니다. 가트너(Gartner)가 실시한 최근 클라우드 사용에 관한 설문 조사 결과에 따르면 조사 대상 기업의 75%가 퍼블릭 클라우드 서비스를 사용하고 있고 향후 3년 내 78%는 투자를 늘릴 것이라고 합니다. 또한 조사 대상의 91%는 클라우드 도입과 관련해서 외부의 제공자(provider)들을 이용할 것이라고 하는군요.

이렇게 기업들이 클라우드를 도입하는 가장 큰 이유는 “비용 절감”입니다. 반대로 주저하는 이유 중 가장 큰 것은 “보안과 프라이버시”라고 합니다(앞의 가트너 자료 참조). SDS로 기업의 데이터 저장소를 만들고 큐물러스와 같은 기술을 이용하여 SDN을 만들면 비용이 줄어들까요? 확신이 서지 않습니다. 오픈 소스 기술이 제품의 가격은 낮추는데 기여하지만, 상대적으로 보다 깊은 지식을 갖춘 인력이 필요하기 때문에 비용이 줄어든다고 획일화 시키는 것이 타당한 것일까 하는 생각이 듭니다.

큐물러스의 각종 자료와 유투브 영상을 보면서 큐물러스의 주장에 한 가지 중요한 것을 확인할 수 있었습니다. “Programmable”이라는 것입니다. SDS나 SDN이 만능은 아닐 것이지만 “프로그래밍 가능한” 스토리지이고 네트워킹 장비라면 비즈니스가 원할 때 바로 신속하게 프로비저닝하여 필요한 리소스를 제공할 수 있는 것이 바로 민첩성(Agilty)이고 그것이 바로 클라우드이며, SDDC가 아닐까 생각해 봅니다.

앞서의 SDS 기술들과는 다른 접근 방식의 소프트웨어 기술이 있습니다. 하이퍼 컨버지드 인프라스트럭처(Hyper Converged Infrastructure; HCI)를 지향하는 스토리지 소프트웨어 기술인데요, 맥스타(Maxta)스트라토스케일(Storatoscale) 등이 그러한 기업들입니다. 이들은 단순히 SDS를 지향하기 보다는 데이터센터나 HCI를 목표로 하고 아직은 크게 두각을 내지 않고 있지만 주목해야 할 기업들임에는 틀림 없습니다. 그리고 바로 얼마 전 스프링패스(Springpath)라는 산뜻한 이름의 기업도 이 대열에 합류하였습니다.

맥스타는 스토리지 최적화에 초점을 맞추고 있고 스트라토스케일은 오픈스택과 컨테이너 지원에 역점을 두고 있습니다. 한편 스프링패스는 기본적으로 스토리지 기술을 바탕으로 VM웨어 뿐만 아니라 KVM 하이퍼바이저, Cinder API 지원, 도커(Docker) 지원과 같이 커버리지를 넓히기 위한 시도를 진행하고 있다고 하는군요.

SDN 업체라고 할 수 있는 큐물러스, 그리고 파트너십을 통해 비즈니스 영역을 넓히려는 델, 그리고 하이퍼 컨버지드 인프라 기술을 중심으로 시장에 나오려고 하는 신생 기업들도 보았습니다. 에버랜드의 경쟁사가 이케아(IKEA)라는 이야기가 자꾸 머리를 맴 돕니다. 경쟁사와 경쟁사에 대한 정의가 쉽지 않습니다. 내가 하는 일에 대한 끊임 없는 재정의가 필요하고 그래서 늘 새롭기만 한 업종인가 봅니다.   

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

편집, SDS 그리고 맥스타

일? Work ? IT! 2014.11.23 14:34 Posted by Storage Story

오늘은 이상한 제목으로 이야기를 시작해 보겠습니다.

소프트웨어 정의 스토리지 기업인 맥스타(Maxta, Inc.)인텔(Intel Corp.)이 후원하고 리서치 기관인 451 리서치(451 Research LLC)가 발간한 ‘Software-defined storage and Hyper-converged infrastructure in the midmarket’이라는 보고서(다운로드를 위해서는 등록 필요)가 얼마 전에 나왔습니다. 사실 요즘 소프트웨어로 모든 것을 정의하는 이른바 Software defined anything이라는 것이 대세가 되고 있는 듯 한데요, 앞으로 소프트웨어가 세상을 집어 삼킬 것(Software is eating the world)이라는 이런 문구는 분명 사실로 드러나게 될 것으로 보입니다.

이 보고서를 살펴 보겠습니다. 총 5개의 파트로 구성되어 있는 이 보고서는 미드마켓(Midmarket)을 타깃으로 하고 있습니다. 여기서 정의하는 미드마켓이란 매출 1억 달러에서 10억 달러 미만의 기업으로서 이들 기업들을 대상으로 소프트웨어 정의 스토리지와 컨버지드 인프라에 관한 설문 조사 결과를 담고 있습니다. Part 1에서는 미드마켓에 관한 이야기를 담고 있고 Part 2와 Part 3에서는 소프트웨어 정의 데이터와 컨버지드 인프라에 관한 내용을 싣고 있습니다.

이 보고서에 따르면 SDS(software defined storage)가 나온 지 5년이 넘고 – 정말일까 싶지만 – 그리고 솔루션에 따라 다르겠지만 SDS는 비용, 복잡성, 위험성 등의 관리 면에서 우수한 점이 있다는 것이 공통되는 핵심 이점(benefits)이 있다고 정리하고 있습니다. SDS를 위해서는 어떻게 보면 전제 조건이라고 할 수 있는 서버 가상화(server virtualization)의 진척 정도를 살펴야 할 것인데요, 이 보고서에 따르면 이미 미드마켓의 50% 이상이 서버 가상화를 했다고 밝히고 있습니다. 스토리지 측면에서는 스토리지의 복잡성, 적절한 유지/관리 인원의 문제 등은 이 시장(midmarket)이 성장하면서 대형 시장(large enterprise)과 다르지 않다는 점입니다.

이러한 문제점을 바탕으로 200개의 미국 기업들의 데이터센터, 스토리지 시스템 등의 운영 관리자와 관련 임원들을 대상으로 설문을 실시하였습니다. 설문 대상자들이 가지는 스토리지 시스템에서의 과제는 무엇인가 하는 설문에서 데이터 관리, 관리 인원의 육성, 관리의 복잡성 등이 가장 어려운 과제로 꼽고 있습니다(아래 그림 참조). 이들이 관리하는 데이터는 통상 25TB 이상이고 경우에 따라서는 50TB 이상인 기업도 있었다고 하는군요.

이러한 결과는 지난 4월(2014년) SNIA에 올린 맥스타의 “Thinking outside of the storage box”라는 프레젠테이션 자료와도 그 맥이 닿아 있습니다. 왜 SDS인가를 설명하는 것을 보면 아래 그림에서 보아 알 수 있듯이 비용 감소, 비즈니스 신속성과 가용성, 여러 플랫폼 지원, 확장성 등이라고 되어 있습니다.

(출처: SNIA, Thinking outside of the storage box, 2014, 04)

이러한 논조는 사실 맥스타의 제품과 관계가 있습니다(당연히 그러하겠지만). 다시 설문 조사 리포트를 보겠습니다. 아래와 같은 글을 볼 수 있는데요, SDS를 서버 클러스터 상에 올리고 스토리지 기능을 제공함으로써 스토리지 어레이와 스토리지 네트워크(SAN)을 걷어낼 수 있다고 주장합니다(아래 해당 원문 참조).

Software-defined storage(SDS) is created by loading software onto any cluster of standard servers and leveraging any type of server-side storage devices, while providing shared storage capabilities. SDS elimates the needs for storage arrays and storage area networks

그래서 이러한 SDS를 실제로 자신들의 데이터센터에 적용하는 것에 대해 다소 고려(somewhat likely to consider)하고 있다고 응답한 경우가 75%이고 신중히 고려(very likely to consider)하고 있다고 응답한 경우가 25%에 이릅니다. 북미지역만 해도 SDS에 관한 생각이 이렇게 커가고 있구나 하는 생각이 들면서 조사 방법론 자체에 약간의 불손한(?) 의심이 들어 정말 그럴까 하는 생각마저도 듭니다. 왜 그들은 SDS를 생각하고 있는 것일까요? 충분히 예상할 수 있지만 다음과 같습니다(가독성을 고려해서 번역을 하였으니 필요하신 분은 원문을 참조하시길 바랍니다).

  • 스토리지 관리를 단순하게 하기 위해서 _ 52.11%
  • SAN 관리를 단순하게 하기 위해서 _ 49.47%
  • 스토리지 자원의 최적 활용과 효율성 증대를 위해서 _ 45.26%
  • 확장성을 위해서 _ 41.05%
  • 데이터 보호 정책을 향상시키기 위해서 _ 40.53%

40% 이상의 응답만을 꼽아 봤는데요, 여기에서 뭔가 중요한 맥락을 읽을 수 있을 것 같습니다. 요약해 보자면 “데이터는 늘어나는데 관리하기 힘들다”라는 것이죠. 공감하시나요? 기업의 성장에 따라 데이터도 늘어나고 인력도 늘어나는 것도 당연하겠지만 이른바 스태프(Staff)의 인력까지 동반해서 늘어나게 되면 고정 비용 증가로 수익을 상쇄해 버리는 경우가 발생하기 때문에 기존 직원들에게 더 많은 일이 가해지는 것이 분명한 현실일 겁니다. 결국 관리 효율에 관한 문제가 발생하고 보다 더 쉽게 그래서 더 많은 시스템을 소수의 사람들이 관리할 수 있도록 해야 할 것입니다. 이를 위한 스토리지 기능들로는 플래시 드라이브(캐싱 포함)와 하드 디스크 드라이브의 혼용 구성과 관리, 가상 머신 수준에서의 스토리지 관리, 압축(compression), 스냅샷과 클로닝(cloning), 중복 제거(deduplication) 등이 있습니다.

Part 3에서는 좀 더 구체적인 접근 방법으로서 보고서에서는 하이퍼 컨버지드 시스템(Hyper-converged systems)라는 이름을 거론하고 있습니다. 이름이 거창하게 보이지만 사실 일반적으로 통용되는 CI(converged infrastructure)와 다를 바 없습니다. CI 경향에 대해서는 이전에도 몇 차례 적어 보았는데요, 이들이 정의하는 하이퍼 컨버지드 시스템은 아래와 같습니다.

Hyper-converged systems consist of standard servers that implement both compute and storage functionality, leveraging software and server resources. A hyper-converged system is delivered either as an appliance, or as software-only

우리 말로 바꿔보면 하이퍼 컨버지드 시스템은 표준 서버로 구성되어 컴퓨트와 스토리지 기능을 수행하는데, 소프트웨어와 서버 리소스를 이용하는 것으로 하나의 어플라이언스 형태 또는 소프트웨어로만 구성되는 형태로 제공된다는 것입니다. 소프트웨어로만 구성되는 형태도 있다는 점은 통용되는 개념의 CI와는 분명한 경계선이 있습니다.

이는 맥스타 제품의 컨셉과도 닿아 있습니다. 맥스타는 ‘컨버추얼라이제이션(Convirtualization)’는 낯선 용어를 꺼내면서 가상화된 환경에서 통합된 UI(integrated UI)를 이용, 컴퓨트와 스토리지를 운영, 통제할 수 있는 체제를 가지면 OPEX와 CAPEX를 최적화 할 수 있다고 주장합니다. 이들이 Convirtualization을 말하는 이유는 서버 기술의 비약적인 발전(CPU 코어, 메모리 용량, 네트워크 대역폭 등)과 많아지는 가상화 경향, 플래시 최적화된 아키텍처, 클라우드 추세 등입니다.

(출처: SNIA, Thinking outside of the storage box, 2014, 04)

맥스타의 스토리지 기술이 제공하는 것은 스냅샷과 클로닝, 씬 프로비저닝, 인라인 압축 및 중복제거, 고가용성(replication이 필요) 등이며, 가장 중요한 것은 글로벌 네임스페이스(global namespace)입니다. 이것을 이용해 대형 스토리지 풀을 만들 수 있으며 이 풀에 여러 대의 VM이 접속할 수 있도록 하는 것이죠. 플래시와 관련해서 기능을 보니, VM에서는 플래시에 우선 데이터를 쓰고, 이때 기록(write)되는 데이터는 random IO 형태이고, 이 플래시에서 데이터를 일정 수준 보관하다가 하드 드라이브(예: SATA)로 순차적인 형태(sequential write)로 기록하게 한다고 하는군요. 그런데 흥미로운 것은 2013년 11월에 발표한 ESG의 리포트를 보면 이 부분에 대한 언급을 아래와 같이 하고 있습니다.

Although Maxta uses dispersed storage devices across multiple servers, it all essentially becomes one large pool of storage that any VM on any server can access.

(출처: Solution Brief, Can Maxta Eliminate the Storage Array?, November 2013)

상기 리포트는 2013년 11월에 나온 것이므로, 1년 전의 리포트이고, 지금은 기술의 진보와 더 많은 고객을 확보했을 겁니다.

스토리지 산업 협회 쯤 되는 SNIA(The Storage Networking Industry Association)에서는 아직 드래프트 버전이지만 SDS를 주제로 발간한 보고서(2014년 4월)가 있는데, 여기에 따르면 소프트웨어 정의 스토리지의 속성(attributes)을 다음과 같이 정의하고 있습니다.

  • May allow customers to “build it themselves,” providing their own commodity hardware to create a solution with the provided software.
  • May work with either arbitrary hardware or may also enhance the existing functions of specialized hardware.
  • May also enable the scale-out of storage (not just the scale up typical of big storage boxes).
  • Nearly always includes the pooling of storage and other resources.
  • May allow for the building of the storage and data services “solution” incrementally.
  • Incorporates management automation.
  • Includes a self service interface for users.
  • Includes a form of service level management that allows for the tagging of metadata to drive the type of storage and data services applied. The granularity may be large to start, but is expected to move to a finer grained service level capability over time.
  • Allows administrators to set policy for managing the storage and data services.
  • Enables the dis-aggregation of storage and data services.

그러면서 동시에 SDS를 구축하는데 있어 (스토리지) 가상화만을 의미하는 것이 아닌 컨트롤 패스(control path) 역시 추상화되어 제공되어야 한다고 언급하고 있습니다.  SDS를 위한 필수 기능은 자동화(Automation), 표준 인터페이스(Standard Interface), 가상화된 데이터 경로(Virtualized Data Patch), 확장성(Scalability) 등으로 요약하면서 아래와 같은 그림으로 정리하고 있습니다.

(출처: Software Defined Storage, Working Draft, April, 2014)

여기서 중요한 것은 데이터 패스(data path)와 컨트롤 패스(control path)라는 점입니다. SDS는 이렇게 경로를 이원화 하고 있는데, 여기서 이것이 물리적인 이원화냐 혹은 논리적인 이원화냐 하는 것이 중요한 것은 아닙니다. 물리적으로 2개의 경로(path)를 분리하고 싶다면 분리해도 되는 것이고 단일하게 만들고 싶다면 그러해도 됩니다. 이는 순전히 워크로드(workload)에 의해 결정되는 것입니다. 그리고 이러한 SDS 개념이 서비스 수준 관리로 연결되고 전체적으로 큰 그림 차원에서 SNIA에서는 아래와 같이 그려가고 있습니다.

(출처: Software Defined Storage, Working Draft, April, 2014)

다시 맥스타로 돌아와 보겠습니다. 기업 정보를 살펴보니 맥스타는 2009년에 설립되었고 2014년 11월 현재까지 3개 투자사로부터 2차례의 펀딩을 받았습니다. 2013년 11월에 1천만 달러를 안델센 호로비츠(Andreessen Horowitz)로 부터 받았고 2014년 5월에는 기존 투자사에 더해 테네야 캐피탈(Teneya Capital)과 인텔 캐피탈(Intel Capital) 등으로부터 2천 5백만 달러를 투자 받았습니다. 총 3천 5백만 달러를 유치한 맥스타는 현재 요람 노빅(Yoram Novick)이라는 사람이 CEO이자 창업자인데요, 노빅은 IBM에서 스토리지 시스템 개발 경험을 바탕으로 복제 소프트웨어 전문 기업이었던 토피오(Topio)를 설립하였고 이를 2006년 11월 넷앱(NetApp)에 1,600만 달러에 매각한 인물이기도 합니다.

맥스타의 기술이 현재로서는 크게 대단해 보이진 않습니다. 거의 대부분 현존하는 기술들이고 새로운 기술이라기 보다는 현존 기술들의 조합이라는 면에서 놀라울 것도 없습니다. 최근 에디톨로지라는 용어를 들고 나온 김정운 문화심리학자처럼 기존 있는 기술들을 편집해 내는 것이 창조인 듯 합니다. 선택과 집중의 시대에서 편집의 시대를 주장하는 그의 말처럼 맥스타의 기술 편집성이 눈에 띄는 그런 것이죠.

하긴, 저 역시도 지금 이 순간 편집을 하고 있군요.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

SDS를 생각해 본다

일? Work ? IT! 2014.10.13 06:30 Posted by Storage Story

소프트웨어로 스토리지를 정의하는 개념인 SDS(Storage Defined Storage)는 그 용어가 나오고 어느덧 3년여의 시간이 지나고 있습니다. 소프트웨어로 정의되는 데이터 센터의 실천적 방법으로 제시되는 소프트웨어로 정의되는 네트워크와 스토리지 등의 개념은 네트워크 차원에서의 다양한 시도와 스토리지 차원에서의 다양한 시도가 점점 더 성숙해지면서 현실적인 대안이 되고 있습니다.

대개의 스토리지 비롯한 기업들은 자사의 고유 기술을 바탕으로 소프트웨어 정의 스토리지를 그려가고 있으나 소프트웨어 차원에서의 접근을 이루는 기업은 그리 많아 보이지는 않습니다. 한편 얼마 전 레드햇(Red Hat)이 ‘Red Hat Storage Server 3’를 내놓으면서 소프트웨어 정의 스토리지로 포지셔닝을 하고 있습니다. 오늘 레드햇 스토리지 서버에 간단히 살펴 보면서 최근에 이야기 되고 있는 SDS를 알아 보도록 하겠습니다.

레드햇 스토리지 서버는 오픈 소스 소프트웨어 기술에 근거한 것으로 스케일 아웃 아키텍처를 가지고 있는  파일 스토리지입니다. 이러한 면에서 마이크로소프트의 Windows Storage Server(WSS)와 닮아 있습니다. 다만 MS의 WSS는 Windows Server에 기초하고 있는데, 레드햇 스토리지 서버는 글러스터FS 3.6과 레드햇 엔터프라이즈 서버에 기초를 두고 있습니다. 레드햇에 따르면 RHSS를 이용하여 동영상, 이미지, 오디오 파일 등의 리치 미디어를 저장하거나 데이터의 백업 및 아카이브, 대형 로그 성격의 데이터(시스템 로그, RFID 데이터, 기타 머신 생성 데이터 등) 등의 용도로 사용할 수 있다고 합니다. RHSS의 가장 중요한 목적은 비용 효과적(cost effective)이고 높은 가용성 – 클러스터를 구성하여 사용할 수 있기 때문에 – 등에 사용하는 것입니다. 높은 성능과 안정성이 요구되는 현재의 미션 크리티컬한 애플리케이션이 아닌 다소 등급이 낮은 업무에 사용하라는 것입니다.

RHSS의 기능에 대해서 살펴 보았습니다. 파일(NFS, SMB) 및 오브젝트 서비스(OpenStack Swift)를 제공하고 특히 오브젝트 서비스를 위해서는 API를 제공한다고 하는군요. 제공하는 데이터 서비스는 복제(센터 내 동기식 복제, 센터간에는 DR을 목적으로 비동기식 복제)를 비롯해 시점 복구를 위한 스냅샷 등을 제공합니다. 시스템 관리를 위한 별도의 웹 기반 관리 콘솔을 제공하고 RHEL의 친숙한 리눅스 명령어, 그리고 Nagios 기반의 모니터링을 비롯하여 스토리지 용량의 확장 또는 축소 시 다운타임 없이 이뤄진다고 데이터 시트에서 밝히고 있습니다.

이렇듯 사실상 RHSS는 RHEL 서버에 글러스터를 올리고 오브젝트 서비스는 오픈스택 스위프트(Swift)를 사용하는 것 뿐이라 특별히 레드햇 고유의 무엇인가가 없습니다. 이 소프트웨어 세트를 올릴 수 있는 하드웨어는 HP SL4540G8인데, 이 서버는 전형적인 스토리지 서버로 3.5인치 하드 드라이브(백서 상에서는 2TB 또는 4TB NLSAS유형)가 60개가 들어가는 모델입니다. 이 서버의 중요한 특징 중 하나는 3개의 컴퓨트 노드가 있다는 점이고 이 하드웨어의 특징으로 다양한 사용 예(use case)가 나올 수 있습니다. 레드햇의 백서를 보니 3 노드 구성은 하둡과 같은 데이터 분석 애플리케이션에 이상적인 플랫폼이라고 밝히고 있습니다. CPU 코어와 드라이브 수를 조정하여 비슷하게 1:1로 구성하여 분석 성능을 최대로 높일 수 있다고 합니다. 아래 그림은 SL4540과 RHSS와의 구성을 표시한 것으로 해당 이미지는 백서에서 캡쳐한 것입니다.

다시 SDS를 생각해 봅니다. 레드햇 스토리지 서버는 스토리지를 만들 수 있는 소프트웨어 세트이지 소프트웨어 정의 스토리지일 수는 없다고 봅니다. 시장조사 전문 기관인 가트너는 SDS의 정의에서 SDS는 일종의 소프트웨어적인 접근 방법으로서 스토리지 기능의 추상화를 추상화하는데 물리적 또는 가상화 스토리지 디바이스 간 이동이 동적으로 이뤄지고 또한 이것은 스토리지 계층이나 지역에 구애됨이 없어야 하고 비용을 최적화 하면서 비즈니스 민첩성과 서비스 품질(QoS)을 제공할 수 있어야 한다고 합니다. 그래서 스토리지 서비스는 API를 통해 실시간으로 지휘될 수 있어야 하고 이를 위해서는 컨트롤 플레인(Control plane; management)과 데이터 플레인(Data plane; infrastructure) 등이 있어야 한다고 언급하고 있습니다.

최근의 SDS라는 트렌드에 타기 위해서 간혹 억지로 SDS로 기존의 제품을 끼워 맞추려고 하지만 왜 갑자기 SDS를 이야기하는지를 생각해 본다면 중요한 포인트가 있습니다. 가트너는 이것에 대해 상당한 인사이트를 제공하는데, 그 첫 번째 포인트는 고객의 요구가 변경되고 있다는 점입니다. 구체적으로 말하자면 스토리지 관리를 단순하게 야 할 필요성부터 시작하여 비즈니스 민첩성을 키우고 24x7 데이터 가용성, 대형 규모의 데이터 저장소, 멀티 벤더의 스토리지 및 인프라의 관리 공통을 만들고자 하는 것 등이 포함됩니다.

또 다른 포인트는 웹-스케일(Web-Scale)의 IT라는 점입니다. 종래의 애플리케이션 환경과 달리 웹-스케일 IT 환경의 요구는 대량의 데이터를 단순 저장장치(commodity storage)에 스케일 아웃 형태로 시스템을 확장할 수 있어야 함을 의미하고 동시에 새로운 형태의 파일 시스템을 필요로 한다는 것입니다. 대표적인 사례로 페이스북을 들고 있는데요, 데이터 증가 속도가 빠르게 증가하면서 기존의 스토리지 시스템으로는 해결할 수 없기 때문에 새로운 형태의 파일 시스템과 확장성이 필요하게 되었다는 점입니다.

가트너는 SDS 출현에 대해 앞서의 2가지 외에도 그밖에 새로운 파일 시스템의 출현과 외장형 스토리지 벤더 비즈니스 모델의 변경 등을 꼽고 있습니다. 극단적으로 단순화 시켜 말하자면 시대의 변화로 스토리지의 변화가 발생하고 그래서 SDS가 대두되고 있다는 것입니다.

오픈 시스템의 데이터베이스로 대표되던 애플리케이션을 위한 스토리지 시스템이 상당 기간 동안 우리의 삶을 지배하겠지만 그와 다소 별개로 새로운 형태의 스토리지 서비스가 등장하면서 새로운 서비스 모델이 요구되고 있습니다. 머지 않은 미래에 이러한 새로운 형태의 시도는 계속 나타나게 될 것이고 그래서 스토리지 기업들은 레거시 환경에서의 기득권 또는 패권 유지와 새로운 컴퓨팅 환경이라는 도전 또는 점령을 동시에 경험하게 될 것입니다. 할 것이 많군요.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

올해도 어김없이 인포메이션 위크(InformationWeek)의 스토리지 종합 설문 조사 결과가 나왔습니다. 저는 매년 이 자료를 보면서 저자의 노력과 방대한 지식, 그리고 비즈니스에 대한 인사이트를 얻어갑니다. 올해도 ‘2013 State of Storage Survey’라는 이름으로 공개되었는데요, 약간의 등록 절차를 거치면 전문을 다운로드 할 수 있습니다. 물론 이 블로그를 통해 전체적으로 대강의 내용을 훑어보겠지만 궁금하신 분은 링크를 걸어 놓았으니 확인해 보시면 좋을 것 같습니다.

이 리포트의 대표적인 이슈는 데이터 증가입니다. 2012년 서베이와 비교해 보면 2013년이 데이터 증가폭이 더욱 크다는 것을 알 수 있습니다. 아래 그림에서 보는 것과 같이 데이터 증가율이 1년에 25~49% 증가한다고 응답한 비율이 2013년과 2012년이 확연히 다르고 10~24% 증가한다고 응답한 수도 2012년에 비해 2013년이 많습니다.

이 리포트에서는 ‘충분하지 않다(Never Enough)’라는 꼭지로 데이터 증가를 별도로 비교적 비중 있게 다루고 있는데요, 3TB 드라이브의 출시로 용량이 충분히 늘어났다고 생각할 수 있겠지만 새로운 고용량 저장공간을 필요로 하는 애플리케이션의 등장으로 여전히 스토리지는 부족하다는 결론을 내리고 있습니다. 실례로 HD급의 비디오 공유 솔루션의 경우 많은 용량을 요구로 하고 있는데 스토리지 기술이 기록 밀도를 높이고는 있지만 전체 볼륨을 충당하기 어려워 벤더들에게는 좋지만 CIO에게 있어서는 그렇지 못하다는 것입니다.

IDC에 따르면 2012년 3분기 디스크 스토리지 시스템의 전체 시장은 79억 달러로 2011년 같은 기간 대비 3.7% 올랐다고 말하고 있습니다. 용량으로 보면  7,104PB로 연간 24.4% 성장을 하고 있다는 것입니다. 실제로 인포메이션위크에서 실시한 지난 서베이의 응답 결과만 보더라도 응답자의 42%가 100TB 이상을 관리하고 있다고 했는데 이는 2012년 결과와 비교해 보면 10% 포인트 이상, 그리고 2009년과 비교하면 2배에 달하는 수치라고 합니다. 스토리지 컨설팅 그룹인 스토리지IO의 설립자인 그레그 슐츠(Greg Schulz)는 ‘정보에 있어 불황이란 없다(There’s no such thing an information recession)’라고 했는데 참 적절한 표현이라는 생각이 듭니다.

2013 스토리지 기술 트렌드

저자인 커트 마코(Kurt Marko)는 2012년을 지나 2013년을 관통하게 될 스토리지 트렌드를 크게 다섯 가지로 대별해 놓았는데요, 대략 살펴보면 다음과 같습니다.

  • 데이터 축약(Data reduction): 백업 차원에서 논의되던 것이 점점 티어 1 스토리지 컨트롤러 그리고 가상화 소프트웨어, 클라우드 스토리지 게이트웨이, 심지어는 SSD 컨트롤러에서도 이 기술이 적용되고 있다.
  • 서버 가상화: 가상 머신의 폭증(sprawl)로 가상화 분야에서 스토리지 활용이 점점 많아지고 있고 프라이비트 클라우드 지원, 하이퍼바이저와의 다양한 통합성 제공함으로써 스토리지의 주요 트렌드 중 하나가 되고 있다.
  • 솔리드 스테이트(Solid State): 컴포넌트 레벨에서 뿐만 아니라 시스템 레벨에서 다양한 기술 진전이 나오고 있다. 데이터 축약(reduction)을 비롯해 스토리지 계층화, 기존 물리적으로 동작하는 디스크 드라이브와의 통합 운용으로 하이브리드 운용 등에서 다양한 활용과 확대를 보고 있다.
  • 엔터프라이즈 클라우드 스토리지: 이제 단순한 호기심 차원에서 벗어나 이제는 온사이트 3티어 스토리지 기술로 자리를 잡고 있다. 특히 데이터 백업이나 재해 복구 등에서의 적용이 많아지고 있다.
  • 테이프의 퇴조(death)

스토리지 액세스 및 새로운 기술들

iSCSI의 채택이 점점 더 많아지고 있는데, 흥미로운 것은 FCoE도 점점 많아지고 있다고 합니다. 그러나 여전히 FC는 거의 대부분을 점하고 있으며 FC는 성숙되어 있어 완만한 성장을 이어가겠지만 이더넷 기반의 액세스는 더 빠른 속도로 나가게 될 것이라는 것이 전망입니다. 문제는 10G로의 가속이 이뤄지는 시점인데 이것에 대해서는 향후 몇 년 뒤면 될 것이라는 정도로 가볍게 짚기만 하고 넘어갔습니다.

 

이제는 그렇게 새로운 기술도 아닌 플래시에 대해서도 상당히 많은 분량을 할애하여 분석을 하고 있는데요, 저의 블로그를 통해 SSD에 관한 이야기 대부분이 담겨져 있습니다. 리포트를 소개하지는 않겠습니다. 서베이에서는 SSD의 도입을 상당히 많은 응답자들이 고려하고 있으며 새로운 기술이라고 할 수 있는 인-메모리 데이터베이스(in-memory database)를 언급하면서 SAP HANA가 1천개 고객사를 확보했다고 하지만 여전히 니치 마켓이라고 결론을 내리고 있습니다.

 

새로운 기술 중에서 흥미로운 것은 히타치 글로벌 스토리지 테크놀러지(HGST), 이제는 웨스턴 디지털의 계열사 중에 하나가 된 이 기업이 올해 초 선언을 한 것으로 3.5인치 하드 드라이브에 헬륨 가스를 채운 디스크를 선보일 것이고 올해 즉 2013년 4분기부터 적용해 나갈 것이라고 밝혔는데요, 이 기술을 적용하게 될 경우 25~50% 정도 용량을 늘릴 수 있고 아울러 소비 전력도 낮출 수 있다고 하는군요. 신기하죠? 어떻게 헬륨 가스를 채우는 것이 이러한 혜택을 제공할 수 있을까요? 헬륨은 일반 공기의 1/7밖에 되지 않아 디스크 드라이브 내 암(arm)을 포지셔닝하는데 있어 전력이 적게 소모된다고 합니다. 한마디로 저항이 적으니 전력이 적게 든다는 것입니다. 또 한가지 신기한 것은 드라이브 내 디스크의 간격을 더 좁게 할 수 있는데 이렇게 되면 다섯 장의 디스크를 넣게 되고 이렇게 되면 3.5인치 HDD 폼팩터가 커지지 않으면서도 더 많은 디스크를 넣어 용량을 높일 수 있게 됩니다. 그런데 헬륨은 공기와 섞이면 무의미하므로 철저하게 실드(sealed)되어야 합니다. 외부 공기가 들어가서도 안되고 드라이브 내에 있는 헬륨 가스가 나와서도 안되는 철저한 차단 처리를 해야 한다는 것입니다.

시장 조사 전문 기관인 IHS에서는 2016년까지 1억 개까지 생산량이 늘어날 것이라고 보고 있는데, 기술의 진전을 위해 애쓰는 개발자들의 노력이 눈에 선하네요.

또 다른 새로운 트렌드로 클라우드를 대신해서 ‘소프트웨어로 정의된(Software defined)’이라는 용어가 사용될 것이라는 주장을 하고 있습니다. 소프트웨어로 정의된 네트워크(SDN: software defined network)를 비롯해 소프트웨어로 정의된 스토리지(SDS; software defined storage)가 그것들입니다. ‘소프트웨어로 정의된’이라는 이 용어는 VM웨어에 의해 주도적으로 애용되는 것 같은데요, 니시라(Nicira)를 지난 해(2012년) 6월 인수하면서 본격적으로 SDN을 이야기하고 있습니다. SDN에 대해 좀 더 정보를 얻고자 한다면 이곳 링크를 활용해 보세요. 작년부터 SDDC 즉 Software Defined Data Center를 정의하면서 상당히 근본적으로 새로운 시도를 하려는 시도를 보았는데 무척 신선했습니다. SDS는 VM웨어가 버스토(Virsto)를 인수하면서 시작된 것으로 궁극적으로는 버스토가 가지고 있는 ‘스토리지 하이퍼바이저’를 의미합니다.

좀더 깊게 들여다 보면 버스토는 스토리지로 내려가는 모든 IO를 중간에서 가로채기(intercept)하여 버퍼에 담고 재배열(rearrange)하여 연속적인 읽기와 쓰기(sequential read/write) 형태로 변환시킵니다. 이렇게 되면 랜덤 액세스가 없어지게 되는 것이죠.

반대로 표면적으로는 물리적인 호스트 상의 가상 머신들은 버스토 스토리지 하이퍼바이저를 하나의 스토리지로 인식하고 하이퍼바이저의 부하를 버스토가 끌어 안음으로써(앞서 언급한 방법과 같이) 부하를 경감할 수 있도록 합니다. 이렇게 IO 최적화를 실현하게 되면 논리적인 블록들은 순서대로 기록되게 되어 스토리지 시스템의  성능은 올라가게 됩니다. 물론 응답대기(latency)도 개선되게 됩니다. 게다가 일반적으로 스토리지 시스템이 제공하는 스냅샷, 클론, 씬 프로비저닝 등의 기술도 제공하고 있어 데이터 운영 및 관리에 효율성을 더해 주고 있습니다. 이 기술을 보면 소프트웨어로 정의하는 스토리지가 맞습니다.

인포메이션위크의 이번 서베이 리포트는 사실 많은 양의 지식과 데이터를 담고 있습니다. 총 53페이지에 달하는 분량이고 중간 중간 생소한 부분도 있고 함축적인 내용도 많아서 그냥 읽고 지나치다 보면 허상만 남아서 특별한 내용이 없는 것으로 오해될 수도 있습니다. 행간의 의미도 있고 인사이트와 고려 사항 등을 군데 군데 남겨 두었습니다. 인사이트를 얻는 것은 결국 리포트를 읽는 사람이 아닐까요? 간만에 많은 생각과 참조 URL을 뒤져 가면서 읽은 좋은 내용이었습니다.

.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License


 

티스토리 툴바