Search

'2013/11'에 해당되는 글 1건

  1. 2013.11.04 데이터 효율성을 통해 본 스토리지 전반 (1)

뉴랄릭틱스(Neuralytix)라는 리서치 그룹이 있습니다. 간혹 이 사이트를 보면 재미있는 글들이 올라오는데, 오늘은 그 중에서 스토리지 워(Storgae Wars)라는 포스팅을 보도록 하겠습니다. 스토리지 전쟁(?), 제목이 상당히 자극적인데요, 이 글의 결론은 데이터 효율성을 2016년이면 스토리지 제품들이 수용해야 할 것이고 이른바 하이엔드 제품들에서 이러한 현상이 나타나게 될 것이라는 주장입니다. EMC VMAX와 XtremIO를 비롯하여 IBM DS8000, HDS VSP 등과 같은 제품들이 말이죠. 그렇다면 데이터 효율성(data efficiency)이라는 것은 무엇일까요? 이 글에 따르면 우리가 흔히들 알고 있는 데이터 중복제거(deduplication)이나 압축(compression) 등을 의미하며 SSD와 HDD 간의 기술 및 가격 격차 등으로 이러한 데이터 효율성 기술이 티어 1급에서 그 필요성이 더하다는 것입니다.

출처: 뉴랄릭틱스, 2013

오늘 소개하는 이 글은 기본적으로 SSD가 그간의 HDD가 누렸던 지위를 대체하는 것으로 이해하고 있으며 그럼에도 불구하고 GB당 가격을 높이기 위해서는 데이터 효율성을 위한 기술을 가져야 한다는 것입니다. 위 그림을 보아 알 수 있듯이 데이터 효율성 전쟁에서 플래시가 승리함으로써 낮은 가격과 높은 성능을 낼 수 있는 형태가 될 것이라는 것인데요, 이러한 주장의 근거에는 다음과 같은 것들이 있습니다.

  • 벤더들이 보다 빠르고(agile) 혁신적인(innovative) 방법으로 스토리지 시스템 설계를 한다.
  • 이러한 혁신의 대부분은 차세대 플래시 전용 스토리지(all-flash storage system)이며 이것은 소프트웨어가 주도를 하고 있다.
  • 멀티 코어, 멀티 소켓 CPU 아키텍처를 갖추고 있는 저가 서버에 소프트웨어를 탑재하고 있다.
  • SSD를 장착함으로써 기존의 전통적인 방식의 HDD 기반의 스토리지 시스템보다 우수한 성능을 낸다.
  • 데이터 효율성 소프트웨어 기술은 가장 우선시 되는 기술로서 이를 통해 SSD를 장착하더라도 HDD보다 낮은 가격으로 스토리지 시스템을 만들 수 있게 된다.

이른바 플래시 전용 어레이(all-flash array)를 살펴보면 위에서 열거한 이러한 기술들을 많이 볼 수 있습니다. 실제로 x86 기반의 서버에 중복제거/데이터 압축 등의 기술을 갖춘 스토리지 소프트웨어를 설치한 뒤, 플래시 카드나 SSD를 장착한 형태의 이른바 어플라이언스 형태의 제품들이 전형적인 위 열거 사항과 부합합니다. 오픈소스 기술과 인터페이스, 무어의 법칙에 따른 멀티 코어/소켓을 장착하여 고성능 연산 기술을 제공함으로써 플래시의 빠른 성능을 뒷받침할 수 있게 하는 것이죠.

잠깐 화제를 돌려 보겠습니다. 간혹 여러 기업들을 다니다 보면 듣게 되는 이야기 중 하나는 기존 스토리지 시스템에 SSD를 잔뜩 장착하면 될 것 아닌가 하는 것입니다. 과연 그렇게 되면 성능이 좋아질까요? 가격은 고려하지 않고 일단 SSD가 낼 수 있는 높은 성능을 과연 낼 수 있을까요? 상황에 따라 그럴 수도 있고 아닐 수도 있습니다. 이러한 모호한 답변은 당연한데요, 무엇보다도 스토리지 시스템을 구성하는 CPU와 캐시 기술에 관해 조금만 생각해보면 앞서 제기한 문제에 대해 금방 잘못되어 있다는 것을 알게 될 것입니다.

일반적으로 스토리지 시스템에는 CPU와 캐시 기술이 중요합니다. 하이엔드 스토리지의 경우 컴포넌트 별로 리소스를 분산하여 처리될 수 있도록 설계되어 있고 미드레인지 스토리지의 경우 대체로 이중화되어 있는 컨트롤러가 호스트로부터의 IO 작업에 대해 응답을 보내 주게 되어 있습니다. 그런데 이 스토리지에 HDD 대신 SSD를 다량으로 장착하게 되면 컨트롤러의 성능 한계를 넘게 되는 호스트 IO 요구에 대해 한계가 발생하게 되고 그렇게 되면 고가의 SSD는 단순 저장 용도 그 이상을 하지 못하게 됩니다. 이러한 이유로 스토리지 컨트롤러의 한계 즉, 일정 수준 이상의 SSD는 HDD나 별 차이가 없다는 것입니다. 이른바 스토리지의 병목이 CPU에 걸리게 되면 뒷단(backend)에서 처리해야 할 SSD가 아무리 많고 여유가 있다고 한들 무슨 소용이 있을까요.

다시 원점으로 돌아가서 생각해 보겠습니다. 플래시 어레이가 정말 우수한 성능을 내기 위해서는 우선 어플라이언스가 충분히 좋아야 합니다. 소프트웨어 최적화 기술은 말할 것도 없이 해당 어플라이언스 즉, x86 서버의 성능이 충분히 좋아야지 어레이에 장착된 SSD/플래시가 제 성능을 낼 수 있게 됩니다. 그렇다면 ‘충분히 좋은 어플라이언스’는 어떤 것일까요?

어려운 이야기겠지만 스토리지 시스템 설계를 어떻게 했는지를 보는 것이 이 문제 접근 방법에 중요한 요소가 될 것 같습니다. 공학적으로 CPU 파워에 대해 IOPS를 산정하여 IO를 처리하는 시간을 대입해 보면 나오겠지만 이렇게 어려운 산식을 만들어 내기도 쉽지 않고 기업이나 기관의 IO를 정확하게 특정할 수 없는 현실을 생각해 보면 현실적으로 불가능한 이야기입니다. 그렇다면 합리적인 판단을 할 수 있도록 해야 할 텐데, 저는 그 합리적인 판단이 바로 ‘확장성(scalability)’라고 봅니다. 여기서 확장성은 용량 확장(capacity increase) 뿐만이 아닌, 채널/포트 확장성, CPU 연산 능력 확장성/컨트롤러 확장성 등 전반을 아우르는 확장성을 의미합니다.

‘스토리지 워’에서는 데이터 효율성에 입각해서 2016년이면 데이터 효율성이 중요한 스토리지 요소가 될 것이라고 이야기 하고 있지만, 이것이 실현되기 위해서는 기본적으로 그 설계 사상이 어떠한 구조를 가지고 있는가 하는 것이 보다 더 중요하다고 봅니다. 데이터 중복제거를 해서 실시간으로 데이터를 저장할 수 있는 능력, 그리고 이렇게 실시간으로 중복제거 처리를 할 수 있도록 x86 서버가 충분한 사양을 갖추고 있는가 하는 것, 그리고 다양한 측면에서의 확장성을 담보할 수 있는가 하는 시스템 아키텍처가 중요한 요소가 되어야 한다고 봅니다. 이러한 전제 위에서 ‘스토리지 워’에서도 이야기 한 것처럼 소프트웨어가 얼마나 잘 만들어졌는가 하는 것이 ‘가치(value)’를 창조하는 핵심이 되지 않을까요?

출처: 뉴랄릭틱스, 2013

‘스토리지 워’의 결론은 위 그림입니다. 여러 스토리지 기업들의 제품이 나오고 있는데요, 이들의 예측은 2016년까지 이 그림에 표시된 제품과 벤더들이 플래시와 결합하여 데이터 효율성 기술을 경쟁력 유지를 위해 통합해야 할 필요가 있을 것이라고 합니다. 이들의 예측대로라면 하이엔드 제품들에서도 중복제거가 나와야 합니다. 당장 그러한 시도가 보이지는 않지만 EMC VNX나 IBM V7000, 넷앱의 FAS 시리지 등은 이미 중복제거 기술이나 압축 기술을 채택하고 있습니다. 미드레인지 스토리지의 경우 유니파이드 경향, 즉 블록 스토리지와 파일 스토리지, 오브젝트 스토리지 등이 통합하는 과정에서 가장 보편적으로 사용할 수 있는 스토리지로서 어찌 보면 당연한 흐름일 것입니다.

그런데 흥미로운 것은 데이터 통합성을 예측하는 것과는 별개로 EMC 데이터도메인이나 익스트림IO와 같은 기술을 표시해 두었는데요, 성능과 용량이라는 축으로 볼 때 익스트림IO는 성능에 초점을 두고 있고 데이터도메인은 용량에 초점을 두고 있습니다. 이 두 스토리지는 이미 중복제거 기술을 포함하고 있어 데이터 효율성을 갖추고 있다는 의미가 될 것 같군요.

오늘은 데이터 효율성이라는 테마로 뉴랄릭틱스의 글을 살펴보았습니다. 효율성(Efficiency), 경제학에서는 투입 대 산출의 비율로 정의합니다. 중복제거나 데이터 압축이 데이터 효율성 기술일 수 있는 이유는 단위 용량당 데이터 저장량이 크기 때문에 그렇습니다. 같은 용량의 스토리지에 더 많은 데이터를 기록할 수 있기 때문에 효율성을 이야기 하고 있습니다. ‘스토리지 워’에서는 단순히 GB 당 비용을 고려하는 것이 아닌 성능(performance)에 기초한 효율성입니다. 기술적인 깊이가 깊지는 않았지만 데이터 효율성이라는 주제로 스토리지 업계 전반을 둘러볼 수 있는 내용이었습니다. 관점을 통해 넓게 바라보는 지혜가 필요한 요즘, 시대 흐름 읽기에 좋은 글이었네요.

.

- fin -

저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License


 

티스토리 툴바