DevOps를 생각해 보기

Cloud 2015.05.31 23:53 Posted by Storage Story

요즘 DevOps에 관심이 많습니다. 최근의 기업 IT 환경이 종전과는 많이 다른 면을 보이고 있고 특히 클라우드 기반의 서비스들이 많아지고 여기에 투자들이 이어지면서 이른바 Agility를 어떻게 확보할 것인가 하는 과제들이 많이 있습니다. 얼마 전 WIRED에 Klint Finley가 J Wolfgang Goerlich(아래 그림)라는 사람과의 인터뷰를 실으면서 쓴 이 글이 좋은 내용을 많이 가지고 있어 공유해 봅니다.

DevOps Isn’t a Job. But It’s Still Important.

인터뷰 상대였던 고어리치는 시스템 엔지니어를 비롯해, 프로젝트 관리자와 시스템 컨설턴트, 보안 관련 SI와 컨설턴트 등을 수행한 경력이 있습니다. 2013년 7월까지 그는 먼더 캐피탈 매니지먼트(Munder Capital Management)라는 기업에서 보안 담당을 역임했고 지금은 비오포인트(VioPoint)라는 곳에서 컨설팅 서비스를 제공하고 있습니다. 링크드인에서 그의 이력을 확인해 볼 수 있습니다. 5월 21일 와이어드에 클린트는 “DevOps isn’t a job. But it’s still important”라는 글을 올렸는데요, 제목만 그대로 생각해 본다면, DevOps가 직업이라고 할 수 는 없지만 여전히 중요하다는 의미겠죠.

IDC가 말하는 Platform 1과 Platform 2 형태의 IT 조직에는 2개 그룹이 존재합니다. 프로그래머 그룹, 이들은 소프트웨어를 작성하고 내부에서 이것을 이용할 수 있도록 하는 그룹이고, 또 다른 그룹은 시스템을 운영하는 그룹으로서 네트워크, 서버, 스토리지 등을 중심으로 프로그래머들이 만든 코드가 돌아갈(run) 수 있도록 하는 것이 그들의 임무였습니다. 현재 대부분의 국내 IT 기업들은 이러한 형태를 가지고 있습니다. 물론 일부 클라우드 경향이 강하고 개발자 문화가 큰 영향력을 미치고 있는 일부 기업들을 제외하고는 사실 크게 2개 그룹으로 나뉘어져 있고 심한 경우에는 이들 부서간에 높은 장벽이 있는 경우도 있습니다. 그리고 이 2개 부서가 서로 커뮤니케이션을 할 때에는 새로운 버전의 소프트웨어를 설치해야 할 때나 혹은 관련해서 뭔가 문제가 있을 경우라는 것입니다.

이러한 현상을 저자가 인터뷰 했던 고어리치는 자신이 몸담고 있었던 먼더 캐피탈에서 겪었습니다. 뭔가 일이 있을 때만 개발팀과 운영팀이 이야기할 것이 아니라 전체 프로세스에 대해 협업함으로서 일종의 단일 팀이라고 할 수 있는 “DevOps”를 생각했다는 것이죠. 그는 중요한 이야기를 이 기고문에서 합니다. 소프트웨어 프로젝트를 완료한다는 생각에서 벗어나고, 꾸준히 계속되는 프로세스로서 이해하고 지속적으로 업데이트 하고, 보안 문제를 해결하고 유지관리 등을 전체적인 차원에서 수행해야 한다는 것입니다. 중요한 문장이라고 생각되는 부분을 아래에 옮겨 보았습니다.

It’s as fundamental a shift in the way build technology as it was when we went from a huner-gathering society to a farmer society.” he* says. “We stop viewing as a one-and-done and think of it as a series of cycles over the entire lifecycle.”

(* 여기서 he는 Goerlich 입니다)

위에서 보아 알 수 있듯이 뭔가를 다 만들어서 보겠다는 생각을 버리고 연속된 사이클로 이해해야 한다는 것입니다.

DevOps 테크닉을 가르치는 도미니카 드그랜디스(Dominica DeGrandis)의 DevOps의 정의가 종합적이면서 명료합니다. 그래서 도대체 DevOps가 뭔가라는 질문에 대해 IT 프로세스의 자동화, 서로 다른 부서 간에 신뢰와 협업을 높여서 최종 사용자로부터의 피드백을 빨리 받을 수 있도록 하는 종합적인 행위(a collection of practices)라고 말하고 있습니다.

DevOps는 2001년 한 프로그래머 그룹에서 “Manifesto for Agile Software Development DevOps(애자일 소프트웨어 개발 선언)”에서 비롯되었습니다. 애자일 소프트웨어의 12가지 원칙을 아래 옮겨 보았습니다.

 

 

애자일 선언 이면의 원칙

우리는 다음 원칙을 따른다:

  1. 우리의 최우선 순위는, 가치 있는 소프트웨어를 일찍 그리고 지속적으로 전달해서 고객을 만족시키는 것이다.
  2. 비록 개발의 후반부일지라도 요구사항 변경을 환영하라. 애자일 프로세스들은 변화를 활용해 고객의 경쟁력에 도움이 되게 한다.
  3. 작동하는 소프트웨어를 자주 전달하라. 두어 주에서 두어 개월의 간격으로 하되 더 짧은 기간을 선호하라.
  4. 비즈니스 쪽의 사람들과 개발자들은 프로젝트 전체에 걸쳐 날마다 함께 일해야 한다.
  5. 동기가 부여된 개인들 중심으로 프로젝트를 구성하라. 그들이 필요로 하는 환경과 지원을 주고 그들이 일을 끝내리라고 신뢰하라.
  6. 개발팀으로, 또 개발팀 내부에서 정보를 전하는 가장 효율적이고 효과적인 방법은 면대면 대화이다.
  7. 작동하는 소프트웨어가 진척의 주된 척도이다.
  8. 애자일 프로세스들은 지속 가능한 개발을 장려한다. 스폰서, 개발자, 사용자는 일정한 속도를 계속 유지 할 수 있어야 한다.
  9. 기술적 탁월성과 좋은 설계에 대한 지속적 관심이 기민함을 높인다.
  10.   단순성이 -- 안 하는 일의 양을 최대화하는 기술이 -- 필수적이다.
  11.   최고의 아키텍처, 요구사항, 설계는 자기 조직적인 팀에서 창발한다.
  12.   팀은 정기적으로 어떻게 더 효과적이 될지 숙고하고, 이에 따라 팀의 행동을 조율하고 조정한다.

12가지 원칙의 중심은 자주 만나서 이야기 하고 만들어지는 대로 빨리 빨리 전달하고 의견을 들어서 조율하고 조정하라는 것입니다. 클라우드 형태의 비즈니스에서 Time to Business가 핵심일 것이고 이를 위해서는 지속적으로 전달(Continuous delivery)해야 할 것입니다. 이를 위해서 PaaS가 필요하겠지만 아직 정착하기에는 상당 시간이 필요해 보입니다.

고어리치의 의견이 흥미롭지는 않지만 우리에게 시사하는 바가 큽니다. 고어리치는 IT 운영진들에게 Puppet, Chef, MS Powershell 등을 통해 자동화를 권합니다. 이렇게 함으로써 개발자들과 더 많은 시간을 함께 할 수 있고 또한 최종 사용자들의 해당 프로그램에 대해 사용하는 행태에 대해 이해를 할 수 있다는 것입니다.

많은 인사이트를 주는 글이었습니다. DevOps, Continuous Delivery, Agility 등을 생각해 본다면 주의 깊게 읽어 볼 필요가 있는 글이었습니다.

 

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

2014년 VC들이 크게 투자한 기업들을 보면서...

Cloud 2015.05.17 18:15 Posted by Storage Story

작년 2014년 한 해 동안  VC(venture capitacl)들이 가장 많이 투자를 한 곳이 어디일까 싶어서 지난 몇 주 동안 크런치베이스(Cruchbase)를 살펴 보았는데요, 역시나 예상대로 빅데이터와 클라우드와 같은 분야였습니다. 스토리지 신 기술이라고 할 수 있는 플래시 분야에서도 많은 투자가 이뤄졌지만 빅데이터와 클라우드와 비교할 바는 아닙니다.

클라우드와 관련해서 2014년 가장 많은 투자를 유치한 기업은 드롭박스(Dropbox; 우측 이미지 출처: hackstacks.com)였습니다. 8억 5천만 달러를 유치한 이 기업은 총 투자 금액이 11억 720만 달러로 확실치는 않지만 이 분야 최고의 투자 유치를 받은 기업이 아닌가 싶습니다. 작년 한 해 동안에만 2차례의 투자가 있었는데요, 2014년 1월에는 3억 5천만 달러를 그리고 4월에는 5억 달러를 투자를 받는데요, 투자 기업들을 보면 JP모건을 비롯하여 악슬 파트너스(Accel Partners) 등과 같은 대형 VC들이 주도하고 있다는 측면에서 보면 이 기업의 미래를 아주 긍정적으로 보고 있는 것 같습니다. 이 기업에 대해 알아보다 보니 이미 20여 개의 기업을 인수하였습니다. 이미 올해 들어 2개의 기업을 인수하였는데요, 올 1월에는 클라우드온(CloudOn)이라는 클라우드 스토리지 기업을 인수하였고, 그리고 바로 며칠 뒤에 픽셀랩스(Pixelaps)라는 인터넷 상에서의 협업 기술을 제공하는 기업을 인수하였습니다. 현재 드롭박스는 기업용 버전도 제공하고 있는데요, 컨슈머 시장에서의 역량을 기업용 시장으로 확대하여 성장을 하려는 의도를 엿볼 수 있네요. 

드롭박스와 비교할 바는 아니지만 박스(Box)는 1억 5천만 달러를 작년 한 해에만 유치함으로써 총 5억 5,860만 달러의 투자를 받았습니다. 작년의 투자가 시리즈 G였는데요, 올해 1월에 IPO를 하였으니 창업 기업(스타트업)이라고 말하는 것이 이제는 아닐 것 같다는 생각이 드네요. 아래 그래프는 지난 IPO 이후 5월 15일 현재까지의 주가 변동 내역을 담고 있는데요, 23일 23달러였던 것이 5월 15일 16.95달러로 마감했군요. 참고로 거래량은 4,255만주였던 것이 15일에는 274,478주였습니다.

(Box의 IPO 이후 2015년 5월 15일 현재까지의 주가 변동, 이미지 출처: 나스닥)

드롭박스와 박스는 이름도 비슷하고 하는 사업도 비슷합니다. 그리고 엔터프라이즈 비즈니스를 향해 가는 그들의 전략도 비슷합니다. 컨텐츠의 공유와 동기화, 이를 시장 조사 기관에서는 EFSS(Enterprise File Sync & Share)라는 이름으로 구분 짓고 있는데요, 2013년 3분기 포레스터의 자료 중 일부를 아래에 올려 보았습니다.

포레스터의 웨이브 자료를 보면 리더그룹에 EFSS 분야의 벤더들을 확인해 볼 수 있습니다. 이미 이 분야는 컨슈머 시장에서의 검증을 거치고 익숙한 사용자 경험을 가진 업체들과 전통의 B2B 강자들이 대결을 보이고 있습니다. 모바일을 통한 사용자 경험은 데스크톱 애플리케이션의 개발을 압도할 것으로 보이는데요, 실제로 2013년 앱셀러레이터(Appcelerator, Inc.)에서 실시한 「모바일 엔터프라이즈의 현재(State of the Mobile Enterprise)」라는 리포트에 따르면 “87%의 기업 응답자들은 새로운 애플리케이션 개발이 데스크톱보다는 모바일 애플리케이션에서 있을 것이다”라고 합니다. 2013년 자료라서 현재의 상황에 그대로 적용하는 것은 무리가 있는데요, 대형 벤더들은 모바일 앱에 관한 준비가 되어 있지 않다고 결론을 내고 있습니다. 그러면서 iOS와 Andriod가 엔터프라이즈 플랫폼에서 그 영향을 더욱 강하게 미치게 될 것이라는 전망도 하고 있습니다.

컨텐츠의 소비와 활용, 공유와 동기화, 그리고 사용자 경험과 모바일 등의 이러한 트렌드들이 클라우드에서의 하나의 중요한 경향이 되고 그래서 많은 VC들이 투자를 이어가고 있는 한편 미란티스(Mirantis)와 같은 기업에도 꾸준한 투자가 이어지고 있습니다. 2013년의 경우 1월과 6월에 각각 1천만 달러가 투자되었고, 2014년 10월에는 1억 달러가 투자되었습니다. 2011년 1월에 설립된 이 기업은 오픈스택과 관련된 소프트웨어, 서비스, 교육, 지원 등을 제공하고 있는데요, 이 회사의 주장에 따르면 시스코를 비롯해 컴캐스트, 에릭슨, NASA, NTT 도코모 등에서의 프로젝트를 지원했고 국내 기업으로는 삼성도 고객이라고 하는군요. 

오픈스택은 현재 클라우드 운영체제로 가장 큰 영향력과 가장 빠른 업데이트를 하고 있습니다. 참여하고 있는 기업들이 점점 늘어나고 있고 더 많은 애플리케이션과 인프라 부문이 추가되고 지원을 이어가고 있습니다. EMC의 경우 VNX, XtremIO 등의 스토리지와의 연결을 위한 기술을 제공하고 있고 오라클은 Database 12c를 프라이빗 클라우드 환경에서 쉽게 올릴 수 있도록 지원을 하고 있습니다.

이미지 출처: Zdnet, EMC partners with Canonical, Mirantis, and Red Hat for OpenStack

미란티스 외에도 클라우드 소프트웨어 기업으로 뉴렐릭(New Relic)이 눈에 띕니다. 2014년 1억 달러의 투자를 받았고 11월에는 IPO를 했습니다. SaaS 기업이고 분석(Analytic)이라는 가치가 있어서 그런지 Box와는 확실히 기업 가치를 더 인정받고 있습니다. (2015년) 5월 15일 30.71달러로 마감한 이 기업은 최근 인기를 얻고 있는 닥커(Docker) 지원에도 빠르게 대응하고 있고 클라우드 파운드리(Cloud Foundry)에도 가입하여 기술과 지원성을 계속해서 확대해 나가고 있습니다.

(New Relic의 IPO 이후 2015년 5월 15일 현재까지의 주가 변동, 이미지 출처: 나스닥)

뉴렐릭은 클라우드 컴퓨팅, 컨데이너, 마이크로서비스(Microservices), 서비스로서의 플랫폼(Platform as a Service; PaaS) 등에서 역량을 보이려고 할 것입니다. 특히 마이크로서비스와 관련해서 생각해 보면 종전의 Continuous Integration에서 Continuous Delivery로 옮겨가면서 개발환경이 보다 빠르게 전개되는 현재의 트렌드에서 이렇게 클라우드 컴퓨팅 기술을 가지고 있는 기업들의 가치는 더욱 커질 것으로 보입니다. 

마이크로서비스와 관련된 읽을 거리 ___
Microservices: The resurgence of SOA principles and an alternative to the monolith

 

이상에서 2014년 비교적 크게 투자를 받은 몇 개 기업들을 보았습니다. 파일의 공유와 협업, 클라우드 소프트웨어 등 그리고 그 기업들의 기업공개와 시장가치 등을 보면서 변화가 현재 빠르게 진행되고 있습니다. 종래의 IT 소비 방식의 변경이 나의 일에 많은 변화를 가져올 것이라는 생각이 많이 드는 요즘입니다. 

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고

데이터 스토리지 이노베이션(Data Storage Innovation)에 관한 주제로 SNIA의 주관 하에 ‘Data Stoage Innovation Conference 2015’라는 행사가 열렸습니다. 지난 4월 7일부터 9일까 열린 이 행사에는 SNIA가 주최하는 것이니만큼 다양한 업체들이 다양한 주제들을 놓고 컨퍼런스를 했었는데요, 참석하지는 못해도 여러 루트를 통해 몇 가지 내용을 확인해 볼 수 있었습니다.

발표 자료들이 공개되기 때문에 사실 참석하지 않아도 어느 정도의 내용이나 주제를 확인할 수 있는데요, 전체적으로 보면 상당히 굵직한 흐름을 확인할 수 있었습니다. DSI의 하부 주제들은 상당히 많습니다. Advanced Data Dedupe을 시작으로 하여 Hard drives까지 20여 개의 하위 주제들이 있고 그 주제에 맞게 여러 벤더들이 나와서 다양한 이야기를 하고 있습니다. 마음 같아서는 다 살펴보고 싶지만, 관심 있는 것만 보겠습니다.

플래시와 관련해서 IDC의 시장 분석 내용에 눈이 갑니다. “The Flash Based Array Market”이라는 주제로 IDC의 에릭 버게너(Eric Burgener)의 발표 자료를 보면 Platform 3 환경이 되면서 플래시 스토리지가 왜 그리고 어떻게 필요하게 되었는지를 설명하고 플래시 기반 스토리지를 AFA(All Flash Array)와 HFA(Hybrid Flash Array), 그리고 하이브리드 플래시 어레이를 플래시로만 구성한 HFA/A(All Flash Configuraitons of hybrid flash arrays) 등으로 구분하고 있습니다. 그러면서 플래시 최적화된 스토리지 아키텍처를 이야기 하고 있습니다. 아래 그림은 해당 슬라이드에서 뽑은 것입니다. 그 중에서 Endurance optimizationPredictable performance even as configuration scales 등 2개 항목이 가장 눈에 띕니다.

플래시 저장 매체의 속성을 반영하여 기록 작업(write)을 최소화하면서 모든 셀에 평균적으로 균일하게 적용할 수 있도록 하는 알고리즘과 In-line 기반의 데이터 절감 기술 등을 적용하여 플래시 내구성을 최적화 하는 기술이 들어가야 하는 것을 말하고 있습니다. 그리고 가장 중요한 항목이 될 수 있는 부분이라고 생각되는데요, “예측 가능한 성능; Predictable performance”입니다. 시스템을 큰 틀에서 볼 때 시스템의 예측 가능성은 신뢰에서부터 비롯되는데요, 스토리지에서의 예측 가능성이라고 한다면 일정한 수준에서의 일관된 응답 시간(response time)이나 latency를 말하는 것입니다. 공감이 되는 항목입니다.

엔터프라이즈 플래시 최적화 기술로 IDC는 5년 이상의 수명 보장과 수 백 TB 규모의 유효 용량 제공, 99.999%의 가용성, 씬 프로비저닝을 비롯한 In-line 기반의 데이터 절감 기술, 데이터 사본을 만들기 위한 데이터 서비스 등을 말하고 있습니다. 사실 이러한 기술들이 요즘 플래시 전용 스토리지에서 거의 일상적인 현상이라는 생각이 드는군요.

시장을 살펴 보겠습니다. AFA가 아무리 뜬다고 해도 하이브리드 플래시보다 크기는 어려워 보이는군요. IDC의 예측대로라면 적어도 앞으로 한 3-4년은 AFA와 HFA가 바뀌기는 어려워 보입니다. 하지만 아래 그래프는 전체 스토리지에서 비교입니다.

범위를 한정해 본다면 즉, 프라이머리 스토리지(Primary Storage) 시장에서 AFA가 주류가 될 것이라는(will dominate) 예측은 당연한 이야기겠지만 다시금 염두에 두어야 할 내용이네요. 그리고 HDD는 백업, 아카이브, 콘텐트 레포지터리 등의 용도로 사용될 것이라는 IDC의 예측입니다. 그러면서 이미 시장에서 그리고 포춘 1000 기업들은 “All Flash” 스토리지를 가지고 있다고 하는 말로 마무리를 하고 있습니다.

IDC외에도 플래시를 주제로 시만텍(Symantec)과 시러스 데이터(Cirrus Data), HGST, 샌디스크(SanDisk) 등이 발표를 했었습니다. 시러스 데이터는 2011년 설립된 신생 기업으로 플래시를 기반으로 하는 캐시 기술을 이야기 했네요. 이들의 기술은 일종의 캐시 장비를 선보이고 있는데요, ‘Data Caching Server(DCS) 어플라언스’라는 제품으로 PCIe 플래시 카드를 달고 약간의 조닝(Zoning) 작업을 거치면 아래 슬라이드와 같이 쉽고, 간단하고 효과적이며, 안전하게 그러면서도 최적화 할 수 있다고 주장합니다.

샌디스크는 이전에 인수하였던 퓨전IO 사업부문에서 나와 MySQL에서의 데이터 기록 방식에 있어 2 writes 현상과 압축 사용 시 성능 문제 등을 언급하면서 이를 해결할 수 있는 솔루션이라는 이야기를 하고 있습니다. (아래 그림 참조)

샌디스크에 따르면 Atomic Write 기술을 적용했더니 아래 그림과 같이 녹색 부분과 같이 극적으로 latency가 낮아졌다고 합니다. 압축 관련 향상은 해당 자료를 참조하세요.

시만텍은 자신들이 가지고 있는 Symante Storage Foundation Cluster File System을 이용하여 소프트웨어 정의 스토리지 개념까지 확장시켜 가면서 플래시와 연결을 짓고 있습니다. 그리고 이제는 웨스턴디지털의 자회사인 HGST는 “플래시의 미래(The Future of Flash in the Data Center)”라는 주제를 통해 PCIe 타입의 플래시를 통해 성능을 향상을 포함하여 클러스터 환경에서의 캐시(Clustered cache)를 통해 응답 시간을 줄이거나 몽고DB와 같은 환경에서의 동기 복제(sync replication) 등을 Platform 3 관점에서 적절하게 풀어내고 있습니다. HGST가 작년 12월에 인수한 Skyera를 중심으로 이야기할 것으로 예상했는데, 아직 그들의 제품들 대부분이 PCIe, SAS, SATA 등의 인터페이스로 동작하는 것이라 그런지 다소 한정되어 있다는 생각이 듭니다.

DSI에서의 플래시에 관한 이야기는 이 정도였습니다. 물론 클라우드를 비롯한 다른 분야에서도 플래시를 다루고 있기는 하지만 크게 논의할 수 있는 수준이 아니었습니다. 플래시 이외에 관심을 가지고 본 분야는 클라우드입니다. 클라우드와 관련해서는 몇 가지 세션이 있었지만 사실 특별히 볼 것은 없습니다.

IDC 예측에 따르면 2015년에 8ZB로 예상되지만 2020년이면 44ZB 규모가 될 것이라고 합니다(위 그림 참조). 유니시스(Unisys)가 발표한 내용에 따르면 직원 수가 10만 명이 넘는 어떤 금융 기관의 클라우드를 구축했는데, 이때 당시 100여 개의 애플리케이션이 클라우드로 옮겨갔고 12PB 이상의 공간이 필요하다고 했었으나 8PB 규모로 씬 프로비저닝 기술을 적용하여 30%를 절감하였다고 하는군요. 개인적으로는 이 세션을 다시 들을 수 있다면 좋겠다는 생각이 듭니다(아래 그림 참조).

클라우드와 SDS(software defined storage)는 구분하기 어려운 주제일 것 같은데요, DSI에서 발표한 SDS 기업 중 HEDVIG이라 기업이 눈에 띕니다. 플래시를 활용하는 헤드빅(HEDVIG)의 아키텍처를 보면서 클라우드, 빅데이터 그리고 그 속에서의 플래시 기술을 종합해 보는 재미가 있어 좋습니다.

 

DSI의 모든 내용을 정리하는 것은 좀 어렵습니다. 그런데, Intel에서 발표한 자료를 보면 어느 정도 정리할 수 있는 몇 가지 키워드가 있습니다. 전체를 대변할 수는 없지만 어느 정도는 커버하지 않을까 하는 생각으로 옮겨 보았습니다.

  1. Intelligent Storage: deduplication, real-time compression, intelligent tiering, thin provisioning
  2. Scale-out: node working together external network
  3. Non-Volatile Memory: power consumption, performance, reliability
  4. Software Defined: Abstraction, aggregation, dynamic provision, orchestration

요즘의 스토리지와 관계된 상당히 많은 키워드들이 여기에 속해 있지 않은가 생각됩니다. 동의하시나요?

 

- Merci & Fin -

저작자 표시 비영리 동일 조건 변경 허락
신고