‘데이터 가치화’ 핵심 전략과 ‘데이터 레이크’ 구축

과거에는 기업의 3대 생산 요소로 토지, 노동, 자본을 꼽았다. 4차 산업혁명이 현실로 다가온 지금은 ‘데이터’가 비즈니스의 핵심 가치로 추가됐다.

최근까지도 엄청난 성장세로 세상을 놀라게 한 테슬라의 주가 또한 전기차 시장을 넘어 데이터와 AI 기술을 이용해 미래 자율주행차량의 청사진을 제시한다는 점에 기인하고 있다. 

‘데이터가 곧 자산’이라는 ‘데이터 자본주의(Data Capitalism)’는 이제 거의 모든 산업 분야에서 공감대를 얻고 있다.

또 데이터를 기반으로 하는 IT 애플리케이션이 디지털 혁신의 밑거름이 되고, 데이터를 얼마나 잘 수집하고 분석하느냐가 비즈니스 성공을 좌우하게 된 것이다.

어떻게 하면 데이터를 가치 있는 자산으로 만들지에 대한 고민은 오래전부터 이어져왔다.

이른바 ‘데이터 가치화’는 다섯 단계로 구분할 수 있다. 바로 수집(ingest), 저장(store), 분석(analyze), 시각화(surface), 실행(act)이다.

먼저, 비즈니스에 필요한 데이터를 정의하고 광범위한 출처에 걸쳐 데이터를 잘 수집(ingest)하고, 수집한 데이터는 안정적으로 운영할 수 있는 데이터 저장소에 저장(store)해야 한다.

다양한 유형의 데이터를 한 데 모아서 효율적으로 관리할 수 있는 ‘데이터 레이크’ 개념은 바로 이 ‘저장’ 단계에서 중요하다.

그 다음으로는 데이터 과학자들이 알고리즘을 이용해 데이터를 분석(analyze)하고 인사이트를 얻어 내고, 시각화(surface) 단계에서는 분석 결과를 조직내 여러 전문가와 공유하고 더 나은 분석 모델을 모색하게 된다.

마지막으로, 실행(act)에 이르면, 데이터 중심의 애플리케이션을 구축해 실제 업무에 신속하게 반영한다.

하지만 데이터는 점점 더 많은 위치에서 더욱 다양한 유형으로 쏟아지는 데다가, 기업은 지속적으로 생성되는 데이터를 실시간으로 처리해야 한다.

디지털 혁신을 위해서는 더 많은 데이터가 필요하지만, 한편으로는 이를 감당할 디지털 역량을 갖추지 못해 어려움을 겪고 있다. 

우선, 많은 데이터가 그 유형이나 소관 부서별로 각기 다른 데이터 스토리지에 저장되는 사일로(silo) 현상이 대표적인 사례라고 할 수 있다.

사일로 안에 존재하는 데이터는 어떠한 연관관계도 없고 연동이 불가해 데이터의 가치를 떨어뜨린다. 흩어져 있는 데이터를 하나의 플랫폼으로 관리할 수 있는 고도화된 ‘데이터 레이크’가 요구되는 대목이다.

두번째는 데이터 폭증에 따른 어려움이다.

데이터가 늘어나면 분석속도가 느려지고 인공지능(AI)의 학습량이 많아져 비즈니스에 적용되는 속도가 떨어질 수 있다.

즉, 데이터 양이 증가해도 용량과 성능을 동시에 높일 수 있는 스케일-아웃(scale-out) 방식의 IT 아키텍처를 도입해 이같은 문제에 대처해야 한다.

세번째는 데이터 보호에 대한 문제이다.

데이터 가치는 증가하는데 데이터 유실로 인해 사용이 불가하게 되거나 잘못된 사용자에게 오용이 된다면 조직에 엄청난 위험을 초래할 수 있다.

따라서 랜섬웨어 등 사이버 공격이나 재난 및 재해에 대응할 수 있는 데이터 보호 대책이 수반되어야 한다.

마지막 도전과제는 데이터로부터 비즈니스에 활용할 가치를 만들어낼 수 있는 역량이다.

데이터를 모으고 저장하는데 그치지 않고, 비즈니스를 가장 잘 아는 현업의 전문가와 리더들이 분석된 데이터로부터 인사이트를 도출할 수 있도록 끊임없이 노력해야 한다.  

오늘날 디지털 트랜스포메이션에 있어서 ‘데이터 가치화’와 더불어 자주 거론되는 것이 ‘클라우드 퍼스트’ 전략이다. 

클라우드 상에 데이터를 저장하고 IT 애플리케이션을 운영하는 것이다.

이 클라우드 퍼스트 전략은 초기 구축 비용과 시간을 절감할 수 있어서 점점 더 많은 조직들이 이를 채택하고 있지만, 데이터 가치화 측면에서는 클라우드로 인해 발생할 수 있는 문제점을 명확하게 인지해야 한다.

예를 들어 데이터에 대한 접근 및 통신 비용이 과다하게 발생할 수 있고, 응답 속도가 느려지는 문제, 또한 데이터 보호 규정을 제대로 준수할 수 있느냐 등의 문제가 발생할 수 있다.

특히 퍼블릭 클라우드의 경우 초기 구축 비용은 낮지만, 데이터가 늘어날수록 클라우드 비용이 동시에 증가한다는 맹점도 있다.  

이같은 문제들을 예측하고 대비하기 위해서는 원칙과 전략이 필요하다.

가치 있는 자산을 적절한 장소에서, 꼭 필요한 시간에, 보장된 SLA(서비스 수준 협약) 내에서 사용하기 위해서는 데이터의 중요도와 보호 방법, 비용 등을 감안해 입체적인 멀티 클라우드 전략을 구사하는 것이 필요하다.

클라우드 사업자의 기술에 의존해 데이터 관리 로드맵을 구성하는 것이 아니라, 비즈니스 요구 사항에 의해 이를 수립하기 위함이다. 

현재까지 국내에서 가장 모범적인 클라우드 기반 빅데이터 구축 케이스로서 제조 대기업의 사례를 살펴보자.

이 회사는 10년전 빅데이터란 용어가 회자되기 시작했을 때부터 데이터 가치화에 필요한 여러 단계를 차근차근 밟아왔다.

델 테크놀로지스(Dell Technologies)의 솔루션을 도입한 이 기업은 정형 데이터의 통합, 데이터 레이크 구축, VDI와 클라우드를 통한 빠른 개발환경 마련, AI와 머신러닝을 통한 스트리밍 데이터 분석까지 지속적으로 데이터 분석 플랫폼을 고도화시켜 나가고 있다.

그 결과 생산라인에서 발생되는 데이터를 전사 데이터 레이크에 모으고 반복적인 분석을 통해서 수율은 향상되고 공정간 불량은 감소해 수익 증대로 이어질 수 있었다.

미국의 듀오스 테크놀러지스(Duos Technologies) 또한 델의 솔루션을 기반으로 데이터 가치화를 잘 수행하고 있는 기업이다.

기차 차량에 대한 안전 검사를 사람이 일일이 육안으로 확인하던 것을 AI 기술을 이용해 소요 시간은 현격히 낮추고 정확도는 95%까지 끌어 올렸다.

검사 데크에 장착된 수많은 카메라와 센서를 이용해 AI가 통과하는 차량을 실시간으로 검사하는 것이다.

이 검사 데크, 즉 엣지 단에서 AI가 탑재된 서버가 실시간으로 기차의 결함을 탐지하고, 엣지에서 생성된 데이터는 중앙 데이터센터로 보내져 머신러닝 학습과정을 거쳐 더욱 정교한 검사 알고리즘을 확보하게 된다.

이같은 과정을 통해 듀오스 테크놀로지스는 8분에 한 대 정도 처리하던 수작업 검사를 AI 방식에서는 무려 124대까지 검사할 수 있게 됐다. 

앞선 사례들에서 볼 수 있듯 디지털 혁신의 출발은 효과적인 데이터 자산화를 위한 데이터 레이크 구축이다.

데이터 레이크는 조직의 비즈니스에서 발생되는 데이터를 누락 없이 최대한 수집해 전사적으로 단일화된 공간에 저장돼 관리되도록 하는 시스템인 만큼, 원시 데이터는 물론 변환 과정의 모든 데이터를 저장해 조직 내에서 언제 어디서든 접근해서 활용할 수 있는 기반이 된다. 

<글 = 장우영 한국 델 테크놀로지스 UDS사업부 상무>