빅데이터 플랫폼 전문기업인 그루터가 외산 업체가 주도하는 빅데이터 분석 처리 엔진 개발에 나섰다. 

그루터(대표 권영길)는 오픈소스 빅데이터 분석 처리엔진 ‘아파치 타조(Tajo)’ 개발을 본격화한다고 27일 밝혔다. 

그루터는 하둡과 하둡 에코시스템 관리 툴인 ‘클라우몬(Cloumon)', 빅데이터 플랫폼인 ‘쿠바(Qoobah)’를 바이오인포메틱스, 보안, 쇼핑, 온라인 콘텐츠 서비스 분야 등에 적용하면서 글로벌 회사와 경쟁할 정도로 빅데이터 플랫폼 회사로서 입지를 쌓아가고 있다. 

이와 함께 그루터는 빅데이터에 필요한 핵심 기술을 확보해 국내 시장을 넘어 해외 시장 진출을 위한 핵심 기술로 IA(Interactive Analysis; 이하 IA)를 주목해 왔다. 

빅데이터 분석 처리 엔진은 최근 전세계적으로 주목받는 빅데이터 플랫폼의 핵심 기술 중 하나다. 실시간 데이터 처리에 약점을 가졌던 하둡의 한계를 극복하고, 빠르게 의미있는 데이터를 뽑아내는 ‘sql on hadoop’이라 불리는 IA 기술이다. 

그동안 이 분야는 미국 클라우데라(Cloudera) 사의 임팔라(Impala), 호튼웍스(Hortonworks) 사의 스팅거(Stinger), 맵알(MapR)의 드릴(Drill), EMC 자회사인 피보탈의 호크(HawQ) 등이 서로 경쟁해 왔다. 

그루터가 개발하는 빅데이터 분석 처리 엔진의 명칭은 ‘타조(Tajo: http://tajo.incubator.apache.org/)*’다. 타조는 2013년 3월 세계 최대 오픈소스 재단인 아파치 소프트웨어 재단의 인큐베이터 프로젝트로 채택되며 전세계 빅데이터 관련 개발자들의 관심을 한몸에 받았다. 북미 지역 이외의 첫 IA이면서 아시아에서 등장한 첫 IA라는 점도 눈길을 끈다. 

타조는 아파치 재단의 인큐베이션 프로젝트 선정 이전부터 글로벌 IT기업들의 뜨거운 관심을 한몸에 받았다. 미 항공우주국(NASA) 제트추진연구소(JPL), 인텔, 링크드인, 호튼웍스, 플랫포라 등의 개발자가 커미터로 참여 중이다. 

타조를 적용하면 기존 하둡 빅데이터 처리엔진 대비 10배 이상 100배까지 빠르게 데이터를 처리할 수 있다. 특히 조만간 타조와 같은 IA 기술과 하둡 생태계 진영에서 나온 기술들을 최적화할 경우 기업들이 사용하는 상용 데이터웨어하우스(DW)를 상당부분 대체할 수 있을 것으로 그루터는 내다보고 있다.

그루터는 2012년부터 IA 개발에 대한 준비기간을 거쳐 올 6월부터 본격적인 개발 작업에 착수했다. 아파치 재단의 프로젝트관리위원회(PMC) 멤버이며 타조 최초 발의자인 최현식 박사가 졸업과 동시에 그루터에 합류했다. 또 그루터에서 활동중인 두명의 타조 커미터와 내부 빅데이터 플랫폼 전문가들 뿐 아니라 외부의 전문가들도 활동하는 등 빅데이터 핵심 인력들이 참여중이다. 올해중으로 타조의 성능을 엔터프라이즈급으로 향상시키는 것을 목표로 하고 있다. 

권영길 그루터 대표는 “SQL온하둡(sql on hadoop) 기술은 빅데이터 플랫폼의 차세대 핵심기술로 기존 하둡의 응용면에서도 엔터프라이즈급 성능을 제공함으로써 많은 부분 기존 시장의 대체와 함께 신규시장을 빠르게 확대하는데 일조할 것이다”라고 강조했다. 

출처

Copyright ⓒ ZDNetKorea 김우용 기자/ yong2@zdnet.co.kr 

[아이티데일리] 안전행정부가 추진하고 있는 약 450억원 규모의 빅데이터 사업의 실체가 곧 드러날 전망이다.

11일 안행부에 따르면 지난 4월 ‘전자정부지원사업 설명회’ 당시 소개한 50억원 규모의 ‘빅데이터 공통기반 및 활용과제 구축’ 사업을 7월 중순 및 하순 사이에 사전공고할 것이라고 밝혔다.

안행부에서 발주하는 이번 빅데이터 사업은 행정·공공·민간의 데이터의 융합 및 빅데이터 분석 기반을 마련하는 것이다.

각 정부 부처 보유 데이터를 연계·공유, 저장, 분석 기반을 구축하며 SNS 등 민간 비정형 데이터 활용 기반을 구축해 정책의사결정 지원을 위한 기초자료, 과학적인 근거자료의 수집·연계와 저장·분석 기반 제공으로 정책 수립 지원을 강화할 예정이다.

이는 ‘국민중심 서비스 정보3.0 구현’의 추진계획의 일환으로 빅데이터를 활용해 사회현안 및 국민의 요구를 파악하고 미래전략 수립 및 선제적 공공서비스 제공 등 정부 혁신을 지원한다는 목적으로 추진된다.

특히, 올해부터 2017년까지 총 450억원의 예산이 투입되는 큰 규모의 사업인 만큼 지속사업의 유리한 고지를 밟기 위해 국내외 IT서비스 및 솔루션 업체들의 치열한 경쟁이 예고되고 있다.

다만 당초 50억원 규모의 빅데이터 사업이 40억원 미만의 사업으로 축소돼 대기업참여하한제에 의해 중견기업들은 참여할 수 없게 돼 중소기업들의 각축장이 될 예정이다.

또한 ▲빅데이터 크롤링 ▲검색 ▲분석 솔루션 ▲DBMS 등은 SW분리발주될 예정이서 통합발주에 속한 ▲웹서버 및 웹애플리케이션 ▲대용량 데이터 처리 DBMS ▲보안/백업/OS ▲민간데이터 수집·분석 서버 ▲DBMS 서버 등의 규모는 상대적으로 작아질 예정이다.
 

공공기관, 빅데이터 사업 발주 봇물

안행부가 발주할 빅데이터 사업이 약 40억원 규모로 가장 큰 사업이지만 이 외에도 정부 부처 및 관련 기관들이 연일 빅데이터 관련 사업을 발주하고 있다.

빅데이터 사업 및 빅데이터 분석과 활용이 포함된 사업 등 약 20여건의 사업이 나라장터를 통해 발주됐다.

이들 사업 규모는 약 100억원 수준으로 한국정보화진흥원(NIA)에서 발주한 ‘빅데이터 활용 스마트서비스 시범 사업 공모’가 약 14억원으로 안행부에 이어서 두 번째로 크다. 이어 약 10억원 규모의 ‘빅데이터를 활용한 고속도로 교통자료 분석 및 제공체계 구축 용역’을 한국도로공사가 발주했으며, 대한지적공사가 약 8억원 규모로 ‘공간 빅데이터 체계구축 ISP 수립’ 사업을 발주했다.

<ITDaily>

고수연 기자  going@itdaily.kr

시사상식사전

빅데이터

데이터의 생성 양ㆍ주기ㆍ형식 등이 기존 데이터에 비해 너무 크기 때문에, 종래의 방법으로는 수집ㆍ저장ㆍ검색ㆍ분석이 어려운 방대한 데이터를 말한다. 빅데이터는 각종 센서와 인터넷의 발달로 데이터가 늘어나면서 나타났다. 컴퓨터 및 처리기술이 발달함에 따라 디지털 환경에서 생성되는 빅데이터와 이 데이터를 기반으로 분석할 경우 질병이나 사회현상의 변화에 관한 새로운 시각이나 법칙을 발견할 가능성이 커졌다. 일부 학자들은 빅데이터를 통해 인류가 유사 이래 처음으로 인간 행동을 미리 예측할 수 있는 세상이 열리고 있다고 주장하기도 하며, 이를 주장하는 대표적인 학자로는 토머스 멀론(Thomas Malone) 미국 매사추세츠공과대학 집합지능연구소장이 있다.

빅데이터는 초대용량의 데이터 양(volume), 다양한 형태(variety), 빠른 생성 속도(velocity)라는 뜻에서 3V라고도 불리며, 여기에 네 번째 특징으로 가치(value)를 더해 4V라고 정의하기도 한다. 빅데이터에서 가치(value)가 중요 특징으로 등장한 것은 엄청난 규모뿐만 아니라 빅데이터의 대부분은 비정형적인 텍스트와 이미지 등으로 이루어져 있고, 이러한 데이터들은 시간이 지나면서 매우 빠르게 전파하며 변함에 따라 그 전체를 파악하고 일정한 패턴을 발견하기가 어렵게 되면서 가치(value) 창출의 중요성이 강조되었기 때문이다.