2011년 2월 미국 이민세관단속국 요원이 텍사스주 고속도로에서 갱단의 총격을 받고 사망하는 사건이 발생했다. 미 연방 마약단속국(DEA)은 마약 조직원, 밀매 루트, 자금 유통경로, 마약 사용자, 정보원 보고서, 감청 자료 등 방대한 자료를 종합적으로 분석해 용의선상에 오른 마약조직의 핵심 인물을 파악하고 이들의 거주지, 주요 활동지역, 자금 흐름 등을 밝혀냈다. DEA는 이 자료를 토대로 소탕 작전을 수행해 텍사스주 댈러스에 근거지를 둔 조직원 57명을 체포하고 2만달러 이상의 현찰과 금괴 등을 압수했다. 이는 빅데이터 분석이 단순 마케팅뿐 아니라 현실의 여러 분야에서 다양하게 쓰일 수 있음을 보여주는 사례다.
아프가니스탄과 이라크의 도로에 설치된 사제 폭발물의 감지와 반군의 공격 예측, 달라이 라마의 노트북 컴퓨터에 스파이웨어를 설치한 해커의 추적, 제약회사가 개발 중인 약의 효능 분석, 주택담보 대출에 대한 금융사기 적발, 과자회사의 소비자 기호 변화 추적 등 전혀 관련이 없어 보이는 다양한 업무에 빅데이터 분석이 효과적으로 사용되고 있다. 그런데 위의 사례들은 분석이 필요한 대량의 데이터가 존재한다는 것 외에도 한 가지 공통점이 있다. 한 기업이 홀로 빅데이터 분석 소프트웨어를 개발하고 업무를 지원하고 있다는 사실이다. 미 경제 전문지 <포천>의 유니콘(10억달러 이상의 가치를 평가받는 창업 초기 기업) 리스트에서 기업가치 205억달러(약 23조원)로 4위를 기록하고, 빈 라덴을 사살하는 데 결정적인 공헌을 한 것으로 알려진 팔란티어 테크놀로지가 바로 그 기업이다.
2008년 대규모의 이질적인 데이터를 서로 연결시켜주고 페타바이트(기가바이트의 100만배)의 데이터를 자연어로 질의해 실시간으로 결과를 출력하며 사람이 쉽게 인지할 수 없는 데이터 간의 연결관계와 패턴을 시각화해 보여주는 빅데이터 분석 소프트웨어의 개발이 완료됐다. 회사는 소프트웨어에 ‘고담(Gotham)’이라는 이름을 붙였다. 완성된 소프트웨어에 대해 호평이 쏟아졌다. 정보분석가들은 지금까지 정부가 보유했던 분석도구 중 최고라는 평가를 내렸다. CIA에 이어 미 국가안보국(NSA), 미 연방수사국(FBI), DEA, 국방부, 해병대, 공군, 특수전 사령부, 질병예방통제센터, 뉴욕 경찰청(NYPD), LA 경찰청(LAPD) 등 다양한 정부기관에서 수상한 활동의 감지, 자금흐름 추적, 사제 폭발물 설치 패턴 파악, 해외 해커집단 추적, 미아 및 실종자 추적, 질병 전파경로 분석 등 다양한 분석 활동을 위해 팔란티어의 소프트웨어를 도입했다.
이러한 성공은 소프트웨어의 뛰어난 완성도 때문에 가능했다. 비밀 정보를 다루는 입장 때문에 마케팅 활동이 어려웠지만, 고객들의 입소문만으로 단기간에 많은 고객들을 확보할 수 있었다. 3년간 CIA만을 고객으로 개발을 진행하는 동안, 미완성 제품으로 추가적인 고객들을 확보하려 하지 않고 완성도를 높이는 데 주력한 것이 결실을 맺은 것이다.
또한 회사와 상품에 대한 높은 평가는 민간 시장의 문을 열어주는 열쇠로 작용했다. 2010년 뉴욕 경찰청의 소개로 JP모건을 최초의 민간 고객으로 확보하게 됐다. CIA와 일할 때처럼, 개발팀은 밤낮없이 일하면서 고객과의 대화를 통해 문제를 분석하고 기존 소프트웨어를 수정해 민간용 분석도구인 ‘메트로폴리스(Metropolis)’를 완성시켰다. 팔란티어의 능력과 일하는 자세에 감명받은 JP모건은 원래 맡겼던 부정거래 적발에 더해 부실 대출 해결 업무까지 추가로 맡겼다. 팔란티어의 금융부문 사업은 이를 계기로 계속 확장됐고 그 과정에서 회사의 분석도구는 월가를 뒤흔들었던 버나드 메이도프의 폰지(Ponzi) 사기를 밝혀내는 데 사용되기도 했다. 현재 팔란티어의 수익 중 75%가 민간부문에서 발생하고 있으며 고객들의 사업분야도 금융기관, 법률회사, 제약회사, 에너지기업, 소비재기업 등 매우 폭이 넓다. 아직 정확한 매출은 공개되지 않고 있지만, 회사는 2015년 민간기업과의 계약규모가 17억달러(약 1조9600억원)에 달한다고 밝혔다.