1. 빅데이터 기술 1. 비정형 데이터 수집 1) 척와 (Chukwa) : 분산된 각 서버에서 에이전트를 실행하고, 컬렉터가 에이전트로부터 데이터를 받아 HDFS에 저장 2. 정형 데이터 수집 1) 스쿱 (Sqoop) : 커넥터를 사용하여 관계형 데이터베이스 시스템(RDBMS)에서 HDFS로 데이터를 수집 3. 분산 데이터 저장 1) HDFS : 대용량 파일을 분산된 서버에 저장하고, 그 저장된 데이터를 빠르게 처리할 수 있게 하는 하둡 파일 시스템 2) 하둡 : 오픈 소스를 기반으로 한 분산 컴퓨팅 플랫폼. 일반 PC급 컴퓨터로 가상화된 대형 스토리지를 형성하고 그 안에 보관된 거대한 데이터 세트를 병렬로 처리할 수 있도록 개발된 자바 소프트웨어 프레임워크 4. 분산 데이터 처리 1) 맵리듀스 : 대용..