HADOOP
-
brew를 통해 Hadoop설치, Hive설치 후 Mysql연동하기ComputerScience/DB,Cloud 2020. 7. 29. 19:07
개발하면서 가장 어렵고 곤란한 것을 뽑자면 새로운 프로그램 툴을 설치하고 환경설정하는 것이 아닐까? 이번에도 그렇다. Hadoop을 설치하고 Hive를 설치하고 Mysql을 연동하는데 정말 한 세월이 걸렸다. 잊지 않기 위해, 나와 같은 곤란함을 가진 사람들에게 도움이 되기 위해 다음과 같은 글을 올립니다. 설치는 Macbook에서 진행됐고 사용하는 terminal은 zsh입니다. 자바는 미리 설치가 되어있다고 가정합니다. 다운 받는 버전은 시기에 따라 다를 수 있으니 해당 버전에 맞게 숫자를 다르게 쓰셔야 합니다. Homebrew 설치 맥용 패키지 매니저이다. yum과 apt-get과 유사하다고 보면 된다. $/bin/bash -c "$(curl -fsSL https://raw.githubusercon..
-
하둡(Hadoop)에 관하여ComputerScience/DB,Cloud 2020. 6. 12. 22:49
하둡에 대해 알아보자. 데이터가 쌓여가는 빅데이터의 시대에 RDBMS에 데이터를 저장하는 시도는 불가능하다. 이에 새로 나온 데이터 저장 기술이 하둡인데 이에 대해 알아봅시다. 1. 하둡(Hadoop)이란? 하둡은 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈 소스 프레임 워크. 구글이 논문으로 발표한 GFS를MapReduce를 구현한 결과물이다 . HDFS(Hadoop Distributed File System)에 데이터를 저장하고, 맵리듀스를 이용해 데이터를 처리한다. 여러 대의 서버에 데이터를 저장하고, 저장된 각 서버에서 동시에 데이터를 처리하는 방식. 기존의 RDBMS를 대치하는 것이 아니다. 1.1 특징 1) HDFS는 데이터를 저장하면, 다수의 노드에 복제 데이터도 함께 저장해서 데..