기록소 기록소

ComputerScience/DB,Cloud

• brew를 통해 Hadoop설치, Hive설치 후 Mysql연동하기

  ComputerScience/DB,Cloud 2020. 7. 29. 19:07

  개발하면서 가장 어렵고 곤란한 것을 뽑자면 새로운 프로그램 툴을 설치하고 환경설정하는 것이 아닐까? 이번에도 그렇다. Hadoop을 설치하고 Hive를 설치하고 Mysql을 연동하는데 정말 한 세월이 걸렸다. 잊지 않기 위해, 나와 같은 곤란함을 가진 사람들에게 도움이 되기 위해 다음과 같은 글을 올립니다. 설치는 Macbook에서 진행됐고 사용하는 terminal은 zsh입니다. 자바는 미리 설치가 되어있다고 가정합니다. 다운 받는 버전은 시기에 따라 다를 수 있으니 해당 버전에 맞게 숫자를 다르게 쓰셔야 합니다. Homebrew 설치 맥용 패키지 매니저이다. yum과 apt-get과 유사하다고 보면 된다. $/bin/bash -c "$(curl -fsSL https://raw.githubusercon..

  Read More
• [Database] 트랜잭션은 무엇인가?

  ComputerScience/DB,Cloud 2020. 6. 13. 16:38

  트랜잭션 트랙잭션이란 데이터베이스의 상태를 변환시키는 하나의 논리적 기능을 수행하기 위한 작업의 단위 또는 한꺼번에 모두 수행되어야 하는 일련의 연산을 의미한다. 트랜잭션의 특징 1. 트랜잭션은 데이터베이스 시스템에서 병행 제어 및 회복 작업 시 처리되는 작업의 논리적 단위. 2. 사용자가 시스템에 대한 서비스 요구 시, 시스템이 응답하기 위한 상태 변환 과정의 작업단위. 3. 하나의 트랜잭션은 Commit되거나 Rollback된다. 트랜잭션의 성질 (ACID) Atomicity(원자성) 1. 트랜잭션의 연산은 DB에 모두 반영 or 전혀 반영 안되어야 한다. 2. 트랜잭션 내의 모든 명령은 반드시 완벽수행, 모두가 완벽 수행되지 않는다면 트랜잭션 전부가 취소 Consistency(일관성) 1. 트랜잭션..

  Read More
• [Cloud] IaaS, PaaS, SaaS

  ComputerScience/DB,Cloud 2020. 6. 13. 12:39

  클라우드 컴퓨팅은 서버, 스토리지, 네트워크, SW등 자원이 필요할 때, 인터넷을 통해 서비스 형태로 대여받아 이용하는 방식이다. 클라우드 서비스 유형에는 IaaS, PaaS, SaaS가 있다. IaaS : Infrastructure as a Service PaaS : Platform as a Service SaaS : Software as a Service 다시 말해 이 세개의 분류에 따라 클라우드 서비스가 제공하는 서비스의 범위가 결정된다. IaaS는 네트워킹, 저장소, 서버 등 의 컴퓨터 자원을 제공해준다. 내가 썼던 EC2.. PaaS는 그에 더해 OS, Middleware, Runtime등의 개발환경까지 제공해준다. RDS? SaaS는 소프트웨어까지 모두 다 제공해주며 End유저는 사용만 하면 ..

  Read More
• Private 클라우드, Public 클라우드 그리고 Hybrid 클라우드

  ComputerScience/DB,Cloud 2020. 6. 12. 23:52

  1. 사설 클라우드 (Private Cloud) 기업들이 자체적으로 데이터센터 안에 클라우드 환경을 자체 구축해 사용하는 방식을 의미합니다. 회사 내 IT 리소스를 이용하려는 사용자가 자유롭게 어플리케이션을 개발, 운용할 수 있는 환경을 제공하는 것을 목표로 합니다. - 기존 IT 인프라를 대부분 재활용 가능 - IT 서비스를 원하는 형태로 사용자의 구미에 맞게 직접 구성해 제공 가능 - 내부 통제 가능, 보안성 자체 확보 가능 - IT 서비스 내부 효율성 향상 2. 공용 클라우드 (Public Cloud) 공용 클라우드는 서비스 제공업체(벤더)가 구축한 서버, 스토리지 등의 IT 인프라를 기업들이 사용료를 내고 이용하는 방식을 의미.(AWS, Google Cloud 등) - 클라우드 서비스 제공자가 클..

  Read More
• 하둡(Hadoop)에 관하여

  ComputerScience/DB,Cloud 2020. 6. 12. 22:49

  하둡에 대해 알아보자. 데이터가 쌓여가는 빅데이터의 시대에 RDBMS에 데이터를 저장하는 시도는 불가능하다. 이에 새로 나온 데이터 저장 기술이 하둡인데 이에 대해 알아봅시다. 1. 하둡(Hadoop)이란? 하둡은 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈 소스 프레임 워크. 구글이 논문으로 발표한 GFS를MapReduce를 구현한 결과물이다 . HDFS(Hadoop Distributed File System)에 데이터를 저장하고, 맵리듀스를 이용해 데이터를 처리한다. 여러 대의 서버에 데이터를 저장하고, 저장된 각 서버에서 동시에 데이터를 처리하는 방식. 기존의 RDBMS를 대치하는 것이 아니다. 1.1 특징 1) HDFS는 데이터를 저장하면, 다수의 노드에 복제 데이터도 함께 저장해서 데..

  Read More