전체239 yarn [펌] Hadoop은 크게 두가지 컴포넌트로 구성되는데 하나는 파일을 저장할 수 있는 분산 파일 시스템인 HDFS(Hadoop Distributed File System)과 분산 컴퓨팅 환경을 제공하는 YARN(Yet Another Resource Negotiator) 입니다. Hadoop 을 처음 접하시는 분들은 HDFS에 대해서는 쉽게 이해하지만 YARN에 대해서는 개념을 잡기 어려워하시는 분들이 있습니다. 그 이유는 Hadoop하면 MapReduce를 많이 떠 올리시는데 MapReduce 따로 YARN 따로 있기 때문에 오는 혼선이 아닌가 생각합니다. 이 글에서는 YARN에 대한 간단한 개념 설명과 YARN에서 MapReduce를 사용하기 환경 설정은 어떻게 해야 하는지에 대해 살펴 보겠습니다.YARN 과.. 2017. 3. 14. 하둡의 진화 - 얀 [1] 아키텍처는 간단하게 아래 그림 하나로 요약됨 JobTracker 에 의해서만 리소스에 접근할 수 있으니, SPARK, STORM 같은 다른 컴퓨팅 클러스터와 연동하기 어려움. 그래서, YARN 이 등장 기존에 MapReduce 중에서 리소스 관리 부분만 가져와서 다른 서비스도 사용가능하도록 구성함. 그래서, hadoop2 부터는 MR 도 YARN API 를 이용한 하나의 프로그램에 불과함. 아무튼, YARN 때문에 다양한 어플리케이션이 하둡 리소스를 이용할 수 있게 되었음. [2] 동장 방식은 아래 설명으로 끝 ! 1. 클라이언트는 Application Master 자체를 실행하는 필요한 데이터를 포함하는 응용프로그램을 Resource Manager에게 제출 2. Resource Manager는 .. 2017. 3. 14. scale up vs scale out Q:What is the difference between scale-out versus scale-up (architecture, applications, etc.)?A:The terms "scale up" and "scale out" are commonly used in discussing different strategies for adding functionality to hardware systems. They are fundamentally different ways of addressing the need for more processor capacity, memory and other resources.Scaling up generally refers to purchasing and ins.. 2017. 3. 14. 아파치 라이센스 아파치 라이센스는 아파치 웹서버를 포함한 아파치재단(ASF: Apache Software Foundation)의 모든 소프트웨어에 적용되며 BSD 라이센스와 비슷하여 소스코드 공개 등의 의무가 발생하지 않는다. 다만 "Apache"라는 이름에 대한 상표권을 침해하지 않아야 한다는 조항이 명시적으로 들어가 있고, 특허권에 관한 내용이 포함되어 BSD 라이센스보다는 좀더 법적으로 완결된 내용을 담고 있다. 특히 Apache License 2.0에서 특허에 관한 조항이 삽입되어 GPL 2.0으로 배포되는 코드와 결합되는 것이 어렵다는 문제가 었었는데, GPL 3.0(안)에서는 이 문제를 해결하여 아파치 라이센스로 배포되는 코드가 GPL 3.0으로 배포되는 코드와 결합하는 것이 가능해졌다.출처: http://w.. 2017. 3. 14. 이전 1 ··· 25 26 27 28 29 30 31 ··· 60 다음
