spark on hadoop

1. hadoop 과 spark 다운로드 및 설치 ... (관련 내용은 본블로그에 있음)

2. 하둡설정 및 실행

II. Hadoop과의 연결

Spark 설정

${SPARK_DIR}/conf/spark-env.sh.template 을 복사하여 같은 경로에 spark-env.sh 파일을 생성합니다.
파일을 열고, 다음 변수를 추가합니다.

export HADOOP_CONF_DIR=${HADOOP_DIR}/etc/hadoop

Yarn-client와 연결

다음 명령어가 정상적으로 수행되는지 확인합니다.
단, 수행하기 이전에 Hadoop 2.5.1 과 Yarn이 정상적으로 수행되고 있어야합니다.

$ ${SPARK_DIR}/bin/spark-shell --master yarn-client

중간에 에러 메시지 없이

scala>

가 출력된다면 정상적으로 연결이 된 상태입니다.

참조 : http://hyunje.com/framework/2014/10/24/install-spark-and-connect-with-hadoop/

$ ./bin/spark-shell --master yarn --deploy-mode client

2.1.0 에서는 그냥 위와같이 yarn

참조 : http://spark.apache.org/docs/latest/running-on-yarn.html