개발183 Stemming vs Lemmatization Stemming usually refers to a crude heuristic process that chops off the ends of words in the hope of achieving this goal correctly most of the time, and often includes the removal of derivational affixes.Lemmatization usually refers to doing things properly with the use of a vocabulary and morphological analysis of words, normally aiming to remove inflectional endings only and to return the base.. 2017. 4. 5. rpm 정리 [펌] (1) 설명: 새로운 패키지를 설치하거나 업그레이드시 사용한다. (2) 관련옵션 -i : 새로운 패키지를 설치할 때 사용한다. (--install) -U : 기존의 패키지를 새로운 버전의 패키지로 업그레이드할 때 사용하고 설치된 패키지가 없을 경우 패키지를 설치를 한다. ( -i 옵션과 같음) -F : 이전 버전이 설치되어 있는 경우에만 설치한다.(--freshen) -v : 메시지를 자세히 보여준다. -h : '#'기호로 표시해 준다. --force : 기존에 설치된 패키지와 관계없이 강제로 설치 한다. --nodeps : 의존성 관계를 무시하고 설치 한다. -vv : 메시지를 아주 자세히 보여준다. --oldpackage : 구버전으로 다운그레이드할 때 사용한다. --rebuilddb : 특정한 패키.. 2017. 3. 30. spark on hadoop 1. hadoop 과 spark 다운로드 및 설치 ... (관련 내용은 본블로그에 있음) 2. 하둡설정 및 실행 II. Hadoop과의 연결Spark 설정${SPARK_DIR}/conf/spark-env.sh.template 을 복사하여 같은 경로에 spark-env.sh 파일을 생성합니다. 파일을 열고, 다음 변수를 추가합니다.export HADOOP_CONF_DIR=${HADOOP_DIR}/etc/hadoop Yarn-client와 연결다음 명령어가 정상적으로 수행되는지 확인합니다. 단, 수행하기 이전에 Hadoop 2.5.1 과 Yarn이 정상적으로 수행되고 있어야합니다.$ ${SPARK_DIR}/bin/spark-shell --master yarn-client 중간에 에러 메시지 없이scala> .. 2017. 3. 29. chown chown -R username:usergroup dirname 2017. 3. 29. 이전 1 ··· 8 9 10 11 12 13 14 ··· 46 다음