개발/HADOOP_SPARK_ETC30 ssh 자동로그인 설정 http://blog.iotinfra.net/?p=84 위 포스트 정리 및 추가) 1) /etc/hosts/ 파일 수정 후 /etc/init.d/network restart 2) ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa : ssh 공개키 설정 3) ssh-copy-id nextman@centos01 각 서버에 공개키를 한군데 서버로 모은다. 이 때, 모이는 서버에 ssh id 도 추가해주어야 하기 때문에, ssh-copy-id nextman@localhost 도 해줘야 한다. 4) scp /home/nextman/.ssh/authorized_keys nextman@centos01:/home/nextman/.ssh/authorized_keysauthorized_keys 한군.. 2017. 3. 20. virtual box 여러 guest ip 설정 (CentOS) 버철박스를 활용하여 HBase 를 여러대에 분산 해보려면일단 각 guest os 에 서로 다른 ip 를 할당해야 한다. 1) 버철 박스에서, 설정 -> 네트워크 => 어댑터1 을 브릿지 어댑터로 설정 (하둡용) => 어댑터2 를 NAT (인터넷 연결용) 2) guest os 를 실행시키자. 나는 CentOS 다. 굳이 이더넷 설정파일을 열필요도 없다. 오른쪽 상단을 클릭하면 아래 처럼 나온다. 버철 박스에서 이더넷을 2개를 설정했기 때문에 guest os 에는 2개의 선이 연결되어 있는거다. 3) 그럼, 콘솔에서 ifconfig 를 해보자. 192.168.xxxx 로 나오는 ip가 있는데, 그 ip 의 이더넷을 manual 설정해야 한다. 위 그림에서 Ethernet 을 클릭하면 Wired Setting.. 2017. 3. 17. hbase 특징[펌] HBase의 특징개인적으로 어떤것이든 도입 필요성에 대해서 경영진을 설득할 때 그것에 대한 특징이 잘 설명된다고 생각한다. 그렇다면 다음에 진행할 프로젝트에서 HBase를 사용해야 한다고 경영진을 설득하는 방법에 대해서 알아보도록 하자. 다음 프로젝트에서 HBase를 사용하고 싶다면 다음과 같이 경영진을 설득할 수 있다.Hadoop과 강한 연관성을 가지고 있다!HBase에서 분산 환경을 구축하기 위해서는 HDFS위에서 실행되어야 한다. 어찌보면 제한사항으로 느껴질 수도 있지만 이미 Hadoop을 사용하고 있는 환경에서는 오히려 그것이 큰 장점이 될 수 있다. 설득의 포인트는 "기존의 Hadoop 시스템을 활용해서 NoSQL Database까지 운영할 수 있다"로 하면 된다.기존 시스템을 활용할 수 있다는.. 2017. 3. 17. 데이터 정제 garbage in, garbage out 2017. 3. 15. 이전 1 2 3 4 5 6 7 8 다음
