본문 바로가기
개발/HADOOP_SPARK_ETC

spark codeing 시 유의사항

by 로그인시러 2017. 2. 22.

- 고반복이지만 정적인 rdd 는 partitionby().persist() 롤 영속화해놓는다


- rdd transformation 은 mapValues 같이 partitioner 가 유지되는 함수사용


@러닝스파크를 보면서 ...

'개발 > HADOOP_SPARK_ETC' 카테고리의 다른 글

하둡 기초 - 2  (0) 2017.02.22
하둡 기초 -1  (0) 2017.02.22
SPARK 의 헷갈림 reduce(), fold()  (0) 2017.02.16
SPARK reduce() 개념도  (0) 2017.02.16
SPARK aggregate() 함수 설명 및 진행 과정  (1) 2017.02.16

댓글