개발/HADOOP_SPARK_ETC30 RDD 기본 함수 예제 *파란색은 스크립트, 검은색은 결과입니다. sc.textFile() 텍스트 파일 읽어오기 [SparkContext 객체]스칼라에서 README를 spark context 객체의 textFile 메서드를 이용해 읽어오면 RDD 객체가 생성됨scala> val inputRDD = sc.textFile("/usr/local/lib/spark/README.md")inputRDD: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[7] at textFile at :27 filter() 주어진 조건에 해당하는 데이터만 선별 [Transformation 함수]filter 메서드는 이미 존재하는 RDD를 변경하는 것이 아니라 완전히 새로운 RDD에 대한 포인터 리턴함scala.. 2017. 2. 15. SPARK - RDD [펌] Spark 의 핵심은 무엇인가? RDD! (RDD paper review) from Yongho Ha 굿 !! 2017. 2. 14. 이전 1 ··· 5 6 7 8 다음
