데이터처리1 Apache Spark Review ① 소개 All about Apache Spark 2020/10/04 - Apache Spark Review ① 소개 2020/10/04 - Apache Spark Review ② 주요 개념 : RDD 2020/10/04 - Apache Spark Review ③ 주요 개념 : Pair RDD 2020/10/04 - Apache Spark Review ④ 주요 개념 : DataFrame 최근 단시간에 대용량 데이터를 처리해야하는 업무가 많아지고 있어 이 분야에서 핫하게 사용 중인 Spark에 대해 정리합니다. Spark을 사용하지 않았을 땐 대용량 데이터를 Chunk 단위로 불러와서 일부를 처리하여 다시 저장한 후에 다시 Merge 하는 불합리하고 비효율적인 방법을 사용했는데 Spark으로 매우 획기적으로 시간을.. 2020. 10. 4. 이전 1 다음
