[W12D2] Spark 소개 / 데이터 구조

[W12D2] Spark 소개 / 데이터 구조

from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Python Spark create RDD example") \ .config("spark.some.config.option", "some-value") \ .getOrCreate() sc = spark.sparkContext # .builder 뒤에 다양한 함수를 호출해서 내가 지금 만들고 있는 애플리케이션에 적절한 세부 옵션들을 정한다. # .config로 다양한 형태의 키와 밸류들을 spark cluster에게 넘긴다. # spark와 sc를 이용해 뒤에서 배울 RDD와 데이터프레임을 조작하게 됨 # sc로는 rdd를 조작하고, spark으로 데이터프레임을 조작한다.

from http://rollingsnowball.tistory.com/197 by ccl(A) rewrite - 2021-07-29 00:26:39