pyspark 고급

Create SparkContext

%spark.pyspark
import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("yarn")\
                    .appName('sparkByExample.com')\
                    .getOrCreate()

print(spark.sparkContext)
print("Spart App Name: "+ spark.sparkContext.appName)

builder.master(“yarn”) : 연결할 spark 마스터 url을 설정한다. builder.appName(이름:str) : spark 웹 ui에 표시될 애플리케이션의 이름 설정 builder.getOrCreate() : 기존항목을 가져오거나 sparksession, 기존 항목이 있을경우 이 빌더에 설정된 옵션을 기반으로 새 항목을 만든다.

---