Hadoop & Spark

GCP dataproc

基礎設定: https://towardsdatascience.com/step-by-step-tutorial-pyspark-sentiment-analysis-on-google-dataproc-fef9bef46468

建立cluster

連接到web UI/ ssh

spark基礎操作

到/usr/lib/spark下: cd $SPARK_HOME 執行./bin/spark-shell即可看到以下