Cosa è Apache Spark

Apache Spark è un sistema di elaborazione open source distribuito, utilizzato in genere con i carichi di lavoro per i Big Data.
Per query analitiche rapide, utilizza la cache in memoria e l'esecuzione ottimizzata delle query su dati di qualsiasi dimensione.
Fornisce API di sviluppo in Java, Scala, Python e R e supporta il riutilizzo del codice su più carichi di lavoro: elaborazione in batch, query interattive, analisi in tempo reale, machine learning ed elaborazione di grafici.

Verifiche preliminari

Prima di iniziare l'installazione di Apache Spark, assicurati di avere già installato sul tuo Mac.

• Java Development Kit (JDK): Spark richiede Java per funzionare.
  Puoi verificare se hai già Java installato aprendo il terminale e digitando
  

      
      java -version
      
      

• Python: Verifica se Python è installato.
  

      
      python3 --version
      

• Homebrew: È il gestore di pacchetti più utilizzato su macOS.
  Se non lo hai ancora installato, puoi farlo eseguendo il seguente comando nel terminale.
  

      
      /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
      
  

  
  Oppure aggiornarlo con i comandi
  

      
      brew update
      brew doctor
      brew upgrade #to upgrade packages
      
  

Installazione di Apache Spark

    
    brew install scala
    brew install apache-spark
    

Percorso apache-spark

#per ottenere il percorso di apache-spark
brew --prefix apache-spark

Risposta ad esempio
/opt/homebrew/opt/apache-spark

Aggiorna le Variabili d'Ambiente

Digitando

sudo nano ~/.bash_profile
sudo nano ~/.

Si aggiornano le varibili ambintali digitando

export SPARK_HOME=/opt/homebrew/opt/apache-spark
export PATH=$SPARK_HOME/bin:$PATH

Poi i comandi

source ~/.bash_profile
#oppure
source ~/.zshrc 

Verifica installazione Apache-Spark

Digitare a terminale

sudo spark-shell 
#poi ancora 
brew list apache-spark

Comparirà a terminale

• Spark session available as 'spark'.
  Welcome to Spark

Installare gli Apple Command Line Tools

xcode-select --install
#Accetta i Termini di Licenza
sudo xcodebuild -license accept
#Verifica l'Installazione
xcode-select -p

Disinstallare Apache-Spark

brew uninstall apache-spark
brew install apache-spark