Działam Hive 2.1.1 , Hadoop 2.7.3 na Ubuntu 16.04.

Według Hive On Spark: Pierwsze kroki , mówi

Zainstaluj / zbuduj kompatybilną wersję. Root Hive Pom.xml określa, z którą wersja iskry została zbudowana / testowana.

Sprawdziłem pom.xml, pokazuje, że wersja iskra wynosi 1.6.0.

<spark.version>1.6.0</spark.version>

Ale Uwolnienie na iskrze: Pierwsze kroki też to mówi

Przed iskrą 2.0.0:

Ponieważ iskier 2.0.0:

Więc teraz jestem zdezorientowany, ponieważ prowadzę Hadoop 2.7.3. Czy muszę obniżyć mój hadoop do 2.4?

, która wersja iskry powinna użyć? 1.6.0 lub 2.0.0?

Dziękuję Ci!

2
Top.Deck 16 luty 2017, 20:45

2 odpowiedzi

Najlepsza odpowiedź

Obecnie używam iskry 2.0.2 z Hadoop 2.7.3 i ula 2.1 i działa dobrze. I myślę, że hive będzie wspierać obie wersję iskier 1.6.x i 2.x, ale sugeruję, abyś poszedł z iskry 2.x, ponieważ jest to najnowsza wersja.

Niektóre linki motywacyjne dla dlaczego użycie iskry 2.x https://docs.cloud.databricks.com/docs/latest/sampricks.com/04%20APache%20Spark%202.0%20APASE/03%20performance%20APache%20 (iskr% 202,0% 20V % 201.6) .html

Apache Spark vs Apache iskry 2

0
Community 23 maj 2017, 12:18

Aktualna wersja Spark 2.x nie jest kompatybilna z Hive 2.1 i Hadoop 2.7, istnieje główny błąd:

Javasparklistener nie jest dostępny i hive Crash na temat wykonania

https://issues.apache.org/jira/Browse/spark-17563.

Możesz spróbować zbudować Hive 2.1 z Hadoop 2.7 i Spark 1.6 z:

./make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-provided" 

Jeśli spojrzysz na polecenie po 2.0 różnica polega na tym, że ./make-Distribution znajduje się w folderze / dev.

Jeśli nie działa dla Hadoop 2.7.x, mogę ci potwierdzić, że udało mi się pomyślnie zbudować go z HADoop 2.6, używając:

./make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided" 

I dla SCALA 2.10.5

0
chuseuiti 10 maj 2017, 23:36