Używam notebooka Sagemaker w kleju AWS dla rozwoju ETL.

Podczas importowania biblioteki SparkContext otrzymuję poniższy błąd. Próbowałem ponownie uruchomić jądro, ale nie był help. Czy ktoś może wyjaśnić mi punkt "A".

Kodeks nie powiódł się z powodu błędu śmiertelnego: Błąd wysyłania żądania HTTP i maksymalną ponowną próbę napotkania .. *

Kilka rzeczy do wypróbowania:

za. Upewnij się, że iskra ma wystarczającą ilość dostępnych zasobów dla Jupsytera, aby utworzyć kontekst iskrowy.

b. Skontaktuj się z administratorem Jupsytera, aby upewnić się, że biblioteka iskra Magics jest poprawnie skonfigurowana.

do. Uruchom ponownie jądro.

Następujące punkty, które należy odnotować:

  1. Tworzę notatnik Sagemaker z AWS Console & GT; Aws Glue & GT; Dev Endpoint & GT; Notebooki.

  2. VPC, podsieci i grupę bezpieczeństwa AV Endpoint utworzony jest taki sam jak RDS, do którego połączenia jest powinien być wykonany. Podczas tworzenia punktów końcowych Dev w sieci Strona Wybieram istniejące połączenie z listy połączeń Dostępne w upadku, dzięki czemu VPC, podsieci i grupa bezpieczeństwa są wybierane automatycznie.

  3. Zwiększyłem DPU od 5 do 10, ale nadal otrzymuję ten błąd.
  4. Nie zdobią krok, w którym mogę utworzyć połączenie z RDS, ponieważ otrzymasz błąd podczas dzwonienia do biblioteki.
  5. Jeśli pomiżę informacje o sieci podczas tworzenia punktu końcowego Dev, pomyślnie w stanie zadzwonić do wszystkich odpowiednich bibliotek (zrzut ekranu). (który nie jest sugerowany podczas łączenia się z RDS, ponieważ nie działa).

Więc ten błąd ("Kodeks nie powiódł się, ponieważ ...") nadchodzi tylko podczas dostarczania połączenia.

Byłoby pomocne, gdyby ktoś mógł pomóc w rozwiązaniu tego problemu.

When adding connections, getting this error

Without adding connections I am not getting error

0
Shashwat Tiwary 13 styczeń 2020, 09:47

1 odpowiedź

Najlepsza odpowiedź

Zastanawiasz się, czy konfiguracja dla Livy Endpoint jest ważna? Livy biegnie na porcie 8998. Należy sprawdzić, czy port jest otwarty w grupie zabezpieczeń.

Może to być przydatne: https://aws.Amazon.com/blogs/machine-learning/Build-amazon-sagemaker-notebooks-backed-by-spark-In-amazon-emr/

Ponadto, jeśli to nie pomoże, powinieneś spróbować zatrzymywać się i ponownie uruchomić notatnik. To pomogło w przeszłości.

1
Urvashi kohli 13 styczeń 2020, 19:15