Więc jestem nowy w interfejsach API i mam ten przypadek użycia, w którym historia zamówień jest przechowywana w lokalizacji, a dostawca ujawnił je jako punkt końcowy interfejsu API (podając adres URL wraz z kluczami / parametrami API itp.) Chcę pobrać te dane i przynieść to w moim stole Redshift. Chcę mieć możliwość wykonywania codziennych zadań i pobierania wszystkich nowych zamówień na dany dzień do mojej tabeli Redshift.

Teraz badałem GLUE, ponieważ ma możliwość tworzenia / planowania zadań, ale GLUE obsługuje tylko kilka źródeł danych korzystających z protokołu JDBC, a także kilka innych niż natywne źródła danych. Nie mogłem znaleźć nic specyficznego dla Glue wyciągającego dane z punktu końcowego API. Chciałem zobaczyć, czy mogę wykorzystać inne usługi AWS do wykonania tej czynności (klej / kineza?) Jakiekolwiek dane wejściowe na ten temat byłyby naprawdę pomocne. Z góry dziękuję.

1
saurabh sharma 20 grudzień 2019, 00:13
Możesz utworzyć funkcję lambda, aby przechwycić odpowiedź z punktu końcowego interfejsu API i zapisać w tabeli przesunięcia ku czerwieni. Możesz także skonfigurować regułę cloudwatch, aby automatycznie uruchamiała funkcję lambda.
 – 
Ali
20 grudzień 2019, 01:26

1 odpowiedź

Można to zrobić na wiele sposobów, ale najlepszym sposobem na to może być użycie nowego zestawu SDK Amazon Athena Query Federation do utworzenia niestandardowego źródła danych API. Umożliwiłoby to zdefiniowanie tabeli w katalogu klejów AWS i wysłanie zapytania do tego interfejsu API tak, jakby to była tylko inna tabela. Jednak to wszystko jest w podglądzie i wszystkie kropki mogą nie być jeszcze połączone. Może to być bardziej kłopotliwe niż warte, jeśli Twoim jedynym przypadkiem użycia jest codzienna synchronizacja.

Zestaw SDK Amazon Athena Query Federation

0
Zambonilli 20 grudzień 2019, 19:57