Więc jestem nowy w interfejsach API i mam ten przypadek użycia, w którym historia zamówień jest przechowywana w lokalizacji, a dostawca ujawnił je jako punkt końcowy interfejsu API (podając adres URL wraz z kluczami / parametrami API itp.) Chcę pobrać te dane i przynieść to w moim stole Redshift. Chcę mieć możliwość wykonywania codziennych zadań i pobierania wszystkich nowych zamówień na dany dzień do mojej tabeli Redshift.
Teraz badałem GLUE, ponieważ ma możliwość tworzenia / planowania zadań, ale GLUE obsługuje tylko kilka źródeł danych korzystających z protokołu JDBC, a także kilka innych niż natywne źródła danych. Nie mogłem znaleźć nic specyficznego dla Glue wyciągającego dane z punktu końcowego API. Chciałem zobaczyć, czy mogę wykorzystać inne usługi AWS do wykonania tej czynności (klej / kineza?) Jakiekolwiek dane wejściowe na ten temat byłyby naprawdę pomocne. Z góry dziękuję.
1 odpowiedź
Można to zrobić na wiele sposobów, ale najlepszym sposobem na to może być użycie nowego zestawu SDK Amazon Athena Query Federation do utworzenia niestandardowego źródła danych API. Umożliwiłoby to zdefiniowanie tabeli w katalogu klejów AWS i wysłanie zapytania do tego interfejsu API tak, jakby to była tylko inna tabela. Jednak to wszystko jest w podglądzie i wszystkie kropki mogą nie być jeszcze połączone. Może to być bardziej kłopotliwe niż warte, jeśli Twoim jedynym przypadkiem użycia jest codzienna synchronizacja.
Zestaw SDK Amazon Athena Query Federation
Podobne pytania
Nowe pytania
amazon-web-services
Amazon Web Services (AWS) to chmura publiczna: IaaS (infrastruktura jako usługa) i SaaS (oprogramowanie jako usługa) dostarczane przez Amazon. Pytania dotyczące programowania i architektury są na temat. Ogólną pomoc dotyczącą serwera można uzyskać pod adresem https://serverfault.com. Znacznik AWS jest rzadko używany samodzielnie i zwykle będzie używany z innymi tagami w celu dokładniejszego określenia tematu pytania.