Używam Yugabyte DB 1.3.0.0 i śledzenia HTTPS: //docs.Yugabajte .com / Najnowsze / Wdrożone / CDC / Korzystanie-CDC / do nauki Yugabyte DB CDC.

Procedura obsłużyła:

a) generate users dynamically and insert into table, yugastore.users continuously through script
b) downloaded yb-cdc-connector.jar using command, wget -O yb-cdc-connector.jar https://github.com/yugabyte/yb-kafka-connector/blob/master/yb-cdc/yb-cdc-connector.jar?raw=true
c)copied yb-cdc-connector.jar to jre/lib/ext using command cp -a /root/yb-cdc-connector.jar /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/jre/lib/ext/
d) java -jar /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/jre/lib/ext/yb_cdc_connector.jar --table_name yugastore.users --master_addrs 127.0.0.1 --stream_id 1 --log_only

Dzienniki błędów:

[root@srvr0 ~]# java -jar /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/jre/lib/ext/yb_cdc_connector.jar --table_name yugastore.users --master_addrs 127.0.0.1 --stream_id 1 --log_only
Error: Unable to access jarfile /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/jre/lib/ext/yb_cdc_connector.jar

Records Wstawienie:

yugastore=> select count(*) from yugastore.users;
 count 
-------
 59414
(1 row)

yugastore=> select count(*) from yugastore.users;
 count 
-------
 60066
(1 row)

yugastore=> select count(*) from yugastore.users;
 count 
-------
 79341
(1 row)

yugastore=> 

Jawa:

[root@srvr0 ~]# java -version
openjdk version "1.8.0_232"
OpenJDK Runtime Environment (build 1.8.0_232-b09)
OpenJDK 64-Bit Server VM (build 25.232-b09, mixed mode)

Dostępność YB-CDC-Connector.jar:

[root@srvr0 ~]# ll /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/jre/lib/ext/
total 54756
-rw-r--r--. 1 root root  4003855 Oct 22 12:18 cldrdata.jar
-rw-r--r--. 1 root root     9445 Oct 22 12:18 dnsns.jar
-rw-r--r--. 1 root root    48733 Oct 22 12:18 jaccess.jar
-rw-r--r--. 1 root root  1204895 Oct 22 12:18 localedata.jar
-rw-r--r--. 1 root root      617 Oct 22 12:18 meta-index
-rw-r--r--. 1 root root  2033680 Oct 22 12:18 nashorn.jar
-rw-r--r--. 1 root root    52079 Oct 22 12:18 sunec.jar
-rw-r--r--. 1 root root   304504 Oct 22 12:18 sunjce_provider.jar
-rw-r--r--. 1 root root   279788 Oct 22 12:18 sunpkcs11.jar
-rw-r--r--. 1 root root 48026360 Jan 16 08:31 yb-cdc-connector.jar
-rw-r--r--. 1 root root    78006 Oct 22 12:18 zipfs.jar

Pomóż mi w drukowaniu dzienników zmiany w Stdout!

Aktualizacja1:

Mała korekta wymagana w Doc: Edytuj YB_CDC_Connector.jar do YB-CDC-Connector.jar w poleceniu Dokument, jako pobieranie WGETS jako YB_CDC_Connector.jar.

Chociaż występuje zmiany (wstawki i usuwanie) do stołu, pokazuje odpytywanie, ale nie jest drukowane CDC.

Dzienniki:

[root@srvr0 ~]# java -jar ./yb_cdc_connector.jar --table_name yugastore.users --master_addrs 127.0.0.1 --stream_id 1 --log_only
[2020-01-22 01:37:24,221] INFO Starting CDC Kafka Connector... (org.yb.cdc.Main:28)
2020-01-22 01:37:24,393 [INFO|org.yb.cdc.KafkaConnector|KafkaConnector] Creating new YB client...
[2020-01-22 01:37:28,344] INFO Discovered tablet YB Master for table YB Master with partition ["", "") (org.yb.client.AsyncYBClient:1593)
2020-01-22 01:37:28,839 [INFO|org.yb.cdc.KafkaConnector|KafkaConnector] Polling for new tablet c6f3d759202341ecad87e2617579371c
2020-01-22 01:37:28,842 [INFO|org.yb.cdc.KafkaConnector|KafkaConnector] Polling for new tablet e94b1748d1a742289500a30a38ff9eda

Wprowadzenie:

time: 01:37:49.980 cumulative records: 10
time: 01:37:52.169 cumulative records: 20
time: 01:37:52.410 cumulative records: 30
time: 01:37:52.425 cumulative records: 40
...
time: 01:39:28.139 cumulative records: 970
time: 01:39:28.171 cumulative records: 980
time: 01:39:28.208 cumulative records: 990
time: 01:39:28.246 cumulative records: 1000

Usunięcie:

yugastore=# delete from yugastore.users;
DELETE 21314
yugastore=# select count(*) from yugastore.users;
 count 
-------
     0
(1 row)
2
AVA 18 styczeń 2020, 09:55

1 odpowiedź

Najlepsza odpowiedź

Błąd pokazuje, że plik JAR nie może być dostępny w katalogu systemowym, który przeniesiony. Najprawdopodobniej kwestia pozwolenia. Należy pamiętać, że nawet nie musisz przesuwać tego słoika do katalogu systemowego. Tak więc utrzymywanie słoika jest jakiś normalny katalog jest najprostszą opcją.

Ponadto nie potrzebujesz również strumienia_d, ponieważ większość czasów domyślnych zachowań. Spróbuj więc następujące polecenie w katalogu użytkownika, w którym masz plik JAR.

java -jar ./yb_cdc_connector.jar \ 
--table_name yugastore.users \
--master_addrs 127.0.0.1:7100 \
--log_only
3
Sid Choudhury 21 styczeń 2020, 18:05