CSV do .gz za pomocą funkcji Cloud, Python

Zgodnie z sugestią w wątku, o którym mowa @Sam Mason w komentarzu, gdy już uzyskasz Datafame Pandas, powinieneś użyć TextIOWrapper() i BytesIO(), jak opisano w następującym przykładzie:

Poniższa próbka została zainspirowana odpowiedzią @ramhisera w ten wątek SO

df = query_job.result().to_dataframe()
blob = bucket.blob(f'{subfolder}/{gcs_filename}.gz')

with BytesIO() as gz_buffer:
    with gzip.GzipFile(mode='w', fileobj=gz_buffer) as gz_file:
        df.to_csv(TextIOWrapper(gz_file, 'utf8'), index=False)

    blob.upload_from_file(gz_buffer,
        content_type='application/octet-stream')

Zauważ również, że jeśli spodziewasz się, że ten plik będzie kiedykolwiek większy niż kilka MB, prawdopodobnie lepiej będzie użyć czegoś z moduł tempfile zamiast BytesIO. SpooledTemporaryFile jest zasadniczo przeznaczony do tego przypadku użycia , gdzie użyje bufora pamięci do określonego rozmiaru i użyje dysku tylko wtedy, gdy plik stanie się naprawdę duży

Cześć, próbowałem odtworzyć twój przypadek użycia:

1. Utworzyłem funkcję chmury za pomocą tego przewodnika szybkiego startu link:

   def hello_world(request):
   
     from google.cloud import bigquery
     from google.cloud import storage 
     import pandas as pd 
   
   
     client = bigquery.Client() 
     storage_client = storage.Client() 
   
     path = '/tmp/file.gz'
   
   
     query_job = client.query("""
     SELECT
     CONCAT(
       'https://stackoverflow.com/questions/',
        CAST(id as STRING)) as url,
     view_count
     FROM `bigquery-public-data.stackoverflow.posts_questions`
     WHERE tags like '%google-bigquery%'
     ORDER BY view_count DESC
     LIMIT 10""")  
   
     results = query_job.result().to_dataframe()
     results.to_csv(path,sep='|',index=False,encoding='utf-8',compression='gzip')
   
     bucket = storage_client.get_bucket('mybucket')  
     blob = bucket.blob('file.gz')
     blob.upload_from_filename(path)
   

   1. To jest requirements.txt:

      # Zależności funkcji, na przykład:   google-cloud-bigquery  Google Cloud Storage  pandy  

   2. Wdrożyłem funkcję.

   3. Sprawdziłem dane wyjściowe.

      gsutil cp gs://mojzasobnik/plik.gz plik.gz  gzip -d plik.gz  plik kota    #url|liczba_wyświetleń  https://stackoverflow.com/questions/22879669|52306  https://stackoverflow.com/questions/13530967|46073  https://stackoverflow.com/questions/35159967|45991  https://stackoverflow.com/questions/10604135|45238  https://stackoverflow.com/questions/16609219|37758  https://stackoverflow.com/questions/11647201|32963  https://stackoverflow.com/questions/13221978|32507  https://stackoverflow.com/questions/27060396|31630  https://stackoverflow.com/questions/6607552|31487  https://stackoverflow.com/questions/11057219|29069