Poniższa tabela została utworzona za pomocą parkietu / pyspark, a celem jest agregujące wiersze, w których 1 < count < 5 i wiersze, gdzie 2 < count < 6. Uwaga Wiersz, gdzie count wynosi 4,1 spada w obu zakresach.

+-----+-----+
|count|value|
+-----+-----+
|  1.1|    1|
|  1.2|    2|
|  4.1|    3|
|  5.5|    4|
|  5.6|    5|
|  5.7|    6|
+-----+-----+

Oto kod, aby utworzyć, a następnie przeczytać powyższą tabelę jako PYSPark Dataframe.

import pandas as pd
import pyarrow.parquet as pq
import pyarrow as pa
from pyspark import SparkContext, SQLContext


# create Parquet DataFrame
pdf = pd.DataFrame({
    'count': [1.1, 1.2, 4.1, 5.5, 5.6, 5.7],
    'value': [1, 2, 3, 4, 5, 6]})
table = pa.Table.from_pandas(pdf)
pq.write_to_dataset(table, r'c:/data/data.parquet')

# read Parquet DataFrame and create view
sc = SparkContext()
sql = SQLContext(sc)
df = sql.read.parquet(r'c:/data/data.parquet')
df.createTempView('data')

Operacja może używać dwóch oddzielnych zapytań.

q1 = sql.sql("""
    SELECT AVG(value) AS va
    FROM data
    WHERE count > 1
    AND count < 5
    """)
+---+
| va|
+---+
|2.0|
+---+

I podobnie

q2 = sql.sql("""
    SELECT AVG(value) as va
    FROM data
    WHERE count > 2
    AND count < 6
    """)
+---+
| va|
+---+
|4.5|
+---+

Chcę jednak to zrobić w jednym sprawnym zapytaniu. Oto podejście, które nie działa, ponieważ wiersz, w którym count wynosi 4.1, jest zawarty w tylko jednej grupie.

qc = sql.sql("""
    SELECT AVG(value) AS va,
    (CASE WHEN count > 1 AND count < 5 THEN 1
    WHEN count > 2 AND count < 6 THEN 2
    ELSE 0 END) AS id
    FROM data
    GROUP BY id
    """)

Powyższy zapytanie produkuje

+---+---+
| va| id|
+---+---+
|2.0|  1|
|5.0|  2|
+---+---+

Aby być jasnym, pożądanym wynikiem jest coś więcej

+---+---+
| va| id|
+---+---+
|2.0|  1|
|4.5|  2|
+---+---+
2
Russell Burdt 21 listopad 2020, 05:13

1 odpowiedź

Najlepsza odpowiedź

Najprostsza metoda jest prawdopodobnie union all:

SELECT 1, AVG(value) AS va
FROM data
WHERE count > 1 AND count < 5
UNION ALL
SELECT 2, AVG(value) as va
FROM data
WHERE count > 2 AND count < 6;

Możesz również wyrazić to jako:

select r.id, avg(d.value)
from data d join
     (select 1 as lo, 5 as hi, 1 as id union all
      select 2 as lo, 6 as hi, 2 as id 
     ) r
     on d.count > r.lo and d.count < r.hi
group by r.id;
  
2
Gordon Linoff 21 listopad 2020, 02:16