Mam ramkę danych, w której kolumna jest ciągiem json ze słownikiem i muszę rozszerzyć json na oddzielne kolumny. Przykład:

   c1                              c2
0  a1     {'x1': 1, 'x3': 3, 'x2': 2}
1  a2  {'x1': 21, 'x3': 23, 'x2': 22}

Powinno stać się:

   c1    x1    x2    x3
0  a1   1.0   2.0   3.0
1  a2  21.0  22.0  23.0

Mój problem jest bardzo podobny do Ten wątek, z wyjątkiem Że mam sznurki, a nie słowniki (chociaż struny oceniają do słownika), a proste, zoptymalizowane rozwiązanie zaproponowane nie działa w moim przypadku. Mam rozwiązanie robocze, ale jest to wyraźnie nieefektywne. Oto fragment z moim kodem i rozwiązaniem zaproponowanym w tym wątku:

import json
import pandas as pd

def expandFeatures(df, columnName):
    """Expands column 'columnName', which contains a dictionary in form of a json string, into N single columns, each containing a single feature"""
    # get names of new columns from the first row
    features = json.loads(df.iloc[0].loc[columnName])
    featureNames = list(features.keys())
    featureNames.sort()
    # add new columns (empty values)
    newCols = list(df.columns) + featureNames
    df = df.reindex(columns=newCols, fill_value=0.0)
    # fill in the values of the new columns
    for index, row in df.iterrows():
        features = json.loads(row[columnName])
        for key,val in features.items():
            df.at[index, key] = val
    # remove column 'columnName'
    return df.drop(columns=[columnName])

def expandFeatures1(df, columnName):
    return df.drop(columnName, axis=1).join(pd.DataFrame(df[columnName].values.tolist()))

df_json = pd.DataFrame([['a1', '{"x1": 1, "x2": 2, "x3": 3}'], ['a2', '{"x1": 21, "x2": 22, "x3": 23}']],
                    columns=['c1', 'c2'])
df_dict = pd.DataFrame([['a1', {'x1': 1, 'x2': 2, 'x3': 3}], ['a2', {'x1': 21, 'x2': 22, 'x3': 23}]],
                    columns=['c1', 'c2'])

# correct result, but inefficient
print("expandFeatures, df_json")
df = df_json.copy()
print(df)
df = expandFeatures(df, 'c2')
print(df)

# this gives an error because expandFeatures expects a string, not a dictionary 
# print("expandFeatures, df_dict")
# df = df_dict.copy()
# print(df)
# df = expandFeatures(df, 'c2')
# print(df)

# WRONG, doesn't expand anything
print("expandFeatures1, df_json")
df = df_json.copy()
print(df)
df = expandFeatures1(df, 'c2')
print(df)

# correct and efficient, but not my use case (I have strings not dicts)
print("expandFeatures1, df_dict")
df = df_dict.copy()
print(df)
df = expandFeatures1(df, 'c2')
print(df)

Jestem pewien, że istnieje jakiś oczywisty sposób na poprawę wydajności mojego kodu, upodobnienie go do pojedynczej linii proponowanej w innym wątku, ale sam tego nie widzę ... Z góry dziękuję za pomoc.

0
thebucc 5 grudzień 2019, 18:24

1 odpowiedź

Najlepsza odpowiedź

Jeśli ciągi json są prawidłowymi słownikami, możesz je przeanalizować za pomocą ast.literal_eval:

import pandas as pd
from ast import literal_eval

df_json = pd.DataFrame([['a1', '{"x1": 1, "x2": 2, "x3": 3}'],
                        ['a2', '{"x1": 21, "x2": 22, "x3": 23}']],
                        columns=['c1', 'c2'])

print (pd.concat([df_json,pd.DataFrame(df_json["c2"].apply(literal_eval).to_list())],axis=1).drop("c2",axis=1))

#
   c1  x1  x2  x3
0  a1   1   2   3
1  a2  21  22  23
0
Henry Yik 5 grudzień 2019, 15:48