Я пытаюсь преобразовать вложенный JSON в CSV-файл, но я борюсь с логикой, необходимой для структуры моего файла: это JSON с 2 объектами, и я хотел бы преобразовать в CSV только один из них, который является список с вложенностью.

Я нашел очень полезное «выравнивание» информации о json в этой записи блога . Я в основном приспосабливал это к моей проблеме, но это все еще не работает для меня.

Мой файл JSON выглядит так:

{
  "tickets":[
    {
      "Name": "Liam",
      "Location": {
        "City": "Los Angeles",
        "State": "CA"
      },
      "hobbies": [
        "Piano",
        "Sports"
      ],
      "year" : 1985,
      "teamId" : "ATL",
      "playerId" : "barkele01",
      "salary" : 870000
    },
    {
      "Name": "John",
      "Location": {
        "City": "Los Angeles",
        "State": "CA"
      },
      "hobbies": [
        "Music",
        "Running"
      ],
      "year" : 1985,
      "teamId" : "ATL",
      "playerId" : "bedrost01",
      "salary" : 550000
    }
  ],
  "count": 2
}

Мой код пока выглядит так:

import json
from pandas.io.json import json_normalize
import argparse


def flatten_json(y):
    out = {}

    def flatten(x, name=''):
        if type(x) is dict:
            for a in x:
                flatten(x[a], name + a + '_')
        elif type(x) is list:
            i = 0
            for a in x:
                flatten(a, name + str(i) + '_')
                i += 1
        else:
            out[name[:-1]] = x
    flatten(y)
    return out


if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Converting json files into csv for Tableau processing')
    parser.add_argument(
        "-j", "--json", dest="json_file", help="PATH/TO/json file to convert", metavar="FILE", required=True)

    args = parser.parse_args()

    with open(args.json_file, "r") as inputFile:  # open json file
        json_data = json.loads(inputFile.read())  # load json content
    flat_json = flatten_json(json_data)
    # normalizing flat json
    final_data = json_normalize(flat_json)

    with open(args.json_file.replace(".json", ".csv"), "w") as outputFile:  # open csv file

        # saving DataFrame to csv
        final_data.to_csv(outputFile, encoding='utf8', index=False)

То, что я хотел бы получить, это 1 строка за билет в CSV, с заголовками:

{{Х0}} .

Буду очень признателен за все, что может сделать клик! Спасибо!

1
Fed 4 Июл 2019 в 11:47

3 ответа

Лучший ответ

Если у вас уже есть функция для выравнивания объекта Json, вам просто нужно сгладить билеты:

...
with open(args.json_file, "r") as inputFile:  # open json file
    json_data = json.loads(inputFile.read())  # load json content
final_data = pd.DataFrame([flatten_json(elt) for elt in json_data['tickets']])
...

Для ваших примеров данных final_data соответствует ожиданиям:

  Location_City Location_State  Name hobbies_0 hobbies_1   playerId  salary teamId  year
0   Los Angeles             CA  Liam     Piano    Sports  barkele01  870000    ATL  1985
1   Los Angeles             CA  John     Music   Running  bedrost01  550000    ATL  1985
1
Serge Ballesta 4 Июл 2019 в 09:46

Для этого может быть более простое решение. Но это должно работать!

import json
import pandas as pd

with open('file.json') as file:
    data = json.load(file)

df = pd.DataFrame(data['tickets'])

for i,item in enumerate(df['Location']):
    df['location_city'] = dict(df['Location'])[i]['City']
    df['location_state'] = dict(df['Location'])[i]['State']

for i,item in enumerate(df['hobbies']):
    df['hobbies_{}'.format(i)] = dict(df['hobbies'])[i]

df = df.drop({'Location','hobbies'}, axis=1)

print(df)

output

1
Sachin Prabhu 4 Июл 2019 в 09:19

Я на самом деле недавно написал пакет под названием cherrypicker, чтобы разобраться с такими вещами, поскольку мне приходилось делать это так часто!

Я думаю, что следующий код даст вам именно то, что вы ищете:

from cherrypicker import CherryPicker
import json
import pandas as pd

with open('file.json') as file:
    data = json.load(file)

picker = CherryPicker(data)
flat = picker['tickets'].flatten().get()
df = pd.DataFrame(flat)
print(df)

Это дало мне вывод:

  Location_City Location_State  Name hobbies_0 hobbies_1   playerId  salary teamId  year
0   Los Angeles             CA  Liam     Piano    Sports  barkele01  870000    ATL  1985
1   Los Angeles             CA  John     Music   Running  bedrost01  550000    ATL  1985

Вы можете установить пакет с помощью:

pip install cherrypicker

... а также другие документы и рекомендации на https://cherrypicker.readthedocs.io.

1
big-o 16 Июл 2019 в 19:19