У меня есть набор данных, который я буду qcut и буду формировать категории как pandas.core.indexes.interval.IntervalIndex.

Как я могу классифицировать будущие наборы данных, используя те же категории, которые я сгенерировал из исходного набора данных?

Пояснительный код .

>>> import pandas as pd
>>> import numpy as np
>>> np.random.seed(42)

>>> df = pd.DataFrame(np.random.randint(0,100,size=(10, 4)), columns=list('ABCD'))

>>> df
    A   B   C   D
 0  51  92  14  71
 1  60  20  82  86
 2  74  74  87  99
 3  23  2   21  52
 4  1   87  29  37
 5  1   63  59  20
 6  32  75  57  21
 7  88  48  90  58
 8  41  91  59  79
 9  14  61  61  46

>>> categories_a = pd.qcut(df['A'], 4).cat.categories

>>> type(categories_a)
pandas.core.indexes.interval.IntervalIndex

>>> categories_a
IntervalIndex([(0.999, 16.25], (16.25, 36.5], (36.5, 57.75], (57.75, 88.0]]
          closed='right',
          dtype='interval[float64]')

Что я пробовал:

Я пытался использовать CategoricalDtype и такие вещи, как df['B'].astype(categories_a), но безуспешно. У меня заканчиваются идеи о том, как это изящно.

Ожидаемые результаты:

Учитывая, что df и categories_a такие же, как указано выше, я хотел бы преобразовать все элементы в df['B'] в соответствии с .cat.codes как те, которые будут сгенерированы {{X4 } } . Вывод будет выглядеть так:

df['B'] 
original --> processed # comment
92 --> 3 # (57.75, 88.0] this one actually goes through the roof
20 --> 1 # (16.25, 36.5]
74 --> 3 # (57.75, 88.0]
2  --> 0 # (0.999, 16.25]
87 --> 3 # (57.75, 88.0]
63 --> 3 # (57.75, 88.0]
75 --> 3 # (57.75, 88.0]
48 --> 2 # (36.5, 57.75]
91 --> 3 # (57.75, 88.0]
61 --> 3 # (57.75, 88.0]

Надеюсь, это достаточно ясно.

2
joaoavf 13 Мар 2018 в 23:56

2 ответа

Лучший ответ

Используя ту же логику, что и выше, но для получения категорий, а не диапазонов в обработанном фрейме данных:

np.random.seed(42)
df = pd.DataFrame(np.random.randint(0,100,size=(10, 4)), columns=list('ABCD'))


series, bins = pd.qcut(df["A"], 4, retbins=True, labels=False)
def apply_cut(df):
    for i in df.columns:
        df[i] = pd.cut(df[i], bins=bins, labels=False, include_lowest=True)
    return df

processed = apply_cut(df)

Возврат:

>>> processed
   A    B    C    D
0  2  NaN  0.0  3.0
1  3  1.0  3.0  3.0
2  3  3.0  3.0  NaN
3  1  0.0  1.0  2.0
4  0  3.0  1.0  2.0
5  0  3.0  3.0  1.0
6  1  3.0  2.0  1.0
7  3  2.0  NaN  3.0
8  2  NaN  3.0  3.0
9  0  3.0  3.0  2.0

Если вы хотите избавиться от NaN и поместить их в ближайшие категории, вы можете сделать то же самое, но добавив -float(np.inf) и float(np.inf) в первую и последнюю корзину:

series, bins = pd.qcut(df["A"], 4, retbins=True, labels=False)
bins[0] = -float(np.inf)
bins[-1] = float(np.inf)
def apply_cut(df):
    for i in df.columns:
        df[i] = pd.cut(df[i], bins=bins, labels=False, include_lowest=True,right=False)
    return df

processed = apply_cut(df)

>>> processed
   A  B  C  D
0  2  3  0  3
1  3  1  3  3
2  3  3  3  3
3  1  0  1  2
4  0  3  1  2
5  0  3  3  1
6  1  3  2  1
7  3  2  3  3
8  2  3  3  3
9  0  3  3  2

PiR править

Пожалуйста, удалите / измените по своему усмотрению. Это ваш пост, и я вторгаюсь (-:

bins = pd.qcut(df.A, 4, retbins=True)[1]
bins[0] -= np.finfo(np.float).resolution

df.apply(lambda c: pd.cut(c, bins))

               A              B              C              D
0  (36.5, 57.75]            NaN   (1.0, 16.25]  (57.75, 88.0]
1  (57.75, 88.0]  (16.25, 36.5]  (57.75, 88.0]  (57.75, 88.0]
2  (57.75, 88.0]  (57.75, 88.0]  (57.75, 88.0]            NaN
3  (16.25, 36.5]   (1.0, 16.25]  (16.25, 36.5]  (36.5, 57.75]
4   (1.0, 16.25]  (57.75, 88.0]  (16.25, 36.5]  (36.5, 57.75]
5   (1.0, 16.25]  (57.75, 88.0]  (57.75, 88.0]  (16.25, 36.5]
6  (16.25, 36.5]  (57.75, 88.0]  (36.5, 57.75]  (16.25, 36.5]
7  (57.75, 88.0]  (36.5, 57.75]            NaN  (57.75, 88.0]
8  (36.5, 57.75]            NaN  (57.75, 88.0]  (57.75, 88.0]
9   (1.0, 16.25]  (57.75, 88.0]  (57.75, 88.0]  (36.5, 57.75]

Или же:

bins = pd.qcut(df.A, 4, retbins=True)[1]
bins[0] = -float(np.inf)
bins[-1] = float(np.inf)

processed = df.apply(lambda c: pd.cut(c, bins, labels=False))

>>> processed
   A  B  C  D
0  2  3  0  3
1  3  1  3  3
2  3  3  3  3
3  1  0  1  2
4  0  3  1  2
5  0  3  3  1
6  1  3  2  1
7  3  2  3  3
8  2  3  3  3
9  0  3  3  2
2
sacuL 13 Мар 2018 в 21:56

Вы можете соединить левую и правую конечные точки интервалов, чтобы построить bins для использования в pd.cut.

def cut_by_cats(cats):
    bins = [c[0].left] + [i.right for i in c]
    def cut_(series):
        return pd.cut(series, bins)
    return cut_

cut = cut_by_cats(pd.qcut(df.A, 4).cat.categories)

df.apply(cut)

                A               B               C              D
0   (36.5, 57.75]             NaN  (0.999, 16.25]  (57.75, 88.0]
1   (57.75, 88.0]   (16.25, 36.5]   (57.75, 88.0]  (57.75, 88.0]
2   (57.75, 88.0]   (57.75, 88.0]   (57.75, 88.0]            NaN
3   (16.25, 36.5]  (0.999, 16.25]   (16.25, 36.5]  (36.5, 57.75]
4  (0.999, 16.25]   (57.75, 88.0]   (16.25, 36.5]  (36.5, 57.75]
5  (0.999, 16.25]   (57.75, 88.0]   (57.75, 88.0]  (16.25, 36.5]
6   (16.25, 36.5]   (57.75, 88.0]   (36.5, 57.75]  (16.25, 36.5]
7   (57.75, 88.0]   (36.5, 57.75]             NaN  (57.75, 88.0]
8   (36.5, 57.75]             NaN   (57.75, 88.0]  (57.75, 88.0]
9  (0.999, 16.25]   (57.75, 88.0]   (57.75, 88.0]  (36.5, 57.75]
2
piRSquared 13 Мар 2018 в 21:10