Я хотел бы иметь возможность использовать конвейеры в конструкции RandomizedSearchCV в sklearn. Однако сейчас я считаю, что поддерживаются только оценщики. Вот пример того, что я хотел бы сделать:

import numpy as np

from sklearn.grid_search import RandomizedSearchCV
from sklearn.datasets import load_digits
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler    
from sklearn.pipeline import Pipeline

# get some data
iris = load_digits()
X, y = iris.data, iris.target

# specify parameters and distributions to sample from
param_dist = {'C': [1, 10, 100, 1000], 
          'gamma': [0.001, 0.0001], 
          'kernel': ['rbf', 'linear'],}

# create pipeline with a scaler 
steps = [('scaler', StandardScaler()), ('rbf_svm', SVC())]
pipeline = Pipeline(steps)

# do search
search = RandomizedSearchCV(pipeline, 
param_distributions=param_dist, n_iter=50)
search.fit(X, y)

print search.grid_scores_

Если вы просто так запустите, вы получите следующую ошибку:

ValueError: Invalid parameter kernel for estimator Pipeline

Есть ли хороший способ сделать это в sklearn?

python numpy machine-learning scikit-learn
17
lollercoaster 27 Янв 2015 в 22:49

2 ответа

Лучший ответ

RandomizedSearchCV, а также GridSearchCV, do поддерживают конвейеры (фактически они не зависят от своей реализации, а конвейеры разработаны так, чтобы быть эквивалентными обычным классификаторам).

Ключ к проблеме довольно прост, если вы думаете, какие параметры должны быть выполнены. Поскольку конвейер состоит из множества объектов (несколько преобразователей + классификатор), может потребоваться найти оптимальные параметры как для классификатора, так и для преобразователей. Таким образом, вам нужно как-то различать, где получить / установить свойства от / до.

Итак, вам нужно сказать, что вы хотите найти значение, скажем, не просто для некоторого абстрактного gamma (который конвейер не имеет вообще), но для gamma классификатора конвейера, который вызывается в вашем случае rbf_svm (это также оправдывает необходимость имен). Это может быть достигнуто с помощью синтаксиса с двойным подчеркиванием, широко используемого в sklearn для вложенных моделей:

param_dist = {
          'rbf_svm__C': [1, 10, 100, 1000], 
          'rbf_svm__gamma': [0.001, 0.0001], 
          'rbf_svm__kernel': ['rbf', 'linear'],
}
13
Artem Sobolev 27 Янв 2015 в 21:05

Я думаю, что

1
dzenilee 13 Дек 2019 в 15:51