Я пытаюсь построить классификатор из некоторых данных с помощью каретки. Один из подходов, который я хочу попробовать, - это простой LDA из данных, предварительно обработанных с помощью PCA. Я узнал, как использовать для этого каретку:

fitControl <- trainControl("repeatedcv", number=10, repeats = 10,
                                preProcOptions = list(thresh = 0.9))
ldaFit1 <- train(label ~ ., data = tab,
                method = "lda2",
                preProcess = c("center", "scale", "pca"),
                trControl = fitControl)

Как и ожидалось, карет сравнивает точность LDA с разными значениями размеров:

Linear Discriminant Analysis

 158 samples
1955 predictors
   3 classes: '1', '2', '3'

Pre-processing: centered (1955), scaled (1955), principal component
 signal extraction (1955)
Resampling: Cross-Validated (10 fold, repeated 10 times)
Summary of sample sizes: 142, 142, 143, 142, 143, 142, ...
Resampling results across tuning parameters:

  dimen  Accuracy   Kappa
  1      0.5498987  0.1151681
  2      0.5451340  0.1298590

Accuracy was used to select the optimal model using the largest value.
The final value used for the model was dimen = 1.

Что я хотел бы сделать, так это добавить порог PCA к параметрам настройки, однако я не могу найти способ сделать это.

Есть ли простое решение с кареткой? Или нужно повторить шаг обучения с разными вариантами предварительной обработки и в итоге выбрать лучшее значение?

0
GeorgeDean 15 Сен 2020 в 11:51

1 ответ

Лучший ответ

Благодаря ссылкам, указанным при неправильном использовании, мне удалось интегрировать пороговое значение PCA, объясняемое дисперсией, в настройку параметров:

library(caret)
library(recipes)
library(MASS)

# Setting up a vector of thresholds to try out
pca_varex <- c(0.8, 0.9, 0.95, 0.97, 0.98, 0.99, 0.995, 0.999)

# Setting up recipe
initial_recipe <- recipe(train, formula = label ~ .) %>%
                    step_center(all_predictors()) %>%
                    step_scale(all_predictors())

# Define the modelgrid
models <- model_grid() %>%
            share_settings(data = train,
                            trControl = caret::trainControl(method = "repeatedcv",
                                                        number = 10,
                                                        repeats = 10),
                            method = "lda2") 

# Add models with different PCA thresholds
for (i in pca_varex) {
    models <- models %>% add_model(model_name = sprintf("varex_%s", i),
                                    x = initial_recipe %>%
                                        step_pca(all_predictors(), threshold = i))
}

# Train
models <- models %>% train(.)

Несмотря на поиск в документации по модели и рецептам, пакет tidymodels может оказаться наиболее простым способом (https://www.tidymodels.org /).

0
GeorgeDean 15 Сен 2020 в 13:04