Как работает формула R

Формула r, представленная в вопросе, применяется к randomForest. Каждое дерево в случайном лесу пытается напрямую предсказать целевую переменную . Таким образом, прогноз каждого дерева находится в ожидаемом интервале (в вашем случае все цены на дома положительные), а прогноз совокупности - это просто среднее значение всех индивидуальных прогнозов .

ensemble_prediction = mean(tree_predictions)

Вот что вам говорит формула: просто возьмите прогнозы всех деревьев x и усредните их.

Почему значения PDP Python маленькие

Однако в sklearn частичная зависимость вычисляется для GradientBoostingRegressor. При повышении градиента каждое дерево предсказывает производную функции потерь при текущем прогнозе, которая только косвенно связана с целевой переменной. Для регрессии ГБ прогноз дается как

ensemble_prediction = initial_prediction + sum(tree_predictions * learning_rate)

А для классификации GB прогнозируемая вероятность равна

ensemble_prediction = softmax(initial_prediction + sum(tree_predictions * learning_rate))

В обоих случаях частичная зависимость указывается как

sum(tree_predictions * learning_rate)

Таким образом, initial_prediction (для GradientBoostingRegressor(loss='ls') он равен просто среднему значению обучения y) не включается в PDP, что делает прогнозы отрицательными.

Что касается небольшого диапазона его значений, y_train в вашем примере невелик: средняя стоимость жилья примерно равна 2, поэтому цены на жилье, вероятно, выражаются в миллионах.

Как на самом деле работает формула sklearn

Я уже сказал, что в sklearn значение функции частичной зависимости - это среднее значение всех деревьев. Есть еще одна хитрость: все нерелевантные функции усредняются. Чтобы описать фактический способ усреднения, я просто процитирую документацию склеарн:

Для каждого значения «целевых» характеристик в сетке функция частичной зависимости должна ограничивать предсказания дерева по всем возможным значениям «дополнительных» функций. В деревьях решений эту функцию можно эффективно оценить без ссылки на данные обучения. Для каждой точки сетки выполняется взвешенный обход дерева: если узел разбиения включает в себя `` целевую '' функцию, следует соответствующая левая или правая ветвь, в противном случае следуют обе ветви, каждая ветвь взвешивается долей обучающих выборок, которые вошли в эту филиал. Наконец, частичная зависимость дается средневзвешенным значением всех посещенных листьев. Для ансамблей деревьев результаты каждого отдельного дерева снова усредняются.

А если вы по-прежнему не удовлетворены, см.

from sklearn.ensemble.partial_dependence import partial_dependence
pdp_y, [pdp_x] = partial_dependence(model, X=X, target_variables=[0], percentiles=(0.0, 1.0))
plt.scatter(X[:, 0], y, s=0.3)
plt.plot(pdp_x, pdp_y.ravel() + model.init_.mean)
plt.show()
plt.title('Partial dependence plot in the original coordinates');