Можно ли определить функцию функции активации? Я пытался сделать:
def activation():
# return nn.Sin()
# return nn.Tanh()
# return nn.Sigmoid()
# return nn.Tanhshrink()
return nn.HardTanh(-1,1)
# return nn.Hardswish()
# return nn.functionnal.silu()
Но я получаю сообщение....
4 Фев 2022 в 13:35
Я пытаюсь написать класс для Invertible обучаемого LeakyReLu, в котором модель изменяет negative_slope на каждой итерации,
class InvertibleLeakyReLU(nn.Module):
def __init__(self, negative_slope):
super(InvertibleLeakyReLU, self).__init__()
self.negative_slope = torch.tensor(negative_slope....
13 Дек 2021 в 16:08
Я пытаюсь написать функцию кусочной активации, угол наклона которой от -6 до 0 равен 0,1, а остальные места равны единице. И размер ввода (X) равен (B, C, H, W). Итак, я пришел к выводу, что лучший способ - это простой линейный код:
x[-6<x and x<0] = x[-6<x and x<0] * 0.1
Но я сталкиваюсь с тако....
23 Ноя 2021 в 13:38
Согласно обсуждениям на форуме PyTorch:
В чем разница между nn.ReLU () и nn.ReLU (inplace = True)? Рекомендации относительно того, когда и почему следует устанавливать inplace = True?
Цель inplace=True - изменить ввод на месте без выделения памяти для дополнительного тензора с результатом этой опе....
10 Ноя 2021 в 16:04
В учебнике по основам Tensorflow ML с Keras для создания базовой классификации текста, когда при подготовке обученной модели к экспорту в учебнике предлагается включить слой TextVectorization в модель, чтобы он мог «обрабатывать необработанные строки». Я понимаю, зачем это делать.
Но тогда фрагмен....
21 Окт 2021 в 08:23
Пользуюсь тонкой настройкой. Как я могу увидеть и получить доступ к активациям всех слоев, находящихся внутри сверточной основы?
conv_base = VGG16(weights='imagenet',
include_top=False,
input_shape=(inp_img_h, inp_img_w, 3))
def create_functional_model():
inp = Input....
8 Окт 2021 в 22:47
Я сделал простую нейронную сеть прямого распространения в Matlab следующим образом:
mynet = feedforwardnet(5)
mynet.layers{1}.transferFcn = 'poslin'; % one hidden layer(5 neurons) with poslin = ReLU activation function
mynet.layers{2}.transferFcn = 'purelin'; % last layer has simply linear activatio....
1 Окт 2021 в 14:30
Я хотел бы использовать функцию Leaky-ReLu с минимизацией, а не с максимизацией в качестве активации для плотного слоя. Другими словами, я хочу, чтобы моя активация была f(x) = min{x, \alpha x }. Сначала я определяю метод, как показано ниже.
def new_leaky_relu(x, alpha):
part_1 = tf.cast(tf.ma....
24 Сен 2021 в 21:17
Я использую pytorch и autograd для построения архитектуры нейронной сети. Это небольшая трехуровневая сеть с одним входом и выходом. Предположим, мне нужно предсказать некоторую функцию вывода на основе некоторых начальных условий, и я использую настраиваемую функцию потерь.
Проблема, с которой я ....
19 Сен 2021 в 08:20
К чему относится отрицательный наклон в функции LeakyReLU?
Термин «отрицательный наклон» используется в документации как TensorFlow, так и Pytorch, но, похоже, не соответствует действительности. Наклон функции LeakyReLU как для положительных, так и для отрицательных входных значений обычно неотр....
20 Авг 2021 в 22:27
Я использовал код для первой нейронной сети из книги Майкла Нильсена о нейронных сетях и глубоком обучении, который использовался для распознавания рукописных цифр. Он использует стохастический градиентный спуск с мини-пакетами и сигмовидную функцию активации. Я дал ему один входной нейрон, два ск....
31 Июл 2021 в 15:34
Я использую пакет Caret в R, пытаясь реализовать многослойный персептрон для классификации спутниковых изображений. Я использую method=mlpML и хочу знать, какая функция активации используется.
Вот мой код:
controlparameters<-trainControl(method = "repeatedcv",
number=....
10 Июл 2021 в 16:12
Я написал простой nn (он должен добавить два числа) и пробовал разные функции активации, это мой код
class Layer:
def __init__(self):
self.inputs = None
def forward(self, inputs):
pass
def backward(self, error_gradient, lr):
pass
class Dense(Layer):
def __init__(self, n_in....
17 Июн 2021 в 21:23
Я хотел бы реализовать настраиваемую функцию активации в тензорном потоке. Идея этой функции активации состоит в том, чтобы узнать, насколько она будет линейной. Используя следующую функцию.
tanh(x*w)/w for w!= 0
x for w = 0
Параметр w следует узнать. Однако я не знаю, как реализова....
6 Июн 2021 в 23:28
При создании последовательной модели я замечаю, что существует разница между добавлением слоя relu и LeakyReLU слоя.
test = Sequential()
test.add(Dense(1024, activation="relu"))
test.add(LeakyReLU(0.2))
Почему мы не можем добавить слой с активацией = "LeakyReLU"? (Leakyrelu не является нитью, с кот....
1 Июн 2021 в 14:52
Я пытаюсь реализовать активацию PReLU в тензорном потоке 2.4.1, как указано здесь Как реализовать активацию PReLU в Tensorflow?
Получена следующая ошибка
ValueError: Variable alpha already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope?
Вот мой код
def prelu....
25 Май 2021 в 16:04
Есть ли способ запустить логистическую регрессию sklearn с помощью tanh?
Я знаю, что tanh лучше, когда метки {-1,1}, а сигмовидный лучше, когда метки {0,1}
Если я не могу реализовать логистическую регрессию, будет ли преобразование меток из {-1,1} -> {0, 1} улучшить производительность логистической ....
10 Май 2021 в 10:49
У меня проблема с двоичной классификацией моей нейронной сети.
Я уже получил хорошие результаты, используя функцию активации ReLU в моем скрытом слое и сигмовидную функцию в выходном слое. Теперь я пытаюсь добиться еще лучших результатов. Я добавил второй скрытый слой с функцией активации ReLU, и ....
2 Май 2021 в 14:48
Я пытаюсь понять пример классификации текста TensorFlow на странице https: //www.tensorflow .org / tutorials / keras / text_classification. Они определяют модель следующим образом:
model = tf.keras.Sequential([
layers.Embedding(max_features + 1, embedding_dim),
layers.Dropout(0.2),
layers.Gl....
15 Апр 2021 в 10:37
Я пытаюсь настроить тюнер Keras для одновременной настройки количества слоев и функции активации. Сеть пытается преобразовать 2D-функцию в другую 2D-функцию. Я продолжаю получать .......
19 Мар 2021 в 18:56
Я хотел бы конкретно знать, как активировать нейроны в нейронной сети (выходы каждого нейрона после функции активации)
Как я могу получить активации всех нейронов последовательной модели, когда я даю ввод во время вывода моделей в Tensorflow 2?....
10 Мар 2021 в 22:42
Я пытаюсь реализовать бинарную пользовательскую функцию активации в выходном слое модели Keras.
Это мое испытание:
def binary_activation(x):
ones = tf.ones(tf.shape(x), dtype=x.dtype.base_dtype)
zeros = tf.zeros(tf.shape(x), dtype=x.dtype.base_dtype)
def grad(dy):
return dy
r....
12 Фев 2021 в 19:26
Я работал над своей первой нейронной сетью, создавая ее полностью с нуля. Однако при печати функции стоимости для отслеживания прогресса моделей она только возрастает, данные, которые я использую, составляют всего 1 с, 0 с .......
15 Дек 2020 в 12:16
Я последовал этому ответу, выполнив: get_custom_objects (). Update (act_dispatcher) Где act_dispatcher - это словарь со всеми функциями активации, которые я хочу добавить, например {'fun_1': fun_1, 'fun_2': fun_2}. .......
15 Дек 2020 в 11:33
Я пытался создать классификатор изображений с помощью CNN. В моем наборе данных 2300 изображений и две категории: мужчины и женщины. Вот модель, которую я использовал:
early_stopping = EarlyStopping(min_delta = 0.001, patience = 30, restore_best_weights = True)
model = tf.keras.Sequential()
model....
11 Дек 2020 в 23:52
En Español