Можно ли определить функцию функции активации? Я пытался сделать: def activation(): # return nn.Sin() # return nn.Tanh() # return nn.Sigmoid() # return nn.Tanhshrink() return nn.HardTanh(-1,1) # return nn.Hardswish() # return nn.functionnal.silu() Но я получаю сообщение....
4 Фев 2022 в 13:35
Я пытаюсь написать класс для Invertible обучаемого LeakyReLu, в котором модель изменяет negative_slope на каждой итерации, class InvertibleLeakyReLU(nn.Module): def __init__(self, negative_slope): super(InvertibleLeakyReLU, self).__init__() self.negative_slope = torch.tensor(negative_slope....
Я пытаюсь написать функцию кусочной активации, угол наклона которой от -6 до 0 равен 0,1, а остальные места равны единице. И размер ввода (X) равен (B, C, H, W). Итак, я пришел к выводу, что лучший способ - это простой линейный код: x[-6<x and x<0] = x[-6<x and x<0] * 0.1 Но я сталкиваюсь с тако....
Согласно обсуждениям на форуме PyTorch: В чем разница между nn.ReLU () и nn.ReLU (inplace = True)? Рекомендации относительно того, когда и почему следует устанавливать inplace = True? Цель inplace=True - изменить ввод на месте без выделения памяти для дополнительного тензора с результатом этой опе....
10 Ноя 2021 в 16:04
В учебнике по основам Tensorflow ML с Keras для создания базовой классификации текста, когда при подготовке обученной модели к экспорту в учебнике предлагается включить слой TextVectorization в модель, чтобы он мог «обрабатывать необработанные строки». Я понимаю, зачем это делать. Но тогда фрагмен....
21 Окт 2021 в 08:23
Пользуюсь тонкой настройкой. Как я могу увидеть и получить доступ к активациям всех слоев, находящихся внутри сверточной основы? conv_base = VGG16(weights='imagenet', include_top=False, input_shape=(inp_img_h, inp_img_w, 3)) def create_functional_model(): inp = Input....
Я сделал простую нейронную сеть прямого распространения в Matlab следующим образом: mynet = feedforwardnet(5) mynet.layers{1}.transferFcn = 'poslin'; % one hidden layer(5 neurons) with poslin = ReLU activation function mynet.layers{2}.transferFcn = 'purelin'; % last layer has simply linear activatio....
Я хотел бы использовать функцию Leaky-ReLu с минимизацией, а не с максимизацией в качестве активации для плотного слоя. Другими словами, я хочу, чтобы моя активация была f(x) = min{x, \alpha x }. Сначала я определяю метод, как показано ниже. def new_leaky_relu(x, alpha): part_1 = tf.cast(tf.ma....
24 Сен 2021 в 21:17
Я использую pytorch и autograd для построения архитектуры нейронной сети. Это небольшая трехуровневая сеть с одним входом и выходом. Предположим, мне нужно предсказать некоторую функцию вывода на основе некоторых начальных условий, и я использую настраиваемую функцию потерь. Проблема, с которой я ....
К чему относится отрицательный наклон в функции LeakyReLU? Термин «отрицательный наклон» используется в документации как TensorFlow, так и Pytorch, но, похоже, не соответствует действительности. Наклон функции LeakyReLU как для положительных, так и для отрицательных входных значений обычно неотр....
20 Авг 2021 в 22:27
Я использовал код для первой нейронной сети из книги Майкла Нильсена о нейронных сетях и глубоком обучении, который использовался для распознавания рукописных цифр. Он использует стохастический градиентный спуск с мини-пакетами и сигмовидную функцию активации. Я дал ему один входной нейрон, два ск....
Я использую пакет Caret в R, пытаясь реализовать многослойный персептрон для классификации спутниковых изображений. Я использую method=mlpML и хочу знать, какая функция активации используется. Вот мой код: controlparameters<-trainControl(method = "repeatedcv", number=....
Я написал простой nn (он должен добавить два числа) и пробовал разные функции активации, это мой код class Layer: def __init__(self): self.inputs = None def forward(self, inputs): pass def backward(self, error_gradient, lr): pass class Dense(Layer): def __init__(self, n_in....
Я хотел бы реализовать настраиваемую функцию активации в тензорном потоке. Идея этой функции активации состоит в том, чтобы узнать, насколько она будет линейной. Используя следующую функцию. tanh(x*w)/w for w!= 0 x for w = 0 Параметр w следует узнать. Однако я не знаю, как реализова....
При создании последовательной модели я замечаю, что существует разница между добавлением слоя relu и LeakyReLU слоя. test = Sequential() test.add(Dense(1024, activation="relu")) test.add(LeakyReLU(0.2)) Почему мы не можем добавить слой с активацией = "LeakyReLU"? (Leakyrelu не является нитью, с кот....
1 Июн 2021 в 14:52
Я пытаюсь реализовать активацию PReLU в тензорном потоке 2.4.1, как указано здесь Как реализовать активацию PReLU в Tensorflow? Получена следующая ошибка ValueError: Variable alpha already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Вот мой код def prelu....
Есть ли способ запустить логистическую регрессию sklearn с помощью tanh? Я знаю, что tanh лучше, когда метки {-1,1}, а сигмовидный лучше, когда метки {0,1} Если я не могу реализовать логистическую регрессию, будет ли преобразование меток из {-1,1} -> {0, 1} улучшить производительность логистической ....
У меня проблема с двоичной классификацией моей нейронной сети. Я уже получил хорошие результаты, используя функцию активации ReLU в моем скрытом слое и сигмовидную функцию в выходном слое. Теперь я пытаюсь добиться еще лучших результатов. Я добавил второй скрытый слой с функцией активации ReLU, и ....
Я пытаюсь понять пример классификации текста TensorFlow на странице https: //www.tensorflow .org / tutorials / keras / text_classification. Они определяют модель следующим образом: model = tf.keras.Sequential([ layers.Embedding(max_features + 1, embedding_dim), layers.Dropout(0.2), layers.Gl....
Я пытаюсь настроить тюнер Keras для одновременной настройки количества слоев и функции активации. Сеть пытается преобразовать 2D-функцию в другую 2D-функцию. Я продолжаю получать .......
Я хотел бы конкретно знать, как активировать нейроны в нейронной сети (выходы каждого нейрона после функции активации) Как я могу получить активации всех нейронов последовательной модели, когда я даю ввод во время вывода моделей в Tensorflow 2?....
Я пытаюсь реализовать бинарную пользовательскую функцию активации в выходном слое модели Keras. Это мое испытание: def binary_activation(x): ones = tf.ones(tf.shape(x), dtype=x.dtype.base_dtype) zeros = tf.zeros(tf.shape(x), dtype=x.dtype.base_dtype) def grad(dy): return dy r....
12 Фев 2021 в 19:26
Я работал над своей первой нейронной сетью, создавая ее полностью с нуля. Однако при печати функции стоимости для отслеживания прогресса моделей она только возрастает, данные, которые я использую, составляют всего 1 с, 0 с .......
Я последовал этому ответу, выполнив: get_custom_objects (). Update (act_dispatcher) Где act_dispatcher - это словарь со всеми функциями активации, которые я хочу добавить, например {'fun_1': fun_1, 'fun_2': fun_2}. .......
Я пытался создать классификатор изображений с помощью CNN. В моем наборе данных 2300 изображений и две категории: мужчины и женщины. Вот модель, которую я использовал: early_stopping = EarlyStopping(min_delta = 0.001, patience = 30, restore_best_weights = True) model = tf.keras.Sequential() model....