PyTorch — это платформа глубокого обучения с открытым исходным кодом и API, которая создает динамический вычислительный граф, который позволяет вам гибко изменять поведение вашей нейронной сети на лету и способен выполнять автоматическое обратное дифференцирование.

Подробнее про pytorch...

Я пытаюсь установить pytorch версии 1.6.0, используя среду conda в Pycharm. Я просмотрел официальную документацию по установке того же самого. Я хочу использовать версию Pytorch для процессора. Следовательно, я использовал вставленную ниже команду. conda install pytorch==1.6.0 torchvision==0.7.0 c...
27 Май 2023 в 04:37
У меня есть два тензора: метки с формой (n, m) и источник с формой (n, m, embdim), и мне нужно получить для каждой метки ее вложение как сумму вложений из источника с той же соответствующей меткой. out[i] = source[labels == i].sum(0) Например: labels = [[0, 1], [1, 2]], source = [[[0, 1], ...
27 Май 2023 в 01:52
Я пытаюсь создать код для исправления неправильной экспозиции изображений. У меня есть dataset_creation, где я создаю набор данных для сопряжения набора данных. Я беру одно входное изображение, затем нахожу соответствующее целевое изображение, а затем соединяю их. Затем я использую CNN для обучен...
Я изучаю основы нейронных сетей с помощью pytorch, и мне трудно понять, как должна работать функция активации. Я не понимаю, какую форму должны иметь обучаемые параметры моей функции активации. Должны ли они иметь ту же форму, что и входной набор данных? Или они должны иметь форму одного элемента ...
Я пытаюсь установить класс, который наследуется от Dataset torch_geometric, коды: from torch_geometric.data import Data, Dataset import numpy as np class GraphTimeSeriesDataset(Dataset): def __init__(self): # Initialize your dataset here pass def __len__(self): # Re...
Я пытаюсь обучить/настроить модель MobileNetV3 на наборе данных CIFAR100. Я использую Pytorch и Huggingface, чтобы упростить такие вещи, как цикл обучения, который я не привык делать вручную из Tensorflow/Keras. Однако я получаю сообщение об ошибке при попытке применить предварительно обученное пре...
26 Май 2023 в 18:17
В PyTorch мне нужно эффективно находить максимальные значения для определенных индексов. TensorFlow имеет встроенную функцию tf.math.unsorted_segment_max для достижения этой цели, я возьму пример из их документации https://www.tensorflow.org/api_docs/python/tf/math/unsorted_segment_max: import os o...
25 Май 2023 в 22:21
При использовании Trainer пакета Transformers, пытаясь выяснить, как установить связь с GPU в настройках DDP / multi-gpu. В частности, пытаясь реализовать кросс-пакетную множественную потерю отрицательного ранжирования (mnr). В идеале я хочу сделать model(inputs) на каждом GPU. Соберите выходные д...
Я новичок в глубоком обучении и пытаюсь объединить модели vq-vae с GCN, используя импорт DGL. Я использую Google Collab. Я проверил, какие пакеты я установил в своей базовой среде, а troch и dgl были обновлены. Все шло хорошо, пока я не подогнал свою модель, тогда я получил ошибку атрибута, котору...
Я использую SageMaker для обучения модели Pytorch ViT на одном ml.g4dn.xlarge. Я использую pytorch версии 2.0 и python 3.10. Если я запускаю обучение без компиляции модели, оно завершается без ошибок. Если я скомпилирую модель, задание обучения завершится с ошибкой в ​​конце после обучения со след...
25 Май 2023 в 15:32
Можно ли объединить несколько преобразований/функций в PyTorch в одну функцию? В идеале я ищу что-то вроде этого (возможно, с большим вниманием к тензорным формам): import torch f_stack = torch.stack([lambda x: x+1, lambda x: x*2, lambda x: x*x]) f_stack(torch.tensor(3)) # >>> torch.Tensor([4, 6,...
Я нахожусь в main.py в корневом каталоге по адресу main.py, вызывая сценарий модели для обучения модели. Каталог выглядит так После обучения модели я планирую сохранить и зарегистрировать модель PyTorch с помощью MLflow. Вот код # Registering the model to the workspace mlflow.pytorch.log_mode...
Я точно настраиваю модель llm, использую память GPU 15G, но когда контрольная точка сохранения pytorch возникает, возникает исключение oom, полный стек исключений введите описание изображения здесь Так могу ли я изменить параметр с памяти графического процессора на память процессора и выполнить конт...
24 Май 2023 в 07:31
Я пытаюсь скомпилировать приложение .cpp, которое зависит от LibTorch, cpp-версии PyTorch (https ://pytorch.org/) на сервере HPC. Я загрузил CUDA 11.8 через загрузку модуля. nvcc -V выходов nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2022 NVIDIA Corporation Built on Wed_Sep_21_10:33:58...
24 Май 2023 в 00:13
Я использую SageMaker для запуска обучающего сценария Pytorch (Lightning). Почему загрузка графического процессора не постоянна, почему бывают большие падения? Можно ли что-то сделать, чтобы предотвратить это или почему бы и нет? У меня одинаковая загрузка при использовании выделенных и спотовых ин...
23 Май 2023 в 19:35
Используя модель pytorch, я хочу построить градиенты потерь по отношению к моим функциям активации (например, ReLU). Для слоев без активации я могу получить градиенты следующим образом, но для функций активации я не могу этого сделать. Как я могу построить свои функции активации. Мне нужно, чтобы...
Мы обучаем модель QuestionAnswering для набора данных SQUAD v2. Кодер RoBERTa с классификатором сверху. Прогнозирование диапазона ответов работает отлично. Однако мы хотели добавить передний классификатор, чтобы предсказать возможность ответа на вопрос (как предложено в статье «Ретроспективный рид...
Я пытаюсь выполнить точную настройку без набора данных для оценки. Для этого я использую следующий код: training_args = TrainingArguments( output_dir=resume_from_checkpoint, evaluation_strategy="epoch", per_device_train_batch_size=1, ) def compute_metrics(pred: EvalPrediction): labe...
Я не могу заставить cuda работать с факелом. Я использую это: device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = model.to(device) Я установил: torch 2.0.1 VS 2022 17.4.0 Cuda 12.0.0 win 11 И использовать его с: NVIDIA GeForce GTX 1660 Ti Что еще я упус...
22 Май 2023 в 17:35
Я хочу обучить модель wav2vec2 для языка persian, и у меня есть 2 часа (записей 7k), и я использую этот код для обучения from transformers import Wav2Vec2ForCTC model = Wav2Vec2ForCTC.from_pretrained( "facebook/wav2vec2-base", ctc_loss_reduction="mean", pad_token_id=processor.tokenize...
22 Май 2023 в 17:14
У меня есть тензор pytorch, и я хочу замаскировать его часть и поместить замаскированный раздел в оператор if. Это мой тензор: import torch all_data = torch.tensor([[1.1, 0.4], [1.7, 2.7], [0.9, 0.7], [0.9, 3.5], ...
У меня есть тензор с формой torch.Size([5, 240, 240, 155]), который представляет собой 5 разных каналов со 155 изображениями 240x240. Я хочу сделать эти изображения размером 128x128, чтобы окончательная форма выглядела так. Torch.Size([5, 128, 128, 155]). transforms.Resize влияет только на последн...
22 Май 2023 в 11:52
Я хочу использовать mps, но мой компьютер не работает. Думаю проблема в версии macOS. Я не знаю, почему моя версия 10.16. Я установил анаконду, и версия conda 23.3.1 Python 3.10.11 (main, Apr 20 2023, 13:59:00) [Clang 14.0.6 ] on darwin Python 3.10.11 (main, Apr 20 2023, 13:59:00) [Clang 14.0.6 ] ...
22 Май 2023 в 06:36
Пытаюсь построить модель трансформера с нуля: import torch import torch.nn as nn import torch.nn.functional as F class TransformerEncoder(nn.Module): def __init__(self, input_size, hidden_size, num_layers, num_heads, ff_size, dropout): super(TransformerEncoder, self).__init__() ...
Я пытаюсь выполнить семантическую сегментацию набора данных Фрайбургского леса, используя репозиторий mmsegmentation на github. Ссылка на то же прилагается ниже. https://github.com/open-mmlab/mmsegmentation Я создал файл конфигурации для набора данных Фрайбургского леса, а также добавил файл набора...
21 Май 2023 в 17:39