разница между ядром и параллельными директивами в стандарте OpenAcc

Уже опубликован мой ответ здесь, но здесь это снова.

Параллельная конструкция

1. Определяет область программы, которая должна быть скомпилирована для параллельного выполнения на устройстве-ускорителе.

2. Директива о параллельном цикле - это утверждение программиста о том, что параллельное выполнение затронутого цикла безопасно и желательно. Это полагается на то, что программист правильно идентифицирует параллелизм в коде и удаляет в коде все, что может быть небезопасно для распараллеливания. Если программист неверно утверждает, что цикл может быть распараллелен, то результирующее приложение может дать неверные результаты.

3. Параллельная конструкция позволяет более детально контролировать, как компилятор будет пытаться структурировать работу на ускорителе. Таким образом, он не сильно зависит от способности компилятора автоматически распараллеливать код.

4. Когда параллельный цикл используется в двух последующих циклах, которые обращаются к одним и тем же данным, компилятор может копировать или не копировать данные назад и вперед между хостом и устройством между двумя циклами.

5. Более опытные параллельные программисты, которые, возможно, уже определили параллельные циклы в своем коде, вероятно, найдут подход с параллельными циклами более желательным.

Например, см.

#pragma acc parallel
{
    #pragma acc loop
    for (i=0; i<n; i++) 
         a[i] = 3.0f*(float)(i+1);
    #pragma acc loop
    for (i=0; i<n; i++) 
         b[i] = 2.0f*a[i];
}

 генерировать одно ядро

Barrier Между двумя циклами нет барьера: второй цикл может начаться до окончания первого цикла. (Это отличается от OpenMP).

Конструкция ядра

1. Определяет область программы, которая должна быть скомпилирована в последовательность ядер для выполнения на устройстве-ускорителе.

2. Важно отметить, что компилятор ядра будет анализировать код и распараллеливать только тогда, когда он уверен, что это безопасно. В некоторых случаях компилятор может не иметь достаточно информации во время компиляции, чтобы определить, безопасен ли цикл распараллеливания, в этом случае он не будет распараллеливать цикл, даже если программист может ясно видеть, что цикл безопасно параллелен.

3. Конструкция ядра дает компилятору максимум возможностей для распараллеливания и оптимизации кода так, как он считает нужным для целевого ускорителя, но также в наибольшей степени зависит от способности компилятора автоматически распараллеливать код.

4. Еще одно заметное преимущество, которое обеспечивает конструкция ядра, состоит в том, что если несколько циклов обращаются к одним и тем же данным, они будут скопированы в ускоритель только один раз, что может привести к меньшему перемещению данных.

5. Программисты с меньшим опытом параллельного программирования или чей код содержит большое количество циклов, которые необходимо проанализировать, могут найти подход к ядрам намного проще, так как это увеличивает нагрузку на компилятор.

Например, см.

#pragma acc kernels
{
   for (i=0; i<n; i++)
       a[i] = 3.0f*(float)(i+1);
   for (i=0; i<n; i++)
        b[i] = 2.0f*a[i];
}

 генерировать два ядра

Between Между двумя циклами существует неявный барьер: второй цикл начнется после окончания первого цикла.