Я загружаю файл из хранилища Google Cloud в папку Google Диска, используя PHP-код, который работает в фоновом режиме. Моя проблема в том, что когда размер файла увеличивается, Google Диск (или GAE) выдает ошибку 500.

Error: Server Error
The server encountered an error and could not complete your request.
Please try again in 30 seconds.

Я использую следующую зависимость.

"nao-pon / flysystem-google-drive": "^ 1.1",

Ниже приведена часть моего кода, в которой возникает эта ошибка. Это отлично работает для небольших файлов:

$fileN = $this->clean($att->ATT_TITLE);

$fileData = file_get_contents("https://storage.googleapis.com/xxxxxx/".$att->ATT_FILE);

$dir = sys_get_temp_dir();
$tmp = tempnam($dir, $fileN);
file_put_contents($tmp, $fileData);
Storage::cloud()->putFileAs( $folderPath, new File($tmp),$fileN);

Я установил конфигурации в файле .env

FILESYSTEM_CLOUD=google
GOOGLE_DRIVE_CLIENT_ID=xxxxapps.googleusercontent.com
GOOGLE_DRIVE_CLIENT_SECRET=xxxxx
GOOGLE_DRIVE_REFRESH_TOKEN=xxxxxx
GOOGLE_DRIVE_FOLDER_ID=xxxx
#GOOGLE_DRIVE_TEAM_DRIVE_ID=xxx

Я установил диск, как показано ниже, в filesystem.php

'google' => [
        'driver' => 'google',
        'clientId' => env('GOOGLE_DRIVE_CLIENT_ID'),
        'clientSecret' => env('GOOGLE_DRIVE_CLIENT_SECRET'),
        'refreshToken' => env('GOOGLE_DRIVE_REFRESH_TOKEN'),
        'folderId' => env('GOOGLE_DRIVE_FOLDER_ID'),
    // 'teamDriveId' => env('GOOGLE_DRIVE_TEAM_DRIVE_ID'),
    ],

Я установил файл php.ini, как показано ниже

upload_max_filesize = 300M
post_max_size = 300M
memory_limit = 3000M

App.yaml

runtime: php72
handlers: 
- url: /assets
  static_dir: public/assets
env_variables:
   APP_KEY: xxxxx
   APP_STORAGE: /tmp
   CACHE_DRIVER: file
   VIEW_COMPILED_PATH: /tmp
   SESSION_DRIVER: database
   DB_DATABASE: xxx
   DB_USERNAME: xx
   DB_PASSWORD: xxxx
   DB_SOCKET: "/cloudsql/xxxxx"
runtime_config:
    document_root: public

Может ли кто-нибудь дать мне подсказку или предложить другой альтернативный способ сделать это? Мое требование - в основном загрузить большой файл (например, 250 МБ) на Google Диск с помощью фонового задания в Google App Engine.

0
Kusal Dissanayake 31 Авг 2020 в 19:47

2 ответа

Лучший ответ

В этой ситуации, загрузка частями решает проблему.

См. Следующий пример из Google API PHP Client. https: // github. com / googleapis / google-api-php-client / blob / master / examples / large-file-upload.php.

Пример рабочего кода:

$fileData = file_get_contents("https://storage.googleapis.com/xxxx/".$att->ATT_FILE);

$dir = sys_get_temp_dir();
$tmp = tempnam($dir, $fileN);
file_put_contents($tmp, $fileData);       
     
$fileToUpload = new File($tmp);
$filename = $fileN;
$mimeType = mime_content_type($tmp);
                   
$driveService = Storage::cloud();
$client = new \Google_Client();
$client->setClientId('xxxx');
$client->setClientSecret('xxx');
$client->refreshToken('xxx');
$client->setApplicationName('xxx');

$service = new \Google_Service_Drive($client);


// Test 1
$file = new \Google_Service_Drive_DriveFile();
$file->title = $fileN;
$file->name = $fileN;
$file->parents = array($basePath);
$chunkSizeBytes = 1 * 1024 * 1024;

// Call the API with the media upload, defer so it doesn't immediately return.
$client->setDefer(true);
$request = $service->files->create($file);

// Create a media file upload to represent our upload process.
$media = new \Google_Http_MediaFileUpload(
  $client,
  $request,
  $mimeType,
  null,
  true,
  $chunkSizeBytes
);
$media->setFileSize(filesize($tmp));

// Upload the various chunks. $status will be false until the process is
// complete.
$status = false;
$handle = fopen($tmp, "rb");
while (!$status && !feof($handle)) {
  $chunk = fread($handle, $chunkSizeBytes);
  $status = $media->nextChunk($chunk);
 }

// The final value of $status will be the data from the API for the object
// that has been uploaded.
$result = false;
if($status != false) {
  $result = $status;
}

fclose($handle);
0
Kusal Dissanayake 1 Сен 2020 в 07:19

Поскольку вы вызываете Cloud Storage API для загрузки файлов большого размера, которые могут быть выполнены, выгрузка выполняется в течение 60 секунд, что является таймаутом по умолчанию для Google Cloud Storage API. Вы можете самостоятельно изменить тайм-аут API. Вот случай stackoverflow, к которому вы можете обратиться, чтобы установить тайм-аут API по своему усмотрению.

1
Shawn Di Wu 1 Сен 2020 в 06:17