Trasferimenti dei rapporti sul canale YouTube

BigQuery Data Transfer Service per YouTube consente di pianificare e gestire automaticamente i job di caricamento ricorrenti per i report sui canali YouTube.

Report supportati

• Report del canale (caricati automaticamente in BigQuery)

I report di BigQuery Data Transfer Service per canale YouTube supportano le seguenti opzioni di generazione dei report:

Per informazioni su come i report del canale YouTube vengono trasformati in tabelle e viste di BigQuery, consulta Trasformazioni dei report sui canali YouTube.

Importazione dati dai trasferimenti del canale YouTube

Limitazioni

• La dimensione massima supportata del file per ogni report è 1710 GB.
• La frequenza minima per cui puoi pianificare un trasferimento di dati è una volta ogni 24 ore. Per impostazione predefinita, un trasferimento inizia nel momento in cui viene creato. Tuttavia, puoi configurare l'ora di inizio del trasferimento quando configuri il trasferimento.
• BigQuery Data Transfer Service non supporta i trasferimenti incrementali durante il trasferimento di un proprietario dei contenuti di YouTube. Quando specifichi una data per un trasferimento di dati, vengono trasferiti tutti i dati disponibili per quella data.
• Non puoi creare un trasferimento di un canale YouTube se hai eseguito l'accesso come identità federata. Puoi effettuare il trasferimento di un canale YouTube solo dopo aver eseguito l'accesso con un Account Google.

Prima di iniziare

Prima di effettuare il trasferimento di un canale YouTube:

• Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
• Crea un set di dati BigQuery per archiviare i dati di YouTube.

Autorizzazioni obbligatorie

Per creare un trasferimento di un canale YouTube devi soddisfare i seguenti requisiti:

• YouTube: proprietà del canale YouTube

• BigQuery: le seguenti autorizzazioni di Identity and Access Management (IAM) in BigQuery:

  • bigquery.transfers.update per creare il trasferimento.
  • bigquery.datasets.get e bigquery.datasets.update sul set di dati di destinazione.
  • Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche via email. Per ulteriori informazioni, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Il ruolo IAM predefinito bigquery.admin include tutte le autorizzazioni BigQuery necessarie per creare un trasferimento di canale YouTube. Per ulteriori informazioni sui ruoli IAM in BigQuery, vedi Ruoli e autorizzazioni predefiniti.

Configurare il trasferimento di un canale YouTube

Per configurare il trasferimento di un canale YouTube devi:

• Suffisso tabella: un nome semplice per il canale fornito da te durante la configurazione del trasferimento. Il suffisso viene aggiunto all'ID job per creare il nome della tabella, ad esempio reportTypeId_suffix. Il suffisso viene utilizzato per impedire la scrittura di trasferimenti separati nelle stesse tabelle. Il suffisso della tabella deve essere univoco in tutti i trasferimenti che caricano i dati nello stesso set di dati e il suffisso deve essere breve per ridurre al minimo la lunghezza del nome della tabella risultante.

Se al momento utilizzi l'API di reporting di YouTube e hai già job di reporting, BigQuery Data Transfer Service carica i dati dei tuoi report. Se non hai job di generazione di report esistenti, la configurazione del trasferimento abilita automaticamente i job di generazione di report di YouTube.

Per creare un trasferimento di un canale YouTube:

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube channel transfer config.
public class CreateYoutubeChannelTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Channel Config Name")
            .setDataSourceId("youtube_channel")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeChannelTransfer(projectId, transferConfig);
  }

  public static void createYoutubeChannelTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Youtube channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube channel transfer was not created." + ex.toString());
    }
  }
}

Eseguire query sui dati

Quando vengono trasferiti in BigQuery, i dati vengono scritti in tabelle partizionate in fase di importazione. Per ulteriori informazioni, consulta Introduzione alle tabelle partizionate.

Se esegui una query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudo-colonna _PARTITIONTIME nella query. Per maggiori informazioni, consulta Esecuzione di query su tabelle partizionate.

Risolvere i problemi relativi alla configurazione del trasferimento di canali YouTube

Se riscontri problemi durante la configurazione del trasferimento, consulta la sezione Problemi di trasferimento di YouTube nella sezione Risoluzione dei problemi relativi alle configurazioni di trasferimento.