Auf dieser Seite wird erläutert, wie Sie eine Open-Source-PostgreSQL-Datenbank (ab jetzt nur PostgreSQL) zu einer Spanner-Datenbank mit PostgreSQL-Dialekt migrieren (ab jetzt als Spanner bezeichnet).
Informationen zur Migration zu Spanner und dem GoogleSQL-Dialekt finden Sie unter Von PostgreSQL zu Spanner migrieren (GoogleSQL-Dialekt).
Migrationseinschränkungen
Bei Spanner werden bestimmte Konzepte anders als bei anderen Verwaltungstools für Unternehmensdatenbanken verwendet. Daher müssen Sie möglicherweise die Architektur Ihrer Anwendung anpassen, um alle Funktionen nutzen zu können. Eventuell müssen Sie Spanner durch andere Dienste von Google Cloud ergänzen, um Ihre Anforderungen zu erfüllen.
Gespeicherte Prozeduren und Trigger
Spanner unterstützt nicht die Ausführung von Nutzercode auf Datenbankebene. Daher muss im Rahmen der Migration die Geschäftslogik, die durch auf Datenbankebene gespeicherte Prozeduren und Trigger implementiert wird, in die Anwendung verschoben werden.
Sequenzen
Spanner empfiehlt, die UUID-Version 4 als Standardmethode zum Generieren von Primärschlüsselwerten zu verwenden. Die Funktion GENERATE_UUID() (GoogleSQL, PostgreSQL) gibt UUID-Werte der Version 4 zurück, die als STRING-Typ dargestellt werden.
Wenn Sie Ganzzahlwerte generieren müssen, unterstützt Spanner Bit-umgekehrte positive Sequenzen (GoogleSQL, PostgreSQL), die Werte erzeugen, die gleichmäßig über den positiven 64-Bit-Zahlenbereich verteilt werden. Sie können diese Nummern verwenden, um Heißlaufensprobleme zu vermeiden.
Weitere Informationen finden Sie unter Standardwertstrategien für Primärschlüssel.
Zugriffssteuerung
Spanner unterstützt eine differenzierte Zugriffssteuerung auf Tabellen- und Spaltenebene. Eine detaillierte Zugriffssteuerung für Ansichten wird nicht unterstützt. Weitere Informationen finden Sie unter Detaillierte Zugriffssteuerung.
Migrationsprozess
Die Migration umfasst die folgenden Aufgaben:
- PostgreSQL-Schema zu Spanner zuordnen
- SQL-Abfragen übersetzen
- Spanner-Instanz, -Datenbank und -Schema erstellen
- Anwendung so refaktorieren, dass sie mit der Spanner-Datenbank funktioniert
- Daten migrieren
- Neues System überprüfen und in Produktionsstatus übergehen
Schritt 1: PostgreSQL-Schema Spanner zuordnen
Bestimmen Sie beim Verschieben einer Datenbank von Open-Source-PostgreSQL zu Spanner als Erstes, welche Schemaänderungen vorgenommen werden müssen.
Primärschlüssel
In Spanner muss jede Tabelle, die mehr als eine Zeile speichern muss, einen Primärschlüssel haben, der aus einer oder mehreren Spalten der Tabelle besteht. Der Primärschlüssel der Tabelle identifiziert jede Zeile in einer Tabelle eindeutig und Spanner verwendet den Primärschlüssel zum Sortieren der Tabellenzeilen. Da Spanner stark verteilt ist, ist es wichtig, dass Sie eine Methode zum Generieren von Primärschlüsseln wählen, die mit dem Datenwachstum gut skaliert wird. Weitere Informationen finden Sie in den empfohlenen Migrationsstrategien für Primärschlüssel.
Nachdem Sie den Primärschlüssel festgelegt haben, können Sie keine Primärschlüsselspalte hinzufügen oder entfernen oder den Wert eines Primärschlüssels später ändern, ohne die Tabelle zu löschen und neu zu erstellen. Weitere Informationen zum Festlegen des Primärschlüssels finden Sie unter Schema und Datenmodell – Primärschlüssel.
Indexe
PostgreSQL-B-Tree-Indexe ähneln den sekundären Indexen in Spanner. In einer Spanner-Datenbank verwenden Sie sekundäre Indexe, um häufig gesuchte Spalten zur Leistungssteigerung zu indexieren und alle in den Tabellen angegebenen UNIQUE-Einschränkungen zu ersetzen. Wenn die PostgreSQL-DDL beispielsweise folgende Anweisung enthält:
CREATE TABLE customer (
id CHAR (5) PRIMARY KEY,
first_name VARCHAR (50),
last_name VARCHAR (50),
email VARCHAR (50) UNIQUE
);
Sie würden diese Anweisung in Ihrer Spanner-DDL verwenden:
CREATE TABLE customer (
id VARCHAR(5) PRIMARY KEY,
first_name VARCHAR(50),
last_name VARCHAR(50),
email VARCHAR(50)
);
CREATE UNIQUE INDEX customer_emails ON customer(email);
Sie können die Indexe für jede Ihrer PostgreSQL-Tabellen finden, indem Sie den Metabefehl \di in psql ausführen.
Nachdem Sie die benötigten Indexe ermittelt haben, fügen Sie CREATE INDEX-Anweisungen hinzu, um sie zu erstellen. Folgen Sie der Anleitung unter Sekundäre Indexe.
Spanner implementiert Indexe als Tabellen, sodass das Indexieren kontinuierlich ansteigender Spalten (z. B. Spalten mit TIMESTAMP-Daten) zu einem Hotspot führen kann.
Weitere Informationen zu Methoden zur Vermeidung von Hotspots finden Sie unter Das müssen Datenbankadministratoren über Spanner wissen, Teil 1: Schlüssel und Indexe.
Spanner implementiert sekundäre Indexe auf dieselbe Weise wie Tabellen. Daher gelten für die Spaltenwerte, die als Indexschlüssel verwendet werden, die gleichen Einschränkungen wie für die Primärschlüssel von Tabellen. Dies bedeutet auch, dass Indexe die gleichen Konsistenzgarantien wie Spanner-Tabellen haben.
Werte-Zuordnungen mit sekundären Indexen entsprechen praktisch einer Abfrage mit Tabellenverknüpfung. Sie können die Leistung von Abfragen mithilfe von Indexen verbessern. Speichern Sie dazu Kopien der Spaltenwerte aus der ursprünglichen Tabelle mithilfe der Klausel INCLUDE im sekundären Index, was zu einem abdeckenden Index wird.
Die Abfrageoptimierung von Spanner verwendet nur dann automatisch einen sekundären Index, wenn der Index selbst alle abgefragten Spalten speichert (abgedeckte Abfrage). Wenn Sie die Verwendung eines Index beim Abfragen von Spalten in der Originaltabelle erzwingen möchten, müssen Sie in der SQL-Anweisung eine FORCE INDEX-Anweisung verwenden. Beispiel:
SELECT *
FROM MyTable /*@ FORCE_INDEX=MyTableIndex */
WHERE IndexedColumn=$1;
Hier ist ein Beispiel für eine DDL-Anweisung, die einen sekundären Index für die Album-Tabelle erstellt:
CREATE INDEX AlbumsByAlbumTitle ON Albums(AlbumTitle);
Wenn Sie nach dem Laden Ihrer Daten zusätzliche Indexe erstellen, kann das Auffüllen des Index einige Zeit in Anspruch nehmen. Daher wird empfohlen, maximal drei Indexe pro Tag hinzuzufügen. Eine ausführliche Anleitung zum Erstellen von sekundären Indexen finden Sie unter Sekundäre Indexe. Weitere Informationen zu den Einschränkungen bei der Indexerstellung finden Sie unter Schemaaktualisierungen.
Ansichten
Spanner-Ansichten sind schreibgeschützt. Sie können nicht zum Einfügen, Aktualisieren oder Löschen von Daten verwendet werden. Weitere Informationen finden Sie unter Ansichten.
Generierte Spalten
Spanner unterstützt generierte Spalten. Informationen zu Syntaxunterschieden und -einschränkungen finden Sie unter Generierte Spalten erstellen und verwalten.
Tabellenverschachtelung
Spanner hat ein Feature, mit dem Sie zwei Tabellen mit einer 1:n-Beziehung mit hierarchischer Struktur definieren können. Mit dieser Funktion werden die untergeordneten Datenzeilen mit der jeweils übergeordneten Zeile im Speicher verschränkt. Die Tabelle wird hierdurch vorab verknüpft und der Datenabruf erfolgt effizienter, wenn beide Tabellen (untergeordnet und übergeordnet) gemeinsam abgefragt werden.
Der Primärschlüssel der untergeordneten Tabelle muss mit der bzw. den Primärschlüsselspalten der übergeordneten Tabelle beginnen. Aus der Perspektive der untergeordneten Zeile wird der Primärschlüssel der übergeordneten Zeile als Fremdschlüssel bezeichnet. Sie können bis zu 6 Ebenen an hierarchischen Beziehungen definieren.
Sie können ON DELETE-Aktionen für untergeordnete Tabellen definieren, um festzulegen, was geschieht, wenn die übergeordnete Zeile gelöscht wird: Entweder werden alle untergeordneten Zeilen gelöscht oder die übergeordnete Zeile kann nicht gelöscht werden, solange untergeordnete Zeilen vorhanden sind.
Hier sehen Sie anhand eines Beispiels, wie eine Album-Tabelle erstellt wird, die in der zuvor definierten übergeordneten Tabelle mit den Interpreten verschränkt ist:
CREATE TABLE Albums (
SingerID bigint,
AlbumID bigint,
AlbumTitle varchar,
PRIMARY KEY (SingerID, AlbumID)
)
INTERLEAVE IN PARENT Singers ON DELETE CASCADE;
Weitere Informationen finden Sie unter Verschränkte Tabellen erstellen.
Datentypen
In der folgenden Tabelle sind die Open-Source-PostgreSQL-Datentypen aufgeführt, die von der PostgreSQL-Schnittstelle für Spanner nicht unterstützt werden.
| Datentyp | Stattdessen verwenden |
|---|---|
| Bigserial,serial8 | Bigint, int8 |
| bit [ (n) ] | - |
| Bit variieren [ (n) ], varbit [ (n) ] | - |
| box | - |
| Zeichen [ (n) ], Zeichen [ (n) ] | Zeichen variieren |
| cidr | Text |
| Kreis | - |
| inet | Text |
| Ganzzahl, int4 | Bigint, int8 |
| Intervall [Felder] [ (p) ] | bigint |
| json | jsonb |
| Linie | - |
| lseg | - |
| macaddr | Text |
| money | numerisch, dezimal |
| Pfad | - |
| pg_lsn | - |
| point | - |
| polygon | - |
| realfloat4 | Doppelte Genauigkeit, FLOAT8 |
| Smallint, int2 | Bigint, int8 |
| Kleinserien, Seriennummer2 | Bigint, int8 |
| seriell, seriell4 | Bigint, int8 |
| time [ (p) ] [ ohne Zeitzone ] | Text im Format HH:MM:SS.sss |
| time [ (p) ] mit Zeitzonetimetz | Text unter Verwendung der Schreibweise HH:MM:SS.sss+ZZZZ. Oder verwenden Sie zwei Spalten. |
| timestamp [ (p) ] [ ohne Zeitzone ] | Text oder Zeitstempel |
| tsquery | - |
| tsvector | - |
| txid_snapshot | - |
| uuid | Text oder Bytea |
| xml | Text |
Schritt 2: SQL-Abfragen übersetzen
Spanner bietet viele der Open-Source-PostgreSQL-Funktionen, mit denen sich die Konvertierungslast reduzieren lässt.
SQL-Abfragen können auf der Seite „Spanner Studio“ in der Google Cloud Console erstellt werden, um die Abfrage auszuführen. Im Allgemeinen sollten Abfragen, die vollständige Tabellenscans für große Tabellen ausführen, sparsam verwendet werden, da sie sehr teuer sind. Weitere Informationen zum Optimieren von SQL-Abfragen finden Sie in der Dokumentation zu den Best Practices für SQL.
Schritt 3: Spanner-Instanz, Datenbank und Schema erstellen
Erstellen Sie die Instanz und erstellen Sie eine Datenbank im PostgreSQL-Dialekt. Erstellen Sie dann das Schema mit der PostgreSQL-Datendefinitionssprache (DDL).
Verwenden Sie pg_dump, um DDL-Anweisungen zu erstellen, die die Objekte in Ihrer PostgreSQL-Datenbank definieren, und ändern Sie dann die Anweisungen wie im vorherigen Abschnitt beschrieben. Nachdem Sie die DDL-Anweisungen aktualisiert haben, verwenden Sie diese, um die Datenbank in der Spanner-Instanz zu erstellen.
Weitere Informationen finden Sie unter:
Schritt 4: Anwendung refaktorieren
Fügen Sie Anwendungslogik hinzu, um das geänderte Schema und die überarbeiteten SQL-Abfragen zu berücksichtigen und die datenbankbasierte Logik wie Verfahren und Trigger zu ersetzen.
Schritt 5: Daten migrieren
Es gibt zwei Möglichkeiten, Ihre Daten zu migrieren:
Mithilfe von Harbourbridge
Harbourbridge unterstützt sowohl Schema- als auch Datenmigrationen. Sie können eine pg_dump-Datei oder eine CSV-Datei importieren oder über eine direkte Verbindung zur Open-Source-PostgreSQL-Datenbank importieren.
Mit dem Befehl
COPY FROM STDIN.Weitere Informationen finden Sie unter KOPIEREN-Befehl zum Importieren von Daten.