Seminar Trino – Plugin- und Connector-Entwicklung

Das Seminar führt durch die Entwicklung eines Trino-Plugins von der SPI bis zum lauffähigen Connector. Projektstruktur, Konfiguration, Metadaten, Splits, PageSource, Typabbildung, Pushdown, Schreiboperationen, Funktionen, Tests, Paketierung und versionssichere Bereitstellung werden in einem zusammenhängenden Beispielprojekt umgesetzt.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Plugin-Architektur, SPI-Verträge und Lebenszyklus sicher einordnen.
• Einen Connector mit Konfiguration, Metadaten und Leseweg implementieren.
• Typabbildung und Pushdown-Fähigkeiten korrekt und testbar entwickeln.
• Schreiboperationen, Funktionen und Fehlerverhalten erweitern.
• Tests, Paketierung, Deployment und Versionskompatibilität absichern.

Schrittweise Seminarinhalte

1. Plugin-Architektur und SPI

Schwerpunkt: Plugin, Connector, Services, Classloading, Interfaces, Lifecycle, Thread Safety, Versionen und Entwicklungsphilosophie.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Plugin-Architektur und SPI“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Plugin, Connector, Services, Classloading, Interfaces, Lifecycle, Thread Safety, Versionen und Entwicklungsphilosophie. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares Architektur- und Verantwortungsmodell für das Plugin dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Projektaufbau, Build und Entwicklungsumgebung

Schwerpunkt: Java, Maven, Module, Dependencies, Service Registration, Konfiguration, Logging, lokale Trino-Instanz und Debugging.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Projektaufbau, Build und Entwicklungsumgebung“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Java, Maven, Module, Dependencies, Service Registration, Konfiguration, Logging, lokale Trino-Instanz und Debugging. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein lauffähiges Plugin-Skelett mit Build-Pipeline dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. ConnectorFactory und Konfiguration

Schwerpunkt: ConnectorFactory, Connector, Bootstrap, Configuration Properties, Validierung, Secrets, Fehlertexte und Initialisierung.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „ConnectorFactory und Konfiguration“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von ConnectorFactory, Connector, Bootstrap, Configuration Properties, Validierung, Secrets, Fehlertexte und Initialisierung. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen getesteten Connector-Start- und Konfigurationsprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Metadata und Namensräume

Schwerpunkt: Catalog, Schema, Table Handle, Column Handle, Listen, Describe, Table Properties, Statistics und Metadatenfehler.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Metadata und Namensräume“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Catalog, Schema, Table Handle, Column Handle, Listen, Describe, Table Properties, Statistics und Metadatenfehler. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine vollständige Metadatenimplementierung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Splits, PageSource und Leseweg

Schwerpunkt: SplitManager, Split, RecordSet, PageSource, Blocks, Pages, Parallelität, Pagination, Remote-Requests und Ressourcenfreigabe.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Splits, PageSource und Leseweg“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von SplitManager, Split, RecordSet, PageSource, Blocks, Pages, Parallelität, Pagination, Remote-Requests und Ressourcenfreigabe. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen parallelisierten und getesteten Datenlesepfad dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Typabbildung und Pushdown

Schwerpunkt: Trino-Typen, Quelltypen, Nullwerte, Zeit, Dezimalwerte, komplexe Typen, Predicate-, Projection-, Limit- und Aggregation-Pushdown.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Typabbildung und Pushdown“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Trino-Typen, Quelltypen, Nullwerte, Zeit, Dezimalwerte, komplexe Typen, Predicate-, Projection-, Limit- und Aggregation-Pushdown. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine korrekte Typ- und Optimierungsimplementierung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Schreiben, CTAS und MERGE

Schwerpunkt: PageSink, OutputTableHandle, Commit, Rollback, INSERT, CREATE TABLE AS, UPDATE, DELETE, MERGE und Fehlerkompensation.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Schreiben, CTAS und MERGE“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von PageSink, OutputTableHandle, Commit, Rollback, INSERT, CREATE TABLE AS, UPDATE, DELETE, MERGE und Fehlerkompensation. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen kontrollierten Schreib- und Transaktionspfad dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

8. Funktionen, Zugriffskontrolle und Events

Schwerpunkt: Scalar Functions, Table Functions, System Access Control, Authenticatoren, Group Provider, Event Listener und Erweiterungsgrenzen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Funktionen, Zugriffskontrolle und Events“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Scalar Functions, Table Functions, System Access Control, Authenticatoren, Group Provider, Event Listener und Erweiterungsgrenzen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine begründete Plugin-Erweiterungsstrategie dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

9. Tests, Packaging und Release

Schwerpunkt: Unit-, Integration- und Produktnah-Tests, Testcontainer, Concurrency, Fehlerfälle, JAR-Paket, Plugin-Verzeichnis, Kompatibilität und Upgrade.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Tests, Packaging und Release“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Unit-, Integration- und Produktnah-Tests, Testcontainer, Concurrency, Fehlerfälle, JAR-Paket, Plugin-Verzeichnis, Kompatibilität und Upgrade. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen reproduzierbaren Test-, Paketierungs- und Releaseprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Erstellung eines neuen Connector-Projekts mit Konfigurationsvalidierung.
• Implementierung von Schema-, Tabellen- und Spaltenmetadaten.
• Entwicklung eines parallelisierten PageSource-Lesewegs.
• Ergänzung eines Pushdown- und Schreibpfads mit Integrationstests.

Zielgruppe und Voraussetzungen

Zielgruppe: Java-Entwicklung, Data-Platform-Engineering, Connector- und Produktentwicklung, technische Architektur und Open-Source-Beitragende.

Voraussetzungen: Sehr gute Java- und Maven-Kenntnisse, Testpraxis, SQL-Grundlagen und Verständnis verteilter Systeme.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als technischer Standard wiederholbar bleiben.