ServiceNow und Kafka: Der Confluent-Connector (1/3)

Drei Wege, ServiceNow und Kafka zu verbinden

2023 hat das Rynex-Team eng mit einem unserer Kunden zusammengearbeitet, um verschiedene Wege zu prüfen, ServiceNow und Kafka zu verbinden. Diese Erfahrung teilen wir mit der Community - in der Hoffnung, dass sie im eigenen Projekt hilft und Recherchezeit spart.

Im Zuge der Recherche haben wir drei mögliche Wege (Proof of Concepts) untersucht, ServiceNow an Kafka anzubinden:

• Data Streaming mit dem Confluent Kafka Connector (dieser Artikel)
• Data Streaming mit ServiceNow Stream Connect
• Datensynchronisation über eine Integrationsplattform

Dies ist der erste Artikel der Serie, und heute geht es um Data Streaming mit dem Confluent Kafka Connector.

So arbeitet der Connector

Der Confluent Kafka Connect ServiceNow Source Connector ist im Confluent Connector Hub verfügbar und lässt sich mit wenigen Klicks in die Confluent-Kafka-Umgebung installieren. Er bewegt Daten und Aktualisierungen aus einer ServiceNow-Tabelle in Echtzeit nach Apache Kafka.

Der Connector liest Daten aus einer ServiceNow-Tabelle, um Datensätze in einem Kafka-Topic anzulegen und zu aktualisieren. Der passende Sink Connector überträgt Daten von Kafka zurück nach ServiceNow.

Schlüsselkomponenten

• Nur ein Task: Der ServiceNow Source Connector führt nur einen Task aus - eine Tabelle wird von einem Task bearbeitet.
• Zustellgarantie: Im Normalbetrieb stellt der Connector jede ServiceNow-Aktualisierung genau einmal an Kafka zu. Duplikate sind in einigen Situationen dennoch möglich: bei vorübergehenden Netzwerkstörungen, nach nicht sauberen Abschaltungen oder wenn Connectors und Tasks neu eingeplant werden.
• Automatische Wiederholungen: Bei Netzwerkfehlern zum ServiceNow-Endpoint versucht der Connector automatisch erneut, Daten abzurufen. Die Eigenschaft retry.max.times steuert die Anzahl der Versuche; jedem Wiederholungsintervall wird ein exponentielles Back-off hinzugefügt.
• HTTPS-Proxy: Der Connector kann ServiceNow über einen HTTPS-Proxy-Server erreichen.
• Elastizität: Zwei Parameter begrenzen den Durchsatz: batch.max.rows und poll.interval.s. Standardmäßig nutzt der Connector 10.000 Datensätze und ein Intervall von 20 Sekunden. Fallen innerhalb des Intervalls sehr viele Aktualisierungen an, paginiert er die Datensätze gemäß der konfigurierbaren Batch-Größe. Da ServiceNow eine Genauigkeit von einer Sekunde bietet, ist eine Sekunde der niedrigste mögliche Wert für poll.interval.s.
• Echtzeit und Historie: Der Connector unterstützt einen definierten Startpunkt in der Vergangenheit. Er kann alle historischen Datensätze in einem Durchlauf abrufen und anschließend zu den Echtzeit-Datensätzen aufschließen.

Einschränkungen

Der ServiceNow Source Connector ist sehr leistungsfähig. Wichtig ist jedoch: Folgende Tabellentypen werden nicht unterstützt:

• System Audit (sys_audit)
• Audit Relationship Change (sys_audit_relation)
• History (sys_history_line)

Für jede Tabelle ist ein eigener Task erforderlich. Sind viele Tabellen beteiligt, ist dieser Ansatz womöglich nicht die beste Lösung.

Umgebung einrichten

• Die ServiceNow-Instanz mit einem konfigurierten API-User bereitstellen, der die nötigen Berechtigungen für die definierten Tabellen hat.
• Das Kafka-Cluster samt der benötigten Benutzergruppen, Benutzer und Topics konfigurieren und bereitstellen.
• Den ServiceNow Source Connector aktivieren und konfigurieren. Hinweis: Der Connector ist möglicherweise nicht Teil der Lizenz (bitte prüfen) und kann je nach Laufzeit und Datenmenge zusätzliche Kosten verursachen.

Testen und Validieren

• Ausführlich testen, um Genauigkeit und Konsistenz der Datensynchronisation sicherzustellen.
• Die Datenintegrität prüfen und sicherstellen, dass Fehler angemessen behandelt werden.

Connector anbinden

Confluent Kafka bietet mit den Connector Plugins die Möglichkeit, Daten von Kafka nach ServiceNow und von ServiceNow nach Kafka zu übertragen. In dieser Schritt-für-Schritt-Beschreibung exportieren wir Daten aus ServiceNow nach Kafka - mit dem ServiceNow Source Connector, der Daten aus einer ServiceNow-Tabelle liest, um Datensätze in einem Kafka-Topic anzulegen und zu aktualisieren.

• Das Plugin "ServiceNow Source" auswählen und das Topic für den Export aus ServiceNow festlegen.
• Granular Access definieren: den Zugriff des Connectors auf die gewünschte Umgebung und die gewünschten Topics beschränken.
• Die Authentifizierungsdaten für die ServiceNow-Instanz eintragen.
• Das Ausgabeformat definieren und die Konfiguration bei Bedarf anpassen.
• Die Startzeit in UTC (yyyy-MM-dd) setzen: der Zeitpunkt, ab dem alle Aktualisierungen und Neuanlagen aus ServiceNow exportiert werden. Standardmäßig wird die Erstellungszeit verwendet; für den Import historischer Daten einen früheren Zeitpunkt setzen.
• Die Größe des Connectors festlegen: Das Sizing hängt von der Anzahl der Topics und der exportierten Datenmenge ab und lässt sich später für mehr Durchsatz skalieren.
• Den Connector benennen und starten.
• Den Status des Connect-Plugins prüfen.

Fazit

Für ein Unternehmen, das Confluent Kafka bereits einsetzt, ist dies ein sehr guter Ansatz. Im Vergleich zu den Methoden der folgenden Artikel besticht er durch vergleichsweise geringe Kosten und geringe Umsetzungskomplexität.

Seine wesentliche Grenze: Die Informationen lassen sich während der Übertragung zwischen Confluent Kafka und der ServiceNow-Plattform nicht manipulieren.