ServiceNow und Kafka: Stream Connect (2/3)

Drei Wege, ServiceNow und Kafka zu verbinden

2023 hat das Rynex-Team eng mit einem unserer Kunden zusammengearbeitet, um verschiedene Wege zu prüfen, ServiceNow und Kafka zu verbinden. Diese Erfahrung teilen wir mit der Community - in der Hoffnung, dass sie im eigenen Projekt hilft und Recherchezeit spart.

Im Zuge der Recherche haben wir drei mögliche Wege (Proof of Concepts) untersucht, ServiceNow an Kafka anzubinden:

• Data Streaming mit dem Confluent Kafka Connector
• Data Streaming mit ServiceNow Stream Connect (dieser Artikel)
• Datensynchronisation über eine Integrationsplattform

Teil zwei knüpft dort an, wo der Confluent-Connector aufhört - mit dem Weg, den ServiceNow selbst mitbringt.

Was Stream Connect ist

Das Stream-Connect-Plugin dient als Brücke: Es zieht relevante Daten aus ServiceNow-Tabellen und veröffentlicht sie in Kafka-Topics. Es verbindet die Kafka-Umgebung mit der ServiceNow-Instanz und ermöglicht so, Daten zwischen Instanz und externen Systemen zu streamen. Anders als der Confluent-Connector aus Teil eins arbeitet Stream Connect mit Standard-Kafka und benötigt keine Enterprise-Lizenz für die Confluent-Plattform.

Erforderlich ist jedoch eine Lizenz von ServiceNow. Erst danach werden die Kafka-bezogenen Funktionen des Hermes Messaging Service verfügbar. Das gilt selbst für Non-Prod-Umgebungen, da ServiceNow im eigenen Rechenzentrum zusätzliche Dienste (Server) startet. Der Hermes Messaging Service ist ein mandantenfähiger, mehrfach geclusterter Datentransport- und Queuing-Dienst auf Basis von Apache Kafka. Er ermöglicht der Instanz, große Mengen an Kafka-Events zu produzieren und zu konsumieren, und ist die Now-Platform-Funktion, die als Teil von Stream Connect for Apache Kafka, Log Export Service (LES) und Instance Data Replication (IDR) verfügbar ist.

Für den Hermes Messaging Service sind folgende Plugins zu aktivieren:

• com.glide.hub.flow_trigger.kafka
• com.glide.hub.etl_consumer.kafka
• com.glide.hub.kafka_consumer
• com.glide.hub.action_step.kafka

Wichtig: Wer ServiceNow Stream Connect ausprobieren möchte, spricht zuerst mit dem Ansprechpartner bei ServiceNow. Ohne die passende Infrastruktur auf der ServiceNow-Seite lässt sich kein Proof of Concept durchführen.

Schlüsselkomponenten

• Kafka-Events in großem Umfang veröffentlichen und verarbeiten: Events aus der ServiceNow-Instanz in die Kafka-Umgebung publizieren und Kafka-Events aus externen Systemen mit hohem Volumen und niedriger Latenz konsumieren.
• Flows bauen, die Kafka-Events erzeugen und konsumieren: Stream Connect ist in den Flow Designer integriert und bietet einen Low-Code-Weg, Kafka-Nachrichten zu veröffentlichen und zu verarbeiten.
• Bestehende Transformationen weiternutzen: Daten aus der Kafka-Umgebung importieren und mit der vorhandenen Robust Transform Engine (RTE) oder Transform-Map-Konfigurationen verarbeiten.
• Eigene Consumer skripten: Einen Consumer konfigurieren, der Daten aus einem Kafka-Topic mit eigenen Skripten verarbeitet.
• Performance überwachen: Die Consumer mit detailliertem Reporting zu Statistiken und Leistungskennzahlen im Blick behalten.

Einschränkungen

• Maximale Nachrichtengröße: 2 MB
• Maximale Nachrichtengröße pro Sekunde: 2 MB (produziert oder konsumiert)
• Anzahl Topics: 30 pro Instanz
• Maximale Anzahl Partitionen: 32 pro Topic
• Aufbewahrung (Retention): 36 Stunden

Fazit

In unserem konkreten Geschäftsfall konnten wir diese Methode nicht nutzen, da uns die Lizenz für den Hermes Messaging Service fehlte. Dennoch haben wir zentrale Bereiche des Connectors und seiner Fähigkeiten erkundet, woraus sich einige Schlüsse ziehen lassen.

Data Streaming mit ServiceNow Stream Connect erlaubt es, mehrere Datenquellen zu nutzen und Daten während der Nachrichtenübertragung zwischen ServiceNow und Apache Kafka zu manipulieren. Die endgültigen Umsetzungskosten variieren von Fall zu Fall, je nach Preispolitik der ServiceNow-Plattform. Die Kosten von Stream Connect sollten daher gegen den Wert für die Organisation abgewogen und mit alternativen Lösungen verglichen werden.