Sv translation

language	en

Introduction

This document describes the possibilities of monitoring the jtel system within the framework of an operational concept and integrating it into an alarm system or telemetry. Regarding the architecture and structure of the system, reference is made to other documents and to the specific project specification sheet.

General

There are many tools that can be used to monitor systems during operation. jtel relies on the tool Nagios, although other tools can certainly be used. In individual cases, please ask us.

If it is desired to set up monitoring for your system, jtel requires an additional server in the system architecture on which the Nagios server is installed. If you already have a Nagios server, it can be used. A Nagios client with corresponding plug-ins is installed on the individual servers of the jtel system. The installation is done on a service basis. Generally, no more than one day should be necessary for this.

Furthermore, it is possible to carry out a so-called end-to-end test on a regular basis. This test can be used to ensure that the system's telephony paths actually work continuously by having an external system (at jtel) call the system on a test number and in turn connect to an external system at jtel.

Prometheus and Grafana

jtel relies on the Prometheus system to acquire telemetry data and Grafana to display it. Other monitoring systems can be implemented as a project if desired.

The monitoring system is configured to monitor various points in the system. Here, measured values such as RAM and CPU utilisation are observed, and individual processes are also monitored to see whether they are actually running. It is recommended to install the monitoring system on a separate physical machine.

If a threshold is exceeded or an individual part of the system does not react, an alarm is triggered. This alarm can be sent by SMS or email.

As a general rule, the first failed attempt to reach a system part should not immediately trigger an alarm, but the test should be repeated a short time later. Only after two failed attempts should an alarm be triggered.

Monitoring

Depending on the system, the services to be monitored will vary.

The right services are selected on the basis of the corresponding installed roles. Also see https://wiki.jtel.de/display/JPW/Installation.

In order to monitor the services used, several so-called "exporters" are installed. These provide telemetry data to Prometheus and are queried regularly. It is thus possible to view a history of telemetry data in Grafana

Telemetry

In telemetry, values are measured. Values can exceed a certain warning or error threshold at which an action is triggered - i.e. a warning or error message is generated.

Running services

In the case of running services, a description is given of which services must be running in order to guarantee a certain function.

This measurement is binary: if a service is not running, an error is triggered because a function is then impaired.

Please note that in installations where certain components are not running, some alarms will be disabled. For example, if the email service has not been licensed, this alarm is deactivated.

In the following tables, no special alarm is documented in this case - if the service is not running, an error is always triggered by email and, if connected, SMS.

All Roles

These monitoring points should be set up on all systems.

Telemetry

Monitor point	Measured value	Action on error	Comment
Ping Test	Ping succesful	SMS + email	Machine is accessible.
Harddrive Operating system + data	80% 90%	email SMS + email	When the hard disk capacity is reached, it is to be expected that individual components will no longer function correctly.
CPU	> 80% longer than 2 minutes 100% longer than 1 minute	email SMS + email	The system is overloaded. A process part may not be working correctly.
Time synchronisation	Time, comparison with NTP server, delta < 2 seconds	SMS + email	Time synchronisation differences between the systems can lead to errors in the calculation of the queues and statistics.

Running services

Service	Measured value	Action on error	Comment
ntp Service (Windows)	Service running	SMS + email	The time synchronisation service is running.
chronyd (Linux)	Service running	SMS + email	The time synchronisation service is running.

Role TEL - Windows

Telemetry

Monitor point	Measured value	Action on error	Comment
error.log	Growing too fast (> 10kB per second)	SMS + email	If the error.log grows quickly, there may be a system error..
error.log	DB Connection error (ODBC error)	SMS + email	The database connectivity is disrupted.

Running services

Service	Program	Comment
Telephony server	robot5.exe	If this process is not running, telephony is not accessible.
SIP / RTP Service	giHal.exe	If this process is not running, telephony is not accessible.
SIP Registration service	giAcu.exe	If this process is not running, the SIP Trunk to PBX will not be registered. Note: this service is not required for all installations.
Platform UDP Listener	javaw.exe (platform-UDP-listener-1.0-jar-with-dependencies.jar)	If this process is not running, no messages about calls running in the telephony server are transmitted to the rest of the installation. Thus, for example, only a partial update of the update of the data in the agent home takes place.

Rolle

.

Role TEL - Linux

Telemetry

Monitor point	Measured value	Action on error	Location	Comment
error.blog	Growing too fast (> 10kB per second)	SMS + email	/home/jtel/blazar/log/error.blog	If the error.blog grows quickly, there may be a system error..
error.blog	DB Connection error (ODBC error)	SMS + email	/home/jtel/blazar/log/error.blog	The database connectivity is disrupted.

Running services

Service	Service	Comment
Telephony server	jtel-presence-aggregator.service	If this process is not running, telephony is not accessible.
SIP / RTP Service	freeswitch.service	If this process is not running, telephony is not accessible.
SIP Registration service	freeswitch.service	If this process is not running, the SIP Trunk to PBX will not be registered
Platform UDP Listener	jtel-listener	If this process is not running, no messages about calls running in the telephony server are transmitted to the rest of the installation. Thus, for example, only a partial update of the update of the data in the agent home takes place.

Role LB

Telemetry

Monitor point	Measured value	Action on error	Comment
Port 80 TCP	Port is reachable	SMS + email	The load balancer can be reached via http.
Port 443 TCP	Port is reachable	SMS + email	The load balancer can be reached via https.
http call to http://(ip)/admin	200 OK inkl Web-Inhalt	SMS + email	The web application and SOAP interfaces are accessible via http.
http call to https://(ip)/admin	200 OK inkl Web-Inhalt	SMS + email	The web application and SOAP interfaces are accessible via https.

Running Services

Service	Program	Comment
Load Balancer Service	haproxy	If this process is not running, the web application or SOAP interface of the solution is not accessible.

Rolle

Role WEB

Telemetry

Monitor point	Measured value	Action on error	Comment
Port 8080 TCP	Port is reachable	SMS + email	The web application or SOAP interface is accessible.
http call to http://(ip):8080/admin	200 OK incl web content	SMS + email	The web application and SOAP interface are accessible.

Running Services

Service	Program	Comment
Web Server Service	wildfly	If this process is not running, the web server is not accessible.

Rolle

Role DB

Telemetry

Monitor point	Measured value	Action on error	Comment
MySQL Master	Alarm threshold at 30 seconds for long-lasting queries on the master database.	SMS + email	Individual database queries do not require a disproportionately long time.
MySQL Slave	No errors, Seconds behind Master is low (< 5 seconds).	SMS + email	The slave database replicates correctly.

Running Services

Service	Program	Comment
MySQL Database Server	mysqld	If this process is not running, the database is not accessible

Rolle

Role REST - Windows

Service / Installed where	Program	Comment
jrest REST Service / Role TEL or one of the Linux servers	javaw.exe (jtel-jrest-1.0.jar)jrest (linux)	If this process is not running, the jtel REST service is not accessible.

Role REST - Linux

Service / Installed where	Program	Comment
jrest REST Service	jrest	If this process is not running, the jtel REST service is not accessible.

TK- und Presence Connectoren - Windows

Service / Installed where	Program	Comment
Presence Connector (Teams, NFON, Cisco and others) / Role TEL	javaw.exe (jtel-system-presence-aggregator-1.0.jar)	If this process is not running, presence data is no longer transmitted from teams and the PBX to the jtel system. The transmission of data back to Teams is also disrupted.
Innovaphone PBX Connector / Role TEL	JTELInnovaphonePBXService.exe	If this process is not running, no more presence data is transmitted from the PBX to the jtel system. The off-hook function is disturbed. The detection of whether a call has been transferred is disturbed.
TAPI PBX Connector / Role TEL	jtelTAPIMonitorService.exe	If this process is not running, no more presence data is transmitted from the PBX to the jtel system. The off-hook function is disturbed. The detection of whether a call has been transferred is disturbed.
STARFACE v2 Connector / Role TEL	jtelStarface6v2SOAPWindowsService.exe	If this process is not running, no calls are put through to the jtel system. No more presence data is transmitted from the PBX to the jtel system.

email Servicee

TK- und Presence Connectoren - Linux

email (IMAPjtelIMAPMailService.exe emails will not be collected and processed from IMAP mailboxes.email (Exchange) jtelEWSMailServiceexe emails will not be fetched and processed from Exchange server mailboxes.

Service / Installed where	Program	Comment
Presence Connector (Teams, NFON, Cisco and others) / Role TEL
jtel-presence-aggregator.service	If this process is not running,
presence data is no longer transmitted from teams and the PBX to the jtel system. The transmission of data back to Teams is also disrupted.
Innovaphone PBX Connector
/ Role TEL
jtel-innovaphone.
service	If this process is not running,
no more presence data is transmitted from the PBX to the jtel system. The off-hook function is disturbed. The detection of whether a call has been transferred is disturbed.
STARFACE v2 Connector / Role TEL	jtel-starface-listener.service	If this process is not running, no calls are put through to the jtel system. No more presence data is transmitted from the PBX to the jtel system.

email Service - Windows

Service / Installed where	Program	Comment
email (IMAP) / Role TEL	jtelIMAPMailService.exe	If this process is not running, emails will not be collected and processed from IMAP mailboxes.
email (Exchange) / Role TEL	jtelEWSMailService.exe	If this process is not running, emails will not be fetched and processed from Exchange server mailboxes.

email Service - Linux

Service / Installed where	Program	Comment
email (IMAP) / Role TEL	jtel-imap-listener.service	If this process is not running, emails will not be collected and processed from IMAP mailboxes.

Einführung

Dieses Dokument beschreibt die Möglichkeiten das jtel System im Rahmen eines Betriebskonzeptes zu monitoren und in eine Alarmierung einzubinden, bzw. eine Telemetrie. Betreffend Architektur sowie Aufbau des Systems wird auf andere Dokumente verwiesen sowie auf das konkrete Projekt-Pflichtenheft.

Generell

Es gibt viele Tools die genutzt werden können, um Systeme im laufenden Betrieb zu monitoren. jtel setzt auf das Tool Nagios, wobei durchaus andere Tools genutzt werden können. Im Einzelfall fragen Sie bei uns nach.

Sollte es gewünscht sein, dass ein Monitoring für Ihr System aufgebaut wird, benötigt jtel in der Systemarchitektur einen zusätzlichen Server, auf dem der Nagios Server installiert wird. Haben Sie bereits einen Nagios Server, so kann dieser verwendet werden. Auf den einzelnen Servern des jtel Systems wird ein Nagios Client mit entsprechenden Plug-Ins installiert. Die Einrichtung erfolgt auf Dienstleistungsbasis. Generell sollte nicht mehr als ein Tag hierfür nötig sein.

Desweiteren besteht die Möglichkeit, einen sogenannten End-to-End Test regelmäßig durchzuführen. Mit diesem Test kann sichergestellt werden, dass die Telefonie-Wege des Systems auch tatsächlich durchgehend funktionieren, indem ein externes System (bei jtel) das System auf einer Testrufnummer anruft und sich wiederrum auf ein externes System bei jtel verbinden lässt.

Prometheus und Grafana

jtel setzt auf das Prometheus-System, um Telemetrie-Daten zu gewinnen und Grafana um diese anzuzeigen. Andere Monitoring-Systeme können auf Wunsch als Projekt implementiert werden.

Das Monitoring System wird so konfiguriert, dass diverse Punkte im System überwacht werden. Hierbei werden Messewerte wie RAM und CPU-Auslastung beobachtet, außerdem werden Einzelprozesse beobachtet, ob sie auch tatsächlich laufen. Es ist zu empfehlen das Monitoring System auf eine separate physikalische Maschine zu installieren.

Sollte eine Schwelle überschritten werden oder ein Einzelteil des Systems nicht reagieren, wird ein Alarm ausgelöst. Dieser Alarm kann per SMS oder E-Mail versendet werden.

Generell gilt: Der erste Fehlversuch einen Systemteil zu erreichen, sollte nicht unmittelbar einen Alarm auslösen, sondern der Test sollte eine kurze Zeit später wiederholt stattfinden. Erst bei zweifachem Fehlversuch sollte alarmiert werden.

Überwachung

Je nach System werden die Dienste, die es zu überwachen gilt, unterschiedlich sein.

Die Auswahl der richtigen Dienste erfolgt anhand der entsprechend installierten Rollen. Siehe auch https://wiki.jtel.de/display/JPW/Installation.

Um die eingesetzten Dienste zu überwachen, werden mehrere sogenannte „Exporter“ installiert. Diese liefern Telemetriedaten an Prometheus und werden regelmäßig abgefragt. So ist es möglich, eine Historie der Telemetriedaten in Grafana zu betrachten

Telemetrie

Bei Telemetrie werden Werte gemessen. Werte können eine gewisse Warn- oder Fehler-Schwelle überschreiten, bei den eine Aktion ausgelöst wird – also eine Warnung oder Fehlermeldung generiert.

Laufdende Dienste

Bei laufenden Diensten wird beschrieben welche Dienste laufen müssen damit eine gewisse Funktion gewährleistet ist.

Diese Messung ist binär: läuft ein Dienst nicht, wird ein Fehler ausgelöst, da dann eine Funktion beeinträchtigt ist.

Bitte beachten Sie, dass bei Installationen bei den gewisse Komponenten nicht laufen, manche Alarmierungen deaktiviert werden. Beispielsweise wurde der E-Mail-Dienst nicht lizenziert, so wird dieser Alarm deaktiviert.

In den nachfolgenden Tabellen wird hier kein besonderer Alarm dokumentiert – wenn der Dienst nicht läuft wird stets ein Fehler per E-Mail und falls angebunden SMS ausgelöst.

Alle Rollen

Diese Monitorpunkte sollten auf allen Systemen eingerichtet werden.

Telemetrie

Zeitsynchronisierung

Laufende Dienste

Rolle TEL

Telemetrie

Laufende Dienste

Rolle LB

Telemetrie

Laufende Dienste

Rolle WEB

Telemetrie

Laufende Dienste

Rolle DB

Telemetrie

Laufende Dienste

Rolle REST

jrest REST Service /

Rolle TEL oder einer der Linux Server

javaw.exe (jtel-jrest-1.0.jar)

jrest (linux)

TK- und Presence Connectoren

E-Mail Dienste

Wenn dieser Prozess nicht läuft, werden E-Mails nicht von Exchange-Server-Postfächern abgeholt und verarbeitet.

Sv translation

language	de

Sv translation

language	de

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

Ping Test

Ping erfolgreich

SMS + E-Mail

Maschine ist erreichbar.

Festplatte

Betriebssystem + Daten

80%

90%

E-Mail

SMS + E-Mail

Bei Erreichen der Festplattenkapazität ist damit zu rechnen, dass einzelne Komponenten nicht mehr korrekt funktionieren.

CPU

> 80% über 2 Minuten

100% über eine Minute

E-Mail

SMS + E-Mail

Das System ist überlastet. Ein Prozessteil funktioniert möglicherweise nicht korrekt.

Zeit, Vergleich mit

NTP Server, Delta < 2 Sekunden

SMS + E-Mail

Zeitsynchronisierungsunterschiede zwischen den Systemen können zu Fehlern in der Berechnung der Queues und Statistik führen.

Dienst

Messwert

Aktion bei Fehler

Kommentar

ntp Dienst (Windows)

Dienst läuft

SMS + E-Mail

Der Zeitsynchronisationsdienst läuft.

chronyd (Linux)

Dienst läuft

SMS + E-Mail

Der Zeitsynchronisationsdienst läuft.

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

error.log

Wächst zu schnell (> 10kB pro Sekunde)

SMS + E-Mail

Wächst der error.log schnell, so liegt womöglich ein Systemfehler vor.

error.log

DB Verbindungsfehler (ODBC Fehler)

SMS + E-Mail

Die Datenbankkonnektivität ist gestört.

Dienst

Programm

Kommentar

Telefonieserver

robot5.exe

Wenn dieser Prozess nicht läuft, ist die Telefonie nicht erreichbar.

SIP / RTP Dienst

giHal.exe

Wenn dieser Prozess nicht läuft, ist die Telefonie nicht erreichbar.

SIP Registrierungsdienst

giAcu.exe

Wenn dieser Prozess nicht läuft, wird der SIP Trunk zu TK-Anlage nicht registriert. Beachte: dieser Dienst ist nicht bei allen Installationen erforderlich.

Platform UDP Listener

javaw.exe

(platform-UDP-listener-1.0-jar-with-dependencies.jar)

Wenn dieser Prozess nicht läuft, werden keine Nachrichten zu im Telefonie-Server laufenden Calls an den Rest der Installation übermittelt. Somit findet beispielsweise nur eine Teilweise-

Aktualisierung der Daten im Agent-Home statt.

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

Port 80 TCP

Port ist erreichbar

SMS + E-Mail

Der Load-Balancer ist über http erreichbar.

Port 443 TCP

Port ist erreichbar

SMS + E-Mail

Der Load-Balancer ist über https erreichbar.

http Aufruf auf http://(ip)/admin

200 OK inkl Web-Inhalt

SMS + E-Mail

Die Web-Anwendung sowie SOAP Schnittstellen sind über http erreichbar.

http Aufruf auf https://(ip)/admin

200 OK inkl Web-Inhalt

SMS + E-Mail

Die Web-Anwendung sowie SOAP Schnittstellen sind über https erreichbar.

Dienst

Programm

Kommentar

Load Balancer Dienst

haproxy

Wenn dieser Prozess nicht läuft, ist die Webanwendung bzw. SOAP Schnittstelle der Lösung nicht erreichbar.

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

Port 8080 TCP

Port ist erreichbar

SMS + E-Mail

Die Webanwendung bzw. SOAP Schnittstelle ist erreichbar.

http Aufruf auf http://(ip):8080/admin

200 OK inkl Web-Inhalt

SMS + E-Mail

Die Web-Anwendung sowie SOAP Schnittstelle ist erreichbar.

Dienst

Programm

Kommentar

Web Server Dienst

wildfly

Wenn dieser Prozess nicht läuft, ist der Webserver nicht erreichbar.

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

MySQL Master

Alarmschwelle bei 30 Sekunden für lang andauernde Queries auf der Master-Datenbank.

SMS + E-Mail

Einzelne Datenbankqueries benötigen keine überproportional lange Zeit.

MySQL Slave

Keine Fehler, Seconds behind Master ist gering (< 5 Sekunden).

SMS + E-Mail

Die Slave Datenbank repliziert korrekt.

Dienst

Programm

Kommentar

MySQL Datenbank Server

mysqld

Wenn dieser Prozess nicht läuft, ist die Datenbank nicht erreichbar

Dienst / Wo Installiert

Programm

Kommentar

Wenn dieser Prozess nicht läuft, ist der jtel REST Service nicht erreichbar.

Dienst / Wo Installiert

Programm

Kommentar

Presence Connector (Teams, NFON, Cisco und andere) / Rolle TEL

javaw.exe

(jtel-system-presence-aggregator-1.0.jar)

Wenn dieser Prozess nicht läuft, werden keine Presence-Daten mehr von Teams sowie die TK-Anlage zum jtel System übermittelt. Auch die Rückübermittlung der Daten an Teams ist gestört.

Innovaphone PBX Connector / Rolle TEL

JTELInnovaphonePBXService.exe

Wenn dieser Prozess nicht läuft, werden keine Presence-Daten mehr von der TK-Anlage zum jtel System übermittelt. Die Funktion Abheben ist gestört. Die Erkennung, ob ein Anruf weitervermittelt wurde, ist gestört.

TAPI PBX Connector / Rolle TEL

jtelTAPIMonitorService.exe

Wenn dieser Prozess nicht läuft, werden keine Presence-Daten mehr von der TK-Anlage zum jtel System übermittelt. Die Funktion Abheben ist gestört. Die Erkennung, ob ein Anruf weitervermittelt wurde, ist gestört.

STARFACE v2 Connector / Rolle TEL

jtelStarface6v2SOAPWindowsService.exe

Wenn dieser Prozess nicht läuft, werden keine Calls zum jtel System durchgestellt. Es werden auch keine Presence-Daten mehr von der TK-Anlage zum jtel System übermittelt.

Dienst / Wo Installiert

Programm

Kommentar

E-Mail (IMAP) / Rolle TEL

jtelIMAPMailService.exe

Wenn dieser Prozess nicht läuft, werden E-Mails nicht von IMAP Postfächern abgeholt und verarbeitet.

E-Mail (Exchange) / Rolle TEL

jtelEWSMailService.exe

Page tree

Page History

Versions Compared

Old Version 9

New Version Current

Key

Introduction

General

Prometheus and Grafana

Monitoring

Telemetry

Running services

All Roles

Telemetry

Running services

Role TEL - Windows

Telemetry

Running services

Role TEL - Linux

Telemetry

Running services

Role LB

Telemetry

Running Services

Role WEB

Telemetry

Running Services

Role DB

Telemetry

Running Services

Role REST - Windows

Role REST - Linux

TK- und Presence Connectoren - Windows

TK- und Presence Connectoren - Linux

email Service - Windows

email Service - Linux

Einführung

Generell

Prometheus und Grafana

Überwachung

Telemetrie

Laufdende Dienste

Alle Rollen

Telemetrie

Laufende Dienste

Rolle TEL

Telemetrie

Laufende Dienste

Rolle LB

Telemetrie

Laufende Dienste

Rolle WEB

Telemetrie

Laufende Dienste

Rolle DB

Telemetrie

Laufende Dienste

Rolle REST

TK- und Presence Connectoren

E-Mail Dienste