Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Sv translation
languageen

Introduction

This document describes the possibilities of monitoring the jtel system within the framework of an operational concept and integrating it into an alarm system or telemetry. Regarding the architecture and structure of the system, reference is made to other documents and to the specific project specification sheet.

General

There are many tools that can be used to monitor systems during operation. jtel relies on the tool Nagios, although other tools can certainly be used. In individual cases, please ask us.

If it is desired to set up monitoring for your system, jtel requires an additional server in the system architecture on which the Nagios server is installed. If you already have a Nagios server, it can be used. A Nagios client with corresponding plug-ins is installed on the individual servers of the jtel system. The installation is done on a service basis. Generally, no more than one day should be necessary for this.

Furthermore, it is possible to carry out a so-called end-to-end test on a regular basis. This test can be used to ensure that the system's telephony paths actually work continuously by having an external system (at jtel) call the system on a test number and in turn connect to an external system at jtel.

Prometheus and Grafana

jtel relies on the Prometheus system to acquire telemetry data and Grafana to display it. Other monitoring systems can be implemented as a project if desired.

The monitoring system is configured to monitor various points in the system. Here, measured values such as RAM and CPU utilisation are observed, and individual processes are also monitored to see whether they are actually running. It is recommended to install the monitoring system on a separate physical machine.

If a threshold is exceeded or an individual part of the system does not react, an alarm is triggered. This alarm can be sent by SMS or email.

As a general rule, the first failed attempt to reach a system part should not immediately trigger an alarm, but the test should be repeated a short time later. Only after two failed attempts should an alarm be triggered.

Monitoring

Depending on the system, the services to be monitored will vary.

The right services are selected on the basis of the corresponding installed roles. Also see https://wiki.jtel.de/display/JPW/Installation.

In order to monitor the services used, several so-called "exporters" are installed. These provide telemetry data to Prometheus and are queried regularly. It is thus possible to view a history of telemetry data in Grafana

Telemetry

In telemetry, values are measured. Values can exceed a certain warning or error threshold at which an action is triggered - i.e. a warning or error message is generated.

Running services

In the case of running services, a description is given of which services must be running in order to guarantee a certain function.

This measurement is binary: if a service is not running, an error is triggered because a function is then impaired.

Please note that in installations where certain components are not running, some alarms will be disabled. For example, if the email service has not been licensed, this alarm is deactivated.

In the following tables, no special alarm is documented in this case - if the service is not running, an error is always triggered by email and, if connected, SMS.

All Roles

These monitoring points should be set up on all systems.

Telemetry

Monitor point

Measured value

Action on error

Comment

Ping Test

Ping succesful

SMS + email

Machine is accessible.

Harddrive

Operating system + data

80%

90%

email

SMS + email

When the hard disk capacity is reached, it is to be expected that individual components will no longer function correctly.

CPU

> 80% longer than 2 minutes

100% longer than 1 minute

email

SMS + email

The system is overloaded. A process part may not be working correctly.

Time synchronisation


Time, comparison with NTP server, delta < 2 seconds

SMS + email

Time synchronisation differences between the systems can lead to errors in the calculation of the queues and statistics.

Running services

Service

Measured value

Action on error

Comment

ntp Service (Windows)

Service running

SMS + email

The time synchronisation service is running.

chronyd (Linux)

Service running

SMS + email

The time synchronisation service is running.

Role TEL

Telemetry

Monitor point

Measured value

Action on error

Comment

error.log

Growing too fast (> 10kB per second)

SMS + email

If the error.log grows quickly, there may be a system error..

error.log

DB Connection error (ODBC error)

SMS + email

The database connectivity is disrupted.

Running services

Service

Program

Comment

Telephony server

robot5.exe

If this process is not running, telephony is not accessible.

SIP / RTP Service

giHal.exe

If this process is not running, telephony is not accessible.

SIP Registration service

giAcu.exe

If this process is not running, the SIP Trunk to PBX will not be registered. Note: this service is not required for all installations.

Platform UDP Listener

javaw.exe

(platform-UDP-listener-1.0-jar-with-dependencies.jar)

If this process is not running, no messages about calls running in the telephony server are transmitted to the rest of the installation. Thus, for example, only a partial update of the

update of the data in the agent home takes place.

Rolle LB

Telemetry

Monitor point

Measured value

Action on error

Comment

Port 80 TCP

Port is reachable

SMS + email

The load balancer can be reached via http.

Port 443 TCP

Port is reachable

SMS + email

The load balancer can be reached via https.

http call to http://(ip)/admin

200 OK inkl Web-Inhalt

SMS + email

The web application and SOAP interfaces are accessible via http.

http call to https://(ip)/admin

200 OK inkl Web-Inhalt

SMS + email

The web application and SOAP interfaces are accessible via https.

Running Services

Service

Program

Comment

Load Balancer Service

haproxy

If this process is not running, the web application or SOAP interface of the solution is not accessible.

Rolle WEB

Telemetry

Monitor point

Measured value

Action on error

Comment

Port 8080 TCP

Port is reachable

SMS + email

The web application or SOAP interface is accessible.

http call to http://(ip):8080/admin

200 OK incl web content

SMS + email

The web application and SOAP interface are accessible.

Running Services

Service

Program

Comment

Web Server Service

wildfly

If this process is not running, the web server is not accessible.

Rolle DB

Telemetry

Monitor point

Measured value

Action on error

Comment

MySQL Master

Alarm threshold at 30 seconds for long-lasting queries on the master database.

SMS + email

Individual database queries do not require a disproportionately long time.

MySQL Slave

No errors, Seconds behind Master is low (< 5 seconds).

SMS + email

The slave database replicates correctly.

Running Services

Service

Program

Comment

MySQL Database Server

mysqld

If this process is not running, the database is not accessible

Rolle REST

Service / Installed where

Program

Comment

jrest REST Service /


Role TEL or one of the Linux servers

javaw.exe (jtel-jrest-1.0.jar)


jrest (linux)


If this process is not running, the jtel REST service is not accessible.

TK- und Presence Connectoren

Service / Installed where

Program

Comment

Presence Connector (Teams, NFON, Cisco and others) / Role TEL

javaw.exe

(jtel-system-presence-aggregator-1.0.jar)

If this process is not running, presence data is no longer transmitted from teams and the PBX to the jtel system. The transmission of data back to Teams is also disrupted.

Innovaphone PBX Connector / Role TEL

JTELInnovaphonePBXService.exe

If this process is not running, no more presence data is transmitted from the PBX to the jtel system. The off-hook function is disturbed. The detection of whether a call has been transferred is disturbed.

TAPI PBX Connector / Role TEL

jtelTAPIMonitorService.exe

If this process is not running, no more presence data is transmitted from the PBX to the jtel system. The off-hook function is disturbed. The detection of whether a call has been transferred is disturbed.

STARFACE v2 Connector / Role TEL

jtelStarface6v2SOAPWindowsService.exe

If this process is not running, no calls are put through to the jtel system. No more presence data is transmitted from the PBX to the jtel system.

email Servicee

Service / Installed where

Program

Comment

email (IMAP) / Role TEL

jtelIMAPMailService.exe

If this process is not running, emails will not be collected and processed from IMAP mailboxes.

email (Exchange) / Role TEL

jtelEWSMailService.exe

If this process is not running, emails will not be fetched and processed from Exchange server mailboxes.


Rolle DB

Telemetrie

Sv translation
languagede

Einführung

Dieses Dokument beschreibt die Möglichkeiten das jtel System im Rahmen eines Betriebskonzeptes zu monitoren und in eine Alarmierung einzubinden, bzw. eine Telemetrie. Betreffend Architektur sowie Aufbau des Systems wird auf andere Dokumente verwiesen sowie auf das konkrete Projekt-Pflichtenheft.

Generell

Es gibt viele Tools die genutzt werden können, um Systeme im laufenden Betrieb zu monitoren. jtel setzt auf das Tool Nagios, wobei durchaus andere Tools genutzt werden können. Im Einzelfall fragen Sie bei uns nach.

Sollte es gewünscht sein, dass ein Monitoring für Ihr System aufgebaut wird, benötigt jtel in der Systemarchitektur einen zusätzlichen Server, auf dem der Nagios Server installiert wird. Haben Sie bereits einen Nagios Server, so kann dieser verwendet werden. Auf den einzelnen Servern des jtel Systems wird ein Nagios Client mit entsprechenden Plug-Ins installiert. Die Einrichtung erfolgt auf Dienstleistungsbasis. Generell sollte nicht mehr als ein Tag hierfür nötig sein.

Desweiteren besteht die Möglichkeit, einen sogenannten End-to-End Test regelmäßig durchzuführen. Mit diesem Test kann sichergestellt werden, dass die Telefonie-Wege des Systems auch tatsächlich durchgehend funktionieren, indem ein externes System (bei jtel) das System auf einer Testrufnummer anruft und sich wiederrum auf ein externes System bei jtel verbinden lässt.

Prometheus und Grafana

jtel setzt auf das Prometheus-System, um Telemetrie-Daten zu gewinnen und Grafana um diese anzuzeigen. Andere Monitoring-Systeme können auf Wunsch als Projekt implementiert werden.

Das Monitoring System wird so konfiguriert, dass diverse Punkte im System überwacht werden. Hierbei werden Messewerte wie RAM und CPU-Auslastung beobachtet, außerdem werden Einzelprozesse beobachtet, ob sie auch tatsächlich laufen. Es ist zu empfehlen das Monitoring System auf eine separate physikalische Maschine zu installieren.

Sollte eine Schwelle überschritten werden oder ein Einzelteil des Systems nicht reagieren, wird ein Alarm ausgelöst. Dieser Alarm kann per SMS oder E-Mail versendet werden.

Generell gilt: Der erste Fehlversuch einen Systemteil zu erreichen, sollte nicht unmittelbar einen Alarm auslösen, sondern der Test sollte eine kurze Zeit später wiederholt stattfinden. Erst bei zweifachem Fehlversuch sollte alarmiert werden.

Überwachung

Je nach System werden die Dienste, die es zu überwachen gilt, unterschiedlich sein.

Die Auswahl der richtigen Dienste erfolgt anhand der entsprechend installierten Rollen. Siehe auch wiki.jtel.de, abschnitt „Installation“: https://wiki.jtel.de/display/JPW/Installation.

Um die eingesetzten Dienste zu überwachen, werden mehrere sogenannte „Exporter“ installiert. Diese liefern Telemetriedaten an Prometheus und werden regelmäßig abgefragt. So ist es möglich, eine Historie der Telemetriedaten in Grafana zu betrachten

Telemetrie

Bei Telemetrie werden Werte gemessen. Werte können eine gewisse Warn- oder Fehler-Schwelle überschreiten, bei den eine Aktion ausgelöst wird – also eine Warnung oder Fehlermeldung generiert.

Laufdende Dienste

Bei laufenden Diensten wird beschrieben welche Dienste laufen müssen damit eine gewisse Funktion gewährleistet ist.

Diese Messung ist binär: läuft ein Dienst nicht, wird ein Fehler ausgelöst, da dann eine Funktion beeinträchtigt ist.

Bitte beachten Sie, dass bei Installationen bei den gewisse Komponenten nicht laufen, manche Alarmierungen deaktiviert werden. Beispielsweise wurde der E-Mail-Dienst nicht lizenziert, so wird dieser Alarm deaktiviert.

In den nachfolgenden Tabellen wird hier kein besonderer Alarm dokumentiert – wenn der Dienst nicht läuft wird stets ein Fehler per E-Mail und falls angebunden SMS ausgelöst.

Alle Rollen

Diese Monitorpunkte sollten auf allen Systemen eingerichtet werden.

Telemetrie

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

Ping Test

Ping erfolgreich

SMS + E-Mail

Maschine ist erreichbar.

Festplatte

Betriebssystem + Daten

80%

90%

E-Mail

SMS + E-Mail

Bei Erreichen der Festplattenkapazität ist damit zu rechnen, dass einzelne Komponenten nicht mehr korrekt funktionieren.

CPU

> 80% über 2 Minuten

100% über eine Minute

E-Mail

SMS + E-Mail

Das System ist überlastet. Ein Prozessteil funktioniert möglicherweise nicht korrekt.

Zeitsynchronisierung


Zeit, Vergleich mit

NTP Server, Delta < 2 Sekunden

SMS + E-Mail

Zeitsynchronisierungsunterschiede

zwischen den Systemen

kann

können zu

Fehler

Fehlern in der Berechnung der Queues und Statistik führen.

Laufende Dienste

Dienst

Messwert

Aktion bei Fehler

Kommentar

ntp Dienst (Windows)

Dienst läuft

SMS + E-Mail

Der Zeitsynchronisationsdienst läuft.

chronyd (Linux)

Dienst läuft

SMS + E-Mail

Der Zeitsynchronisationsdienst läuft.

Rolle TEL

Telemetrie

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

error.log

Wächst zu schnell (> 10kB pro Sekunde)

SMS + E-Mail

Wächst der error.log schnell, so liegt womöglich ein Systemfehler vor.

error.log

DB Verbindungsfehler (ODBC Fehler)

SMS + E-Mail

Die Datenbankkonnektivität ist gestört.

Laufende Dienste

Dienst

Programm

Kommentar

Telefonieserver

robot5.exe

Wenn dieser Prozess nicht läuft, ist die Telefonie nicht erreichbar.

SIP / RTP Dienst

giHal.exe

Wenn dieser Prozess nicht läuft, ist die Telefonie nicht erreichbar.

SIP Registrierungsdienst

giAcu.exe

Wenn dieser Prozess nicht läuft, wird der SIP Trunk zu TK-Anlage nicht registriert. Beachte: dieser Dienst ist nicht bei allen Installationen erforderlich.

Platform UDP Listener

javaw.exe

(platform-UDP-listener-1.0-jar-with-dependencies.jar)

Wenn dieser Prozess nicht läuft, werden keine Nachrichten zu im Telefonie-Server laufende laufenden Calls an den Rest der Installation übermittelt. Somit findet beispielsweise nur eine Teilweise-

Aktualisierung der Daten in im Agent-Home statt.

Rolle LB

Telemetrie

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

Port 80 TCP

Port ist erreichbar

SMS + E-Mail

Der Load-Balancer ist über http erreichbar.

Port 443 TCP

Port ist erreichbar

SMS + E-Mail

Der Load-Balancer ist über https erreichbar.

http Aufruf auf http://(ip)/admin

200 OK inkl Web-Inhalt

SMS + E-Mail

Die Web-Anwendung sowie SOAP Schnittstellen sind über http erreichbar.

http Aufruf auf https://(ip)/admin

200 OK inkl Web-Inhalt

SMS + E-Mail

Die Web-Anwendung sowie SOAP Schnittstellen sind über https erreichbar.

Laufende Dienste

Dienst

Programm

Kommentar

Load Balancer Dienst

haproxy

Wenn dieser Prozess nicht läuft, ist die Webanwendung bzw. SOAP Schnittstelle der Lösung nicht erreichbar.

Rolle WEB

Telemetrie

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

Port 8080 TCP

Port ist erreichbar

SMS + E-Mail

Die Webanwendung bzw. SOAP Schnittstelle ist  erreichbar.

http Aufruf auf http://(ip):8080/admin

200 OK inkl Web-Inhalt

SMS + E-Mail

Die Web-Anwendung sowie SOAP Schnittstelle ist erreichbar.

Laufende Dienste

Dienst

Programm

Kommentar

Web Server Dienst

wildfly

Wenn dieser Prozess nicht läuft, ist der Webserver nicht erreichbar.

Rolle DB

Telemetrie

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

MySQL Master

Alarmschwelle    bei 30 Sekunden für lang andauernde Queries     auf der Master-Datenbank.

SMS + E-Mail

Einzelne Datenbankqueries benötigen nicht   eine  überproportional lange Zeit.

MySQL Slave

Keine Fehler, Seconds behind Master ist gering (< 5 Sekunden).

SMS + E-Mail

Die Slave Datenbank

repliziert korrekt.

Laufende Dienste

Dienst

Programm

Kommentar

MySQL Datenbank Server

mysqld

Wenn dieser Prozess nicht läuft, ist die Datenbank nicht erreichbar

Monitorpunkt

Messwert

Aktion bei Fehler

Kommentar

MySQL Master

Alarmschwelle    bei Alarmschwelle bei 30 Sekunden für lang andauernde Queries     auf Queries auf der Master-Datenbank.

SMS + E-Mail

Einzelne Datenbankqueries benötigen nicht   eine  überproportional keine überproportional lange Zeit.

MySQL Slave

Keine Fehler, Seconds behind Master ist gering (< 5 Sekunden).

SMS + E-Mail

Die Slave Datenbank repliziert korrekt.

Laufende Dienste

Dienst

Programm

Kommentar

MySQL Datenbank Server

mysqld

Wenn dieser Prozess nicht läuft, ist die Datenbank nicht erreichbar.

Rolle REST

Dienst / Wo Installiert

Programm

Kommentar

jrest REST Service /


Rolle TEL oder einer der Linux Server

javaw.exe (jtel-jrest-1.0.jar)


jrest (linux)


Wenn dieser Prozess nicht läuft, ist der jtel REST Service nicht erreichbar.

TK- und Presence Connectoren

Dienst / Wo Installiert

Programm

Kommentar

Presence Connector (Teams, NFON, Cisco und andere) / Rolle TEL

javaw.exe

(jtel-system-presence-aggregator-1.0.jar)

Wenn dieser Prozess nicht läuft, werden keine Presence-Daten mehr von Teams sowie die TK-Anlage zum jtel System übermittelt. Auch die Rückübermittlung der Daten an Teams ist gestört.

Innovaphone PBX Connector / Rolle TEL

JTELInnovaphonePBXService.exe

Wenn dieser Prozess nicht läuft, werden keine Presence-Daten mehr von der TK-Anlage zum jtel System übermittelt. Die Funktion Abheben ist gestört. Die Erkennung, ob ein Anruf weitervermittelt wurde, ist gestört.

TAPI PBX Connector / Rolle TEL

jtelTAPIMonitorService.exe

Wenn dieser Prozess nicht läuft, werden keine Presence-Daten mehr von der TK-Anlage zum jtel System übermittelt. Die Funktion Abheben ist gestört. Die Erkennung, ob ein Anruf weitervermittelt wurde, ist gestört.

STARFACE v2 Connector / Rolle TEL

jtelStarface6v2SOAPWindowsService.exe

Wenn dieser Prozess nicht läuft, werden keine Calls zum jtel System durchgestellt. Es werden auch keine Presence-Daten mehr von der TK-Anlage zum jtel System übermittelt.

E-Mail Dienste

(

Dienst / Wo Installiert

Programm

Kommentar

E-Mail (IMAP) / Rolle TEL

jtelIMAPMailService.exe

Wenn dieser Prozess nicht läuft, werden E-Mails in nicht von IMAP Postfächer nicht Postfächern abgeholt und verarbeitet.

E-Mail (Exchange) /

Rolle TEL

jtelEWSMailService.exe

Wenn dieser Prozess nicht läuft, werden E-Mails in nicht von Exchange-Server-Postfächer nicht Postfächern abgeholt und verarbeitet.