OpenKeel: die souveräne französische Cloud-Lösung mit europäischer Reichweite der inherent-Gruppe inherent entdecken
Deployment
Metriken, Logs und die Audit-Spur jedes OpenKeel-Dienstes in Grafana: ein optionaler Stack, installiert mit okadm --grafana, das Gegenstück zu Prometheus, Grafana und zentralem Logging in Kolla.
JSON-Logs und CADF-Audit-Ereignisse auf stdout; /healthz, /readyz und /metrics auf dem Admin-Port :9090
Monitore des Prometheus Operator erfassen die Dienste und Datendienste; Alloy, ein DaemonSet, liest jedes Pod-Log seines Knotens
Prometheus für Metriken; Loki für Logs, mit getrenntem App- und Audit-Stream
OpenKeel-Dashboards in einem eigenen Ordner; PrometheusRule-Alarme über Alertmanager
Alle Go-Module basieren auf derselben Vorlage und senden daher dieselben Signale im selben Format.
Noch nicht vorhanden: Anfrageraten und Latenzen, Zähler für Datenbank, Cache und Nachrichten, Go-Prozessmetriken und OpenTelemetry-Traces gehören zum Entwurf der Modulvorlage, werden von den Diensten aber heute nicht exportiert.
Alles liegt im Namespace openkeel-monitoring. Die Chart-Versionen sind im Release-Manifest von okadm festgelegt und in das Binary eingebaut.
| Release | Chart | Was | Labor | Produktion |
|---|---|---|---|---|
| kube-prometheus-stack | 92.10.1 (Prometheus Operator v0.94.1) | Prometheus Operator und seine CRDs, Prometheus, Alertmanager, Grafana, kube-state-metrics, node-exporter, die Kubernetes-Dashboards und -Alarme | Je 1 Replikat; Prometheus behält 2 Tage, ohne Volume | Prometheus ×2 (15 Tage, 50 Gi), Alertmanager ×3, Grafana mit einem 10-Gi-Volume, auf der Block-StorageClass |
| loki | 7.3.0 (Loki 3.6.12) | Log-Speicher, von Grafana mit LogQL abgefragt | Einzelnes Binary, 5-Gi-Volume | Simple Scalable: 3 write, 3 read, 3 backend, Gateway ×2; Chunks und Index in S3 |
| alloy | 1.13.1 (Alloy v1.20.1) | DaemonSet: jedes Container-Log seines Knotens an Loki, Audit-Zeilen getrennt | 1 Pod pro Knoten | 1 Pod pro Knoten |
Das Umbrella-Chart fügt diese Objekte dem Release openkeel-infra hinzu, wenn das Monitoring aktiv ist.
| Objekt | Erfasst |
|---|---|
PodMonitor openkeel-services | Der Admin-Port jedes OpenKeel-Pods (APIs, Worker, Agenten), gekennzeichnet nach Dienst und Komponente |
| MariaDB-Metriken | mysqld-exporter und sein ServiceMonitor, vom MariaDB-Operator hinzugefügt: Größe des Galera-Clusters, Verbindungen, Abfragen, langsame Abfragen |
ServiceMonitor openkeel-rabbitmq | Das Plugin rabbitmq_prometheus, einschließlich Metriken je Queue: bereite Nachrichten, Consumer, Alarme |
ServiceMonitors openkeel-kubevirt, openkeel-longhorn | KubeVirt und Longhorn, wenn okadm plan sie im Cluster findet |
ConfigMaps openkeel-dashboard-* | Die OpenKeel-Dashboards, vom Sidecar von Grafana in den Ordner OpenKeel geladen |
Das Kustomize-Lab (openkeel-lab) betreibt eigene Datendienste ohne Exporter: sein Dashboard Data services bleibt leer, während okadm install --mode lab --grafana sie alle hat.
Alloy leitet jede Zeile nach ihrem Feld log_type der obersten Ebene weiter: So bleibt die Audit-Spur von den Anwendungslogs getrennt, mit eigener Aufbewahrung.
| Stream | Zeilen | Labor | Produktion |
|---|---|---|---|
{stream="audit"} | CADF-Audit-Ereignisse ("log_type": "audit") | 30 Tage | 400 Tage |
{stream="app"} | Alle anderen Container-Zeilen, ob OpenKeel oder nicht | 7 Tage | 31 Tage |
Die Aufbewahrung setzt der Compactor von Loki durch; sie lässt sich in der Values-Datei von okadm ändern. Jede Zeile trägt die Labels namespace, pod, container, node, service und component.
| Dashboard | Datenquelle | Zeigt |
|---|---|---|
| OpenKeel / Audit trail | Loki | Ereignisse, Fehlschläge, 401, 403, fehlgeschlagene Keystone-Authentifizierungen und Löschungen; Fehlschläge nach Benutzer und Quell-IP; Löschungen und Änderungen nach Benutzer und Ressourcentyp; die Rohereignisse. Filter: Dienst, Ergebnis, Benutzer, Quell-IP |
| OpenKeel / Services | Prometheus, Loki | Scrape-Ziele je Dienst, Audit-Zähler, Speicher und CPU jedes Pods (cAdvisor), Log-Volumen nach Level, Fehler je Dienst und ein durchsuchbares Log-Panel |
| OpenKeel / Data services | Prometheus | MariaDB Galera und RabbitMQ (sich stauende Queues oder Queues ohne Consumer, Alarme) |
| Kubernetes / … | Prometheus | Die von kube-prometheus-stack: Cluster, Knoten, Namespaces, Pods, Workloads |
In Grafana, Explore, Datenquelle Loki: Die CADF-Felder werden mit LogQL extrahiert. Hier die fehlgeschlagenen Keystone-Authentifizierungen.
{stream="audit", service="openkeel-keystone"}
| json outcome="payload.outcome",
initiator="payload.initiator.id",
ip="payload.initiator.host.address",
event_type="event_type"
| event_type="identity.authenticate"
| outcome="failure"Geliefert als PrometheusRule openkeel, zusätzlich zu den Kubernetes-Alarmen von kube-prometheus-stack.
| Alarm | Schweregrad | Löst aus, wenn |
|---|---|---|
| OpenKeelAuditEventsDropped | critical | Die Audit-Warteschlange eines Dienstes war voll: Die Spur hat eine Lücke |
| OpenKeelAuditEventsFailed | warning | Ein Audit-Ziel ist fehlgeschlagen, zum Beispiel RabbitMQ nicht erreichbar |
| OpenKeelServiceTargetDown | Der Metrik-Endpunkt eines Dienstes kann nicht abgefragt werden | |
| OpenKeelServiceNoTarget | Ein Dienst hat überhaupt kein Scrape-Ziel |
Alertmanager sendet standardmäßig nirgendwohin: Legen Sie seine Empfänger in der Values-Datei von okadm fest.
Ohne die Option wird nichts installiert. okadm installiert den Stack direkt nach Multus, vor openkeel-infra: Namespace, ein zufälliges Grafana-Admin-Passwort, dann kube-prometheus-stack, Loki und Alloy, jeweils abgewartet. Es merkt sich die Option: Spätere Installationen und Upgrades halten den Stack aktuell. install, upgrade und access zeigen die URL von Grafana und den Befehl, der das Passwort ausliest.
okadm install --mode lab --grafana # kind lab
okadm install --mode lab --grafana --ingress # Grafana at grafana.127.0.0.1.nip.io
okadm install --grafana --domain cloud.example.org
# or, with the Kustomize lab
GRAFANA=1 make lab-up| Thema | Was zu tun ist |
|---|---|
| Objektspeicher für Loki | Vor der Installation das Secret openkeel-loki-s3 (Endpunkt, Region, Schlüssel) und die Buckets openkeel-loki-chunks und openkeel-loki-ruler anlegen; ohne sie blockiert okadm plan. Auch das Ceph RGW von okadm --ceph-s3 funktioniert |
| Weiterleitung der Alarme | Die Empfänger von Alertmanager festlegen |
| Ziele der Control Plane | Unter Talos die Metriken von etcd, Scheduler und Controller Manager freigeben oder diese Ziele abschalten |
| Bereits vorhandener Prometheus Operator | okadm plan warnt davor. Um ihn zu behalten, ohne --grafana installieren, die OpenKeel-Monitore aktivieren und diesen Prometheus sie auswählen lassen |
| Zugang zu Grafana | Ingress unter grafana.<domain>, sonst ein Port-Forward; das Admin-Passwort ist zufällig, im Secret openkeel-grafana-admin |
| Values | Ein Abschnitt observability.<release> pro Release, in derselben -f-Datei wie der Rest von OpenKeel |
Die Dienste erzeugen die Spur; sie vollständig, unverändert, zeitgenau und für die geforderte Dauer lesbar zu halten, ist Aufgabe der Plattform.
| Pflicht | PCI-DSS v4.0 | ISO/IEC 27001:2022 | Wie |
|---|---|---|---|
| Ereignisse beim Schreiben sofort vom Knoten wegschicken | 10.3.3 | A.8.15 | Alloy (oder Fluent Bit, Vector, der OpenTelemetry Collector) mit einem Puffer auf der Festplatte |
| Manipulationssichere, einmal beschreibbare Aufbewahrung | 10.3.2, 10.3.3 | A.8.15 | Eine Kopie im Objektspeicher mit Object Lock im Compliance-Modus; Loki allein reicht nicht |
| 12 Monate, die letzten 3 sofort verfügbar | 10.5.1 | A.5.33, A.8.15 | Gesperrter Bucket für 400 Tage; Loki behält den Audit-Stream in der Produktion 400 Tage |
| Eingeschränkter Lesezugriff | 10.3.1 | A.8.15, A.5.15 | Bucket-Richtlinie, ein Loki-Tenant oder ein Grafana-Team für den Audit-Stream |
| Synchronisierte Uhren | 10.6.1 to 10.6.3 | A.8.17 | NTP auf den Knoten; node-exporter-Alarme bei Abweichung |
| Lücken erkennen | 10.7.1, 10.7.2 | A.8.15, A.8.16 | Die Audit-Alarme oben und die eigenen Zähler des Collectors |
| Tägliche Überprüfung | 10.4.1 | A.8.16 | Ein SIEM, gespeist aus dem Bucket oder dem Collector; das Grafana-Dashboard |
Loki bietet eine durchsuchbare Audit-Spur, kein manipulationssicheres Archiv: Wer den Cluster administriert, kann in seinen Speicher schreiben.
monitoring.openstackExporter.enabled: true installiert openstack-exporter 1.7.0. Alle 2 Minuten listet er die Ressourcen jeder API auf (Server, Netze, Volumes, Images, Placement, Agenten), sodass die OpenStack-Dashboards der Community unverändert funktionieren.
openstack_*-ReihenDas Prometheus des Stacks ist auch eine Datenquelle für OpenKeel selbst: okadm richtet diese Dienste darauf aus, wenn --grafana aktiv ist.
| Leser | Was er liest | Wofür |
|---|---|---|
| CloudKitty (Collector) | openstack-exporter-Reihen pro Projekt (tenant_id): Instanzen, Volume-Kapazität, Image-Größe | Stündliche Bewertung, FinOps-/GreenOps-Seite von Skyline |
openkeel-skyline (GET /extension/server_metrics) | KubeVirt-Reihen kubevirt_vmi_* des Namespace des Projekts, VMs über das Label openkeel.io/project-id ausgewählt | Die Seite Metrics: CPU, Speicher (Balloon-Treiber), Festplattenbelegung (QEMU-Gastagent) und Festplatten-E/A der VMs |
| openkeel-skyline (Prometheus queries) | Die Abfragen der Überwachungsseiten der Konsole | Administratoransichten des Upstream-Skyline |
Siehe FinOps / GreenOps und CloudKitty und die Skyline-Ergänzungen.