Selamlar, bu yazıda Splunk Enterprise 10 ile OpenTelemetry Collector: OpAMP Yönetimi, Log ve CPU/RAM Toplama konusunu ele aldım keyifli okumalar 🙂

Splunk Enterprise 10 ile sunulan Agent Management – OTel Collectors ekranı, OpenTelemetry Collector ajanlarının sağlık durumunu ve etkin yapılandırmasını merkezi olarak gözlemlememizi sağlıyor. Bu yazıda iki Ubuntu sunucusu kullanarak Collector’ı Splunk’a bağladık, gerçek uygulama loglarını HTTP Event Collector (HEC) ile indeksledik ve CPU/RAM metriklerini ayrı bir Metrics index’e aktardık.

Hedefimiz mevcut Universal Forwarder mimarisini değiştirmek değil; OpenTelemetry’nin log, metrik ve iz verileri için nasıl tamamlayıcı bir toplama altyapısı sunduğunu görmekti.

1. Lab mimarisi ve bileşenler

BileşenKonum / sürümGörev
Splunk Enterpriseso-test1 · 10.4.1Agent Management, HEC ve indeksleme
OTel Collectordenizlab · Ubuntu 24.04 · 0.124.1Log ve sistem metriği toplama
Yönetim bağlantısıHTTPS 8089OpAMP
Veri bağlantısıHTTPS 8088Splunk HEC
Event indexotel_labUygulama logları
Metrics indexotel_host_metricsCPU ve RAM

denizlab · Filelog / Hostmetrics → OTel Collector → HEC 8088 → Splunk Enterprise · Events + Metrics

OpAMP yönetim trafiği, veri trafiğinden ayrıdır. Agent Management tarafındaki bağlantı problemi, HEC üzerinden aktarılan log ve metrik akışının mutlaka durduğu anlamına gelmez.

2. Splunk Agent Management yapılandırması

Splunk Enterprise 10.4.1 üzerinde OTel Collector Management etkinleştirildikten sonra OpAMP ve Agent Manager servislerinin çalıştığını kontrol ettik. Bunu btool ve proses kontrolleriyle doğruladık.

/opt/splunk/bin/splunk version
/opt/splunk/bin/splunk btool server list data_management –debug
ps -ef | grep -Ei “opamp|agent-manager” | grep -v grep
ss -lntp | grep 8089

Collector’ın Splunk tarafında kaydolabilmesi için ilgili servis hesabına data_management_agent rolü verilmiş bir kimlik doğrulama token’ı kullandık. Token değerini ekran görüntülerine veya blog içeriğine dahil etmiyoruz.

3. Linux üzerinde OpenTelemetry Collector kurulumu

İkinci Ubuntu sunucusunda Collector Contrib 0.124.1 sürümünü kurduk. Contrib dağıtımı, temel Collector’a ek olarak filelog, hostmetrics, splunk_hec ve OpAMP gibi bileşenleri içeriyor.

sudo mkdir -p /opt/otelcol
cd /tmp
curl -fL -o otelcol.tar.gz \
 https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.124.1/otelcol-contrib_0.124.1_linux_amd64.tar.gz
sudo tar -xzf otelcol.tar.gz -C /opt/otelcol otelcol-contrib
sudo chmod 755 /opt/otelcol/otelcol-contrib
/opt/otelcol/otelcol-contrib –version

Collector’ı ayrı bir otelcol kullanıcısı altında systemd servisi olarak çalıştırdık. Böylece sunucu açılışında otomatik başlama ve journalctl üzerinden servis loglarını inceleme imkanı elde ettik.

sudo systemctl daemon-reload
sudo systemctl enable –now otelcol
systemctl status otelcol –no-pager -l
journalctl -u otelcol -n 30 –no-pager

4. OpAMP ile merkezi görünürlük

Collector’ın OpAMP uzantısını Splunk’ın Agent Management endpoint’ine bağladıktan sonra ajan, OTel Collectors listesinde OK durumuyla göründü. Ekranda Agent ID, sürüm, hostname, IP, işletim sistemi, mimari ve Check-In bilgileri bulunuyor

Effective Configuration sekmesiyle Collector’ın aktif pipeline bileşenlerini de görüntüledik.

Servisi kısa süre durdurduğumuzda ajan Offline oldu; yeniden başlatıldığında veri toplama servisi geri geldi. Restart sonrasında birden fazla ajan kaydı oluşmasını önlemek için OpAMP tarafında kalıcı instance_uid tanımladık. Eski kayıtların temizlenmesi ve aynı kimliğin sonraki restart’larda korunduğunun ayrıca doğrulanması gerekir.

5. Filelog ile uygulama loglarının Splunk’a aktarılması

Splunk tarafında otel_lab isimli Event index ve ayrı bir HEC token oluşturduk. Collector sunucusundan HEC sağlık uç noktasına yaptığımız istekte HTTP 200 yanıtı aldık.

curl -vk –connect-timeout 5 \
 https://SPLUNK_SERVER:8088/services/collector/health

Collector yapılandırmasında filelog receiver ile splunk_hec exporter’ı bir logs pipeline’ında birleştirdik. Aşağıdaki kesit örnek niteliğindedir; mevcut OpAMP ve diğer bileşenler ayrıca korunmalıdır.

receivers:
  filelog:
    include: [/var/log/otel-lab/*.log]
    start_at: beginning

processors:
  resourcedetection:
    detectors: [system]
    override: false
    system:
      hostname_sources: [os]

exporters:
  splunk_hec:
    token: “${env:SPLUNK_HEC_TOKEN}”
    endpoint: “https://SPLUNK_SERVER:8088/services/collector”
    index: “otel_lab”
    source: “otel_lab”
    sourcetype: “otel:lab”

service:
  pipelines:
    logs:
      receivers: [filelog]
      processors: [resourcedetection]
      exporters: [splunk_hec]

Güvenlik notu: Örnek yapılandırmada token environment değişkeninden okunur. Lab sırasında kullanılan sertifika doğrulamasını atlama ayarı production ortamına taşınmamalıdır; uygun CA ve hostname doğrulaması kullanılmalıdır.

Test logunu ürettik ve Splunk üzerinde aradık:

echo “$(date -Is) INFO OTel_LAB_TEST_001 Collector initial test” >> /var/log/otel-lab/test.log

index=otel_lab “OTel_LAB_TEST_001”
| table _time host source sourcetype _raw

İlk loglarda host=unknown görünüyordu. resourcedetection processor sayesinde sonraki testte hostname alanı denizlab olarak geldi.

index=otel_lab “OTel_LAB_TEST_003”
| table _time host source sourcetype _raw

6. CPU/RAM toplama ve filtreleme

Aynı Collector üzerinde hostmetrics receiver’ının CPU ve bellek scraper’larını etkinleştirdik. Ayrıca belirli bir test işaretleyicisini içeren gereksiz logları Splunk’a göndermeden önce elemek üzere filter processor kullandık.

receivers:
  hostmetrics:
    collection_interval: 10s
    scrapers:
      cpu: {}
      memory: {}

processors:
  filter/otel_lab:
    error_mode: ignore
    logs:
      log_record:
        – ‘IsMatch(body, “OTEL_DROP_TEST”)’

Metrikleri otel_host_metrics isimli Metrics tipindeki ayrı indekse yönlendirdik. İlgili indeksin Event yerine Metrics olması ve HEC token’ının izin verilen indeksleri arasında bulunması gerekiyor. Bu ayarlar doğrulandıktan sonra mcatalog ile üç metrik adı görüntülendi: manuel test metriği otel.lab.test, system.cpu.time ve system.memory.usage.

| mcatalog values(metric_name) AS metric_names
  WHERE index=otel_host_metrics

7. RAM kullanımını Splunk SPL ile analiz etme

RAM’in farklı durumlarını MB olarak görmek için aşağıdaki sorguyu kullandık. Çıktıda buffered, cached, free, slab_reclaimable, slab_unreclaimable ve used alanları yer alıyor.

| mstats latest(_value) AS bytes
  WHERE index=otel_host_metrics metric_name=”system.memory.usage”
  BY host state
| eval memory_mb=round(bytes/1024/1024,2)
| table host state memory_mb
| sort host state

Lab çıktısında denizlab için used yaklaşık 2.178 MB olarak görüntülendi. Bu değer tek bir bellek durumunu temsil eder; özellikle cached, buffered ve slab alt kalemleri arasında örtüşmeler olabileceği için tüm state değerlerini gelişigüzel toplamak fiziksel RAM kapasitesini doğru vermeyebilir.

Aşağıdaki ikinci ekran görüntüsü, ilk denememizde state toplamından hesaplanan bir özet tablosudur. 21,38 GB toplam ve %9,41 kullanım sonucunu doğrulanmış fiziksel kapasite/yüzde olarak yorumlamıyoruz. Üretim kullanımı için free -h ya da ayrı system.memory.limit / sistem kapasitesi referansıyla oran doğrulanmalıdır.

CPU metriklerini görüntüleme

system.cpu.time birikimli CPU zamanıdır; doğrudan yüzde değildir. Çekirdek ve state bazında ham metrikler için:

| mstats latest(_value) AS seconds
  WHERE index=otel_host_metrics metric_name=”system.cpu.time”
  BY host cpu state
| table host cpu state seconds

CPU kullanım yüzdesi için zaman içindeki sayaç farklarından oran hesaplanmalı veya Collector’da uygun utilization metriği etkinleştirilmelidir. Böylece gereksiz biçimde kümülatif sayaç değerini “CPU %” diye sunmamış oluruz.

8. Sonuç: Splunk ekosisteminde OTel Collector ne kazandırıyor?

Bu labda OpenTelemetry Collector’ın yalnızca log forward etmediğini; tek ajan üzerinden log toplama, CPU/RAM metriği üretme, kaynak metadata’sı ekleme ve veriyi iki farklı Splunk indeksine yönlendirme senaryolarını desteklediğini uygulamalı gördük. Splunk Enterprise 10.4.1’in Agent Management arayüzü ise bu veri yolundan ayrı olarak Collector’ların görünürlüğünü sağlıyor.

Klasik Windows Security, Linux syslog ve Splunk Add-on bağımlı kaynaklarda Universal Forwarder / Heavy Forwarder hâlâ güçlü seçenekler. OpenTelemetry Collector özellikle Kubernetes, mikroservisler, cloud-native telemetri ve birden çok sinyal türünü aynı pipeline’da ele alma ihtiyacında anlam kazanıyor.

Sonuç olarak bu çalışma, Splunk 10 ile gelen Collector görünürlüğünü ve OpenTelemetry veri toplama kabiliyetlerini aynı lab üzerinde değerlendirebileceğimiz tekrar edilebilir bir başlangıç senaryosu sunuyor.

Share this content:

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Explore More

Splunk ile Firewall External Feed İçin Otomatik IP Listesi Üretme

Selamlar, bu yazımda Splunk alarm çıktılarından firewall external feed için kullanılabilecek IP listesinin nasıl otomatik üretilebileceğini ele alacağız. Şimdiden keyifli okumalar. SOC operasyonlarında Splunk üzerinde yazılan alarmlar sonucunda şüpheli IP

WAZUH’a WİNDOWS DEFENDER GÜNLÜĞÜNÜ İLETME

Herkese selam! Bu yazımda ele aldığım konu WAZUH’a WİNDOWS DEFENDER GÜNLÜĞÜNÜ İLETME , keyifli okumalar. 🙂 Windows Defender, Windows işletim sistemi kullanan bilgisayarlarda işletim sisteminin kurulmasıyla birlikte yüklenen güvenlik duvarı

RAM ANALİZİNDE BUZ KULLANIMI

Herkese Selam! Bugün ele aldığımız konu Ram analizinde buz kullanımı, iyi okumalar 🙂 RAM analizi ve Buz kullanımı nedir? Ram (Random Access Memory) bir bilgisayarda geçici olarak verilerin tutulduğu hafızadır.