Selamlar, bu yazıda Splunk Enterprise 10 ile OpenTelemetry Collector: OpAMP Yönetimi, Log ve CPU/RAM Toplama konusunu ele aldım keyifli okumalar 🙂
Splunk Enterprise 10 ile sunulan Agent Management – OTel Collectors ekranı, OpenTelemetry Collector ajanlarının sağlık durumunu ve etkin yapılandırmasını merkezi olarak gözlemlememizi sağlıyor. Bu yazıda iki Ubuntu sunucusu kullanarak Collector’ı Splunk’a bağladık, gerçek uygulama loglarını HTTP Event Collector (HEC) ile indeksledik ve CPU/RAM metriklerini ayrı bir Metrics index’e aktardık.
Hedefimiz mevcut Universal Forwarder mimarisini değiştirmek değil; OpenTelemetry’nin log, metrik ve iz verileri için nasıl tamamlayıcı bir toplama altyapısı sunduğunu görmekti.

1. Lab mimarisi ve bileşenler
| Bileşen | Konum / sürüm | Görev |
| Splunk Enterprise | so-test1 · 10.4.1 | Agent Management, HEC ve indeksleme |
| OTel Collector | denizlab · Ubuntu 24.04 · 0.124.1 | Log ve sistem metriği toplama |
| Yönetim bağlantısı | HTTPS 8089 | OpAMP |
| Veri bağlantısı | HTTPS 8088 | Splunk HEC |
| Event index | otel_lab | Uygulama logları |
| Metrics index | otel_host_metrics | CPU ve RAM |
denizlab · Filelog / Hostmetrics → OTel Collector → HEC 8088 → Splunk Enterprise · Events + Metrics
OpAMP yönetim trafiği, veri trafiğinden ayrıdır. Agent Management tarafındaki bağlantı problemi, HEC üzerinden aktarılan log ve metrik akışının mutlaka durduğu anlamına gelmez.
2. Splunk Agent Management yapılandırması
Splunk Enterprise 10.4.1 üzerinde OTel Collector Management etkinleştirildikten sonra OpAMP ve Agent Manager servislerinin çalıştığını kontrol ettik. Bunu btool ve proses kontrolleriyle doğruladık.
/opt/splunk/bin/splunk version
/opt/splunk/bin/splunk btool server list data_management –debug
ps -ef | grep -Ei “opamp|agent-manager” | grep -v grep
ss -lntp | grep 8089

Collector’ın Splunk tarafında kaydolabilmesi için ilgili servis hesabına data_management_agent rolü verilmiş bir kimlik doğrulama token’ı kullandık. Token değerini ekran görüntülerine veya blog içeriğine dahil etmiyoruz.
3. Linux üzerinde OpenTelemetry Collector kurulumu
İkinci Ubuntu sunucusunda Collector Contrib 0.124.1 sürümünü kurduk. Contrib dağıtımı, temel Collector’a ek olarak filelog, hostmetrics, splunk_hec ve OpAMP gibi bileşenleri içeriyor.
sudo mkdir -p /opt/otelcol
cd /tmp
curl -fL -o otelcol.tar.gz \
https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.124.1/otelcol-contrib_0.124.1_linux_amd64.tar.gz
sudo tar -xzf otelcol.tar.gz -C /opt/otelcol otelcol-contrib
sudo chmod 755 /opt/otelcol/otelcol-contrib
/opt/otelcol/otelcol-contrib –version

Collector’ı ayrı bir otelcol kullanıcısı altında systemd servisi olarak çalıştırdık. Böylece sunucu açılışında otomatik başlama ve journalctl üzerinden servis loglarını inceleme imkanı elde ettik.
sudo systemctl daemon-reload
sudo systemctl enable –now otelcol
systemctl status otelcol –no-pager -l
journalctl -u otelcol -n 30 –no-pager

4. OpAMP ile merkezi görünürlük
Collector’ın OpAMP uzantısını Splunk’ın Agent Management endpoint’ine bağladıktan sonra ajan, OTel Collectors listesinde OK durumuyla göründü. Ekranda Agent ID, sürüm, hostname, IP, işletim sistemi, mimari ve Check-In bilgileri bulunuyor


Effective Configuration sekmesiyle Collector’ın aktif pipeline bileşenlerini de görüntüledik.

Servisi kısa süre durdurduğumuzda ajan Offline oldu; yeniden başlatıldığında veri toplama servisi geri geldi. Restart sonrasında birden fazla ajan kaydı oluşmasını önlemek için OpAMP tarafında kalıcı instance_uid tanımladık. Eski kayıtların temizlenmesi ve aynı kimliğin sonraki restart’larda korunduğunun ayrıca doğrulanması gerekir.

5. Filelog ile uygulama loglarının Splunk’a aktarılması
Splunk tarafında otel_lab isimli Event index ve ayrı bir HEC token oluşturduk. Collector sunucusundan HEC sağlık uç noktasına yaptığımız istekte HTTP 200 yanıtı aldık.
curl -vk –connect-timeout 5 \
https://SPLUNK_SERVER:8088/services/collector/health

Collector yapılandırmasında filelog receiver ile splunk_hec exporter’ı bir logs pipeline’ında birleştirdik. Aşağıdaki kesit örnek niteliğindedir; mevcut OpAMP ve diğer bileşenler ayrıca korunmalıdır.
receivers:
filelog:
include: [/var/log/otel-lab/*.log]
start_at: beginning
processors:
resourcedetection:
detectors: [system]
override: false
system:
hostname_sources: [os]
exporters:
splunk_hec:
token: “${env:SPLUNK_HEC_TOKEN}”
endpoint: “https://SPLUNK_SERVER:8088/services/collector”
index: “otel_lab”
source: “otel_lab”
sourcetype: “otel:lab”
service:
pipelines:
logs:
receivers: [filelog]
processors: [resourcedetection]
exporters: [splunk_hec]
Güvenlik notu: Örnek yapılandırmada token environment değişkeninden okunur. Lab sırasında kullanılan sertifika doğrulamasını atlama ayarı production ortamına taşınmamalıdır; uygun CA ve hostname doğrulaması kullanılmalıdır.
Test logunu ürettik ve Splunk üzerinde aradık:
echo “$(date -Is) INFO OTel_LAB_TEST_001 Collector initial test” >> /var/log/otel-lab/test.log
index=otel_lab “OTel_LAB_TEST_001”
| table _time host source sourcetype _raw

İlk loglarda host=unknown görünüyordu. resourcedetection processor sayesinde sonraki testte hostname alanı denizlab olarak geldi.
index=otel_lab “OTel_LAB_TEST_003”
| table _time host source sourcetype _raw

6. CPU/RAM toplama ve filtreleme
Aynı Collector üzerinde hostmetrics receiver’ının CPU ve bellek scraper’larını etkinleştirdik. Ayrıca belirli bir test işaretleyicisini içeren gereksiz logları Splunk’a göndermeden önce elemek üzere filter processor kullandık.
receivers:
hostmetrics:
collection_interval: 10s
scrapers:
cpu: {}
memory: {}
processors:
filter/otel_lab:
error_mode: ignore
logs:
log_record:
– ‘IsMatch(body, “OTEL_DROP_TEST”)’

Metrikleri otel_host_metrics isimli Metrics tipindeki ayrı indekse yönlendirdik. İlgili indeksin Event yerine Metrics olması ve HEC token’ının izin verilen indeksleri arasında bulunması gerekiyor. Bu ayarlar doğrulandıktan sonra mcatalog ile üç metrik adı görüntülendi: manuel test metriği otel.lab.test, system.cpu.time ve system.memory.usage.
| mcatalog values(metric_name) AS metric_names
WHERE index=otel_host_metrics

7. RAM kullanımını Splunk SPL ile analiz etme
RAM’in farklı durumlarını MB olarak görmek için aşağıdaki sorguyu kullandık. Çıktıda buffered, cached, free, slab_reclaimable, slab_unreclaimable ve used alanları yer alıyor.
| mstats latest(_value) AS bytes
WHERE index=otel_host_metrics metric_name=”system.memory.usage”
BY host state
| eval memory_mb=round(bytes/1024/1024,2)
| table host state memory_mb
| sort host state

Lab çıktısında denizlab için used yaklaşık 2.178 MB olarak görüntülendi. Bu değer tek bir bellek durumunu temsil eder; özellikle cached, buffered ve slab alt kalemleri arasında örtüşmeler olabileceği için tüm state değerlerini gelişigüzel toplamak fiziksel RAM kapasitesini doğru vermeyebilir.
Aşağıdaki ikinci ekran görüntüsü, ilk denememizde state toplamından hesaplanan bir özet tablosudur. 21,38 GB toplam ve %9,41 kullanım sonucunu doğrulanmış fiziksel kapasite/yüzde olarak yorumlamıyoruz. Üretim kullanımı için free -h ya da ayrı system.memory.limit / sistem kapasitesi referansıyla oran doğrulanmalıdır.

CPU metriklerini görüntüleme
system.cpu.time birikimli CPU zamanıdır; doğrudan yüzde değildir. Çekirdek ve state bazında ham metrikler için:
| mstats latest(_value) AS seconds
WHERE index=otel_host_metrics metric_name=”system.cpu.time”
BY host cpu state
| table host cpu state seconds
CPU kullanım yüzdesi için zaman içindeki sayaç farklarından oran hesaplanmalı veya Collector’da uygun utilization metriği etkinleştirilmelidir. Böylece gereksiz biçimde kümülatif sayaç değerini “CPU %” diye sunmamış oluruz.
8. Sonuç: Splunk ekosisteminde OTel Collector ne kazandırıyor?
Bu labda OpenTelemetry Collector’ın yalnızca log forward etmediğini; tek ajan üzerinden log toplama, CPU/RAM metriği üretme, kaynak metadata’sı ekleme ve veriyi iki farklı Splunk indeksine yönlendirme senaryolarını desteklediğini uygulamalı gördük. Splunk Enterprise 10.4.1’in Agent Management arayüzü ise bu veri yolundan ayrı olarak Collector’ların görünürlüğünü sağlıyor.
Klasik Windows Security, Linux syslog ve Splunk Add-on bağımlı kaynaklarda Universal Forwarder / Heavy Forwarder hâlâ güçlü seçenekler. OpenTelemetry Collector özellikle Kubernetes, mikroservisler, cloud-native telemetri ve birden çok sinyal türünü aynı pipeline’da ele alma ihtiyacında anlam kazanıyor.
Sonuç olarak bu çalışma, Splunk 10 ile gelen Collector görünürlüğünü ve OpenTelemetry veri toplama kabiliyetlerini aynı lab üzerinde değerlendirebileceğimiz tekrar edilebilir bir başlangıç senaryosu sunuyor.
Share this content: