4,8 TB logs per dag, 24 uur lang gemeten
Ons doel was 5 TB per dag op een opstelling met hoge beschikbaarheid bij Scaleway in Amsterdam. Op deze pagina staat wat we hebben gemeten, hoe we dat deden, wat niet goed ging en de ruwe data om het zelf na te rekenen.
Kort gezegd
LogPulse verwerkte 10,64 miljard events in 24 uur, ongeveer 4,8 TB logs per dag, op een opstelling van 8 nodes met hoge beschikbaarheid bij Scaleway in Amsterdam. Ondertussen zochten 25 analisten en draaiden 200 detectieregels. Er waren geen serverfouten en er ging geen event verloren. Nieuwe data was binnen 3,8 seconden doorzoekbaar (p95). We hebben dit zelf gemeten in november 2026. De ruwe data staat op deze pagina.
Wat we hebben gemeten
24 uur, 1.440 minuten, vanaf 14 november 2026 21:36 UTC.
Volume
4,8 TB/dag
10,64 miljard events in 24 uur, gemiddeld 55,4 MB/s. Piek 73 MB/s en 163.000 events per seconde.
Fouten
0
Geen HTTP 5xx, geen herstarts van pods en geen verloren events in de 24 uur.
Doorzoekbaar na (p95)
≤ 3,8 s
Tijd van het versturen van een event tot je hem vindt in de zoekfunctie, in de traagste minuut. Meestal 2,4 s.
Compressie
9,4×
8,2 TB aan ruwe logs nam 911 GB in ClickHouse in (12,45 miljard rijen), op onze gegenereerde datamix.
Van aanval tot notable (mediaan)
6 min
58 gemeten aanvalsscenario's met regels die elke 5 minuten draaien. 90% binnen 11 minuten, de traagste na 16.
Belasting naast ingest
25 + 200
25 analisten zochten, 2 dashboards verversten elke minuut en 200 detectieregels draaiden elke 5 minuten.
Hoe we hebben getest
Een productieopstelling met hoge beschikbaarheid, het echte netwerkpad en een belasting zoals die van een SOC.
Opstelling
- ClickHouse
- 2 × 32 vCPU / 128 GB (POP2-32C-128G), 1 shard met 2 replica's
- Applicatie
- 3 × 16 vCPU / 32 GB (POP2-HC-16C-32G), autoscaling van 3 tot 8 nodes. API 11 tot 16 pods, 12 workers
- Kafka
- 3 × 8 vCPU / 32 GB (POP2-8C-32G), retentie 12 uur
- Schijven
- ClickHouse 2 × 1 TB block storage met 15K IOPS, Kafka 3 × 400 GB
- Overig
- Managed Postgres met HA, Kubernetes (Scaleway Kapsule), load balancer LB-GP-L
- Loadgenerators
- 2 × 16 vCPU / 32 GB in een aparte nodepool, geen deel van de gemeten opstelling
Scaleway, Amsterdam (nl-ams-3), november 2026. Dezelfde Helm-chart en containers als LogPulse in productie en on-premises.
Belasting
Datamix
Zeven soorten logs naar volume: firewall 35%, DNS 15%, Windows 15%, netwerk 10%, Linux 10%, web 10% en e-mail 5%. Gegenereerde events met realistische velden, geen klantdata.
Echt netwerkpad
De generators sturen naar de publieke API-hostnaam over TLS, via de load balancer en de ingress, zoals een klant dat doet. 30% van de requests is met gzip gecomprimeerd.
Dagcurve
Het doel volgt een dagcurve van ongeveer 40 MB/s 's nachts tot 75 MB/s overdag.
25 analisten en 2 dashboards
Gesimuleerde analisten zoeken tijdens kantoortijden, van de laatste 15 minuten tot de laatste 24 uur. Twee dashboards van 8 panelen verversen elke minuut.
200 detectieregels
10 regels voor de aanvalsscenario's plus beheerde regels uit de LogPulse-hub op dezelfde indexes, 200 in totaal, elk elke 5 minuten.
Aanvalsscenario's
Elke 10 minuten gaat er een bekende aanval de data in: brute force op Windows en SSH, een portscan, een DNS-tunnel, gecodeerde PowerShell, een bekend kwaadaardig IP, SQL-injectie, een ISO-bijlage, een sudo-shell en exfiltratie. Een watcher meet de tijd tot de notable.
Meetvenster: 24 uur zonder ingrepen, van 14 november 2026 21:36 UTC tot 15 november 2026 21:36 UTC. Vóór het venster hebben we het platform onder load geüpgraded en een ClickHouse-replica en een Kafka-broker herstart. Daarbij ging geen event verloren. Die tests tellen niet mee in de cijfers van 24 uur.
Hoe elk cijfer is gemeten
Een reporter in de stack schreef elke minuut één regel met alle metingen. Dit zijn de definities.
- Verstuurde events en MB
- Geteld door de loadgenerators, ongecomprimeerde grootte vóór gzip.
- Fouten
- HTTP-statuscodes per seconde bij de generators en bij ingress-nginx, herstarts van pods uit Kubernetes. De retry-teller van de generators bleef het hele venster gelijk.
- Ingest-latency
- Tijd van het versturen van een batch tot het antwoord, p95 per minuut, gemeten bij de client. Gemiddeld 0,9 s, traagste minuut 2,3 s. De API zelf antwoordt in 30 tot 50 ms. De rest zit in het ontvangen van de body bij de ingress.
- Doorzoekbaar na
- Een probe schrijft een gemarkeerd event en zoekt tot hij het vindt. p95 per minuut.
- Te late regels
- Het aantal ingeschakelde regels waarvan de volgende run te laat is, per minuut.
- Van aanval tot notable
- Tijd van het injecteren van een scenario tot de notable in de database, per scenario gemeten door een watcher.
- Opslag
- Rijen en gecomprimeerde en ongecomprimeerde bytes van de logtabel uit de systeemtabellen van ClickHouse, aan het eind van de test.
Wat niet goed ging
Dit zijn de zwakke punten van deze test en wat we eraan hebben gedaan.
Gemiddeld 4,8 TB per dag, geen 5
Overdag bleef de ingest rond 68 van de 75 MB/s. De ingress schreef elk request van ongeveer 450 KB eerst naar schijf. Dat is opgelost (de body blijft nu in het geheugen en de ingress draait op meerdere nodes), maar nog niet opnieuw gemeten.
Detectie liep in 34 minuten even achter
Regels van één organisatie draaiden na elkaar. Met 200 regels per 5 minuten is dat precies op de rand, dus in 34 van de 1.440 minuten liep een deel van de regels (maximaal 108) te laat, telkens binnen een paar minuten weer 0. Regels draaien nu parallel. Ook dat moet nog opnieuw gemeten worden.
Gegenereerde data
De events komen uit templates. Echte logs variëren meer en comprimeren meestal minder dan 9,4×. Reken de opslag uit op je eigen logs.
2 dagen retentie
De testschijven hielden ongeveer 2 dagen vast. Bij deze belasting groeit ClickHouse ongeveer 510 GB per dag per replica, dus een langere retentie vraagt meer schijf of tiering naar object storage.
Herstel niet getest
We hebben failover onder load getest, niet het terugzetten van een backup. Dat volgt in de volgende run.
De helft van de aanvalsinjecties mislukte in de testtool
Elke tweede injectie brak af met een verbindingsfout in onze eigen simulatietool. De detectietijden tellen alleen scenario's waarvan de injectie lukte.
Onze eigen test
We hebben deze test zelf gedraaid en gemeten, op één organisatie en één stack. Het is geen onafhankelijke audit. Daarom is de ruwe minuutdata te downloaden en herhalen we de meting in een pilot.
Wat deze opstelling kost
Lijstprijzen van Scaleway op 14 november 2026, exclusief btw, bij 730 uur per maand. Alleen infrastructuur, zonder de LogPulse-licentie.
Zoals getest, 2 dagen retentie
~€4.000/maand
€3.950 tot €4.150. Postgres, control plane en load balancer zijn geschat.
30 dagen op snelle schijf
~€7.800/maand
Ongeveer 15 TB per replica op block storage met 15K IOPS.
30 dagen met tiering
~€4.900/maand
7 dagen op snelle schijf, de rest op Object Storage. Zoeken in oudere data is trager.
Bronnen: Scaleway Instances, Scaleway Storage.
Reken het zelf na
De ruwe minuutdata is openbaar. Elk cijfer op deze pagina is daaruit na te rekenen.
Minuutdata (CSV, 320 KB)
1.745 minuten met elk 30 metingen, inclusief de opbouw vóór het venster. De kolom in_window markeert de 24 uur.
Samenvatting (JSON)
De cijfers van het venster, berekend uit de CSV.
De loadgenerators, de SOC-simulatie en de reporter zitten als duurtest-modus in de Helm-chart van LogPulse. Elk cijfer van de reporter komt uit een Prometheus- of ClickHouse-query in die code. Enterprise-klanten en deelnemers aan een pilot krijgen dezelfde tooling.
Wil je weten wat LogPulse doet op jouw hardware en met jouw logs? In een pilot draaien we samen dezelfde test, met jouw logmix en jouw retentie.
Vragen
Over de test en wat die voor jou betekent.
Hoeveel logs per dag kan LogPulse aan?
In onze test van 24 uur verwerkte een opstelling van 8 nodes met hoge beschikbaarheid (2 ClickHouse, 3 applicatie, 3 Kafka) 10,64 miljard events, ongeveer 4,8 TB per dag, zonder serverfouten of verloren events. Meer nodes geven meer capaciteit. Elke Enterprise-stack rekenen we uit op het eigen volume.
Is deze test representatief voor echt gebruik?
Hij komt dichtbij: het verkeer liep over het publieke netwerkpad, analisten zochten, dashboards verversten en 200 regels draaiden. De data was wel gegenereerd en het ging om één organisatie. Echte logs comprimeren anders, daarom meten we in een pilot opnieuw op je eigen logs.
Hoe verhoudt dit zich tot Splunk?
We hebben Splunk niet in dezelfde test gedraaid, dus we publiceren geen vergelijking van prestaties. Splunk Cloud rekent op ingest-volume. Een prijsdocument van een reseller in de Britse G-Cloud 15-catalogus (januari 2026) noemt $764,75 per GB per dag per jaar bij 5.000 tot 9.999 GB per dag. LogPulse Enterprise prijzen we per afspraak. Vraag een offerte aan voor jouw volume.
Wat heb ik nodig voor 5 TB per dag?
Ga uit van de geteste opstelling: 2 databasenodes van 32 vCPU en 128 GB, 3 tot 8 applicatienodes van 16 vCPU en 32 GB en 3 Kafka-nodes van 8 vCPU en 32 GB, plus schijf voor je retentie (ongeveer 510 GB per dag per replica bij deze mix). Op de on-premises pagina staan de profielen.
Is de test onafhankelijk gecontroleerd?
Nee. We hebben hem zelf gedraaid en publiceren de ruwe data, zodat iedereen de cijfers kan narekenen. In een pilot meet je zelf mee.
Meet het op je eigen logs
We draaien dezelfde test in een pilot, op je eigen hardware of als dedicated stack in onze EU-cloud.
Gemeten door LayerCares B.V. op 14 en 15 november 2026 onder de omstandigheden op deze pagina. Resultaten hangen af van hardware, logmix, retentie en configuratie en zijn geen garantie voor prestaties. Splunk is een merk van de eigenaar ervan. LogPulse is niet gelieerd aan Splunk. LogPulse is een handelsnaam van LayerCares B.V.