Hardening Infrastruktur Web Server Linux terhadap Serangan DDoS dan L7 Botnet

1. Konteks Industri & Analisis Akar Masalah

Dalam lanskap infrastruktur web modern, ancaman terhadap ketersediaan layanan (availability) telah bergeser dari sekadar lonjakan volume trafik berbasis Layer 3/4 (seperti UDP/TCP SYN floods sederhana yang dapat diredam oleh upstream scrubbing centers di level ISP atau CDN) menuju serangan Layer 7 (Application Layer) yang sangat terdistribusi dan tersembunyi. Botnet modern menggunakan headless browsers, rotasi alamat IP residential proxy secara masif, dan pemalsuan User-Agent yang menyerupai pengguna sah untuk meniru pola navigasi manusia secara persis.

Serangan ini mengeksploitasi keterbatasan arsitektur web server konvensional yang tidak siap menghadapi lonjakan permintaan dinamis pada endpoint yang intensif sumber daya, seperti /login, /search, atau pemrosesan query database yang kompleks. Ketika botnet menembakkan ribuan request per detik (RPS) ke endpoint tersebut, koneksi worker Nginx atau Apache segera habis, antrean PHP-FPM mengalami queue saturation, pool koneksi MySQL/MariaDB mencapai batas maksimum (max_connections), dan akhirnya server mengalami out of memory (OOM) atau kegagalan total.

Perbandingan Kondisi: Sebelum vs Sesudah Hardening

• Sebelum Hardening (Rentan):

  • Arsitektur: Mengandalkan default configuration web server tanpa pembatasan rate limit berbasis zona memori bersama.
  • Ketahanan TCP: Parameter kernel net.ipv4.tcp_max_syn_backlog rendah, rentan terhadap SYN flood yang menghabiskan memori kernel.
  • Deteksi Intrusi: Tidak ada mekanisme pemblokiran dinamis pada level fail2ban; eksploitasi brute-force atau bot crawling berjalan bebas hingga membebani CPU.
  • Dampak: Layanan down, latensi melonjak hingga ribuan milidetik, kerugian finansial, dan potensi kebocoran data akibat kelelahan sumber daya (resource starvation).

• Sesudah Hardening (Robust & Resilient):

  • Arsitektur: Menerapkan tiered rate limiting di Nginx/Caddy, pemisahan IP trusted proxy, dan caching agresif untuk static assets.
  • Ketahanan TCP: Kernel Linux disetel secara mendalam melalui /etc/sysctl.conf dengan SYN cookies aktif, TCP window scaling, dan optimalisasi backlog queues.
  • Deteksi Intrusi: Fail2ban terintegrasi secara asinkron dengan log Nginx menggunakan regex jail kustom untuk memblokir IP penyerang secara instan di level iptables/nftables.
  • Dampak: Trafik legitimasi tetap terlayani dengan latensi minimal, serangan botnet terisolasi dan ditolak sebelum mencapai aplikasi backend (PHP-FPM/Node.js).

2. Konsep Inti & Deep Dive Arsitektur

Untuk membangun pertahanan yang kokoh, kita harus memahami alur perjalanan sebuah request (request lifecycle) saat memasuki jaringan infrastruktur enterprise:

[Client / Botnet] 
       │
       ▼
[Cloudflare / Edge CDN] (L3/L4 & WAF Basic Protection)
       │
       ▼
[Linux Kernel Network Stack] (TCP SYN Flood Protection via sysctl.conf)
       │
       ▼
[Nginx / Caddy Reverse Proxy] (L7 Rate Limiting, GeoIP, SSL/TLS Termination)
       │
       ├───────────────► [Static Asset Caching] (Disk/Memory Cache)
       │
       ▼
[Backend Application Pool] (PHP-FPM / Node.js / Go)
       │
       ▼
[Database & Caching Tier] (MySQL/MariaDB & Redis Cluster)

Mekanisme Kerja di Balik Layar

1. Edge Layer (Cloudflare): Menyerap serangan volumetrik masif dan melakukan challenge awal (JavaScript/CAPTCHA challenge) pada pengunjung mencurigakan berdasarkan reputasi IP global.
2. Kernel Layer: Ketika paket TCP SYN mencapai NIC server, kernel Linux mengelola antrean melalui SYN backlog dan mengaktifkan syncookies untuk mencegah alokasi memori penuh sebelum handshaking 3-way selesai.
3. Reverse Proxy Layer (Nginx): Menggunakan modul ngx_http_limit_req_module untuk menghitung frekuensi request berdasarkan kunci tertentu (misalnya $binary_remote_addr) yang disimpan dalam zone memori bersama (shared memory zone). Jika melebihi kapasitas kuota, Nginx langsung mengembalikan kode status HTTP 503 Service Temporarily Unavailable tanpa melibatkan backend.
4. Security Watchdog (Fail2ban): Memindai log akses Nginx secara real-time. Ketika pola error tertentu terdeteksi berulang (misalnya status HTTP 444 atau 403 akibat pelanggaran rate limit), Fail2ban mengeksekusi aturan iptables untuk memblokir IP tersebut di level kernel.

3. Perbandingan Komparatif / Analisis Pendekatan

Dalam mengamankan server web Linux, terdapat beberapa pendekatan arsitektural yang dapat dipilih. Tabel berikut membandingkan pendekatan konvensional dengan pendekatan enterprise-grade berkinerja tinggi.

4. Prasyarat Sistem & Persiapan Lingkungan

Sebelum menerapkan konfigurasi tingkat lanjut, pastikan lingkungan sistem memenuhi spesifikasi dan prasyarat berikut:

• Sistem Operasi: Ubuntu 22.04 LTS / 24.04 LTS atau Debian 12 (Bookworm) dengan minimal kernel versi 5.15+.
• Hak Akses: Akses root atau pengguna dengan hak akses sudo penuh.
• Paket yang Diperlukan: nginx, fail2ban, iptables (atau nftables), lynis, openscap-scanner.

Verifikasi versi sistem operasi dan kernel dengan perintah:

cat /etc/os-release
uname -r

5. Panduan Implementasi Langkah demi Langkah

Langkah 1: Konfigurasi Advanced Rate Limiting pada Nginx

Buat file konfigurasi zona rate limit baru di direktori conf.d/ Nginx untuk mengontrol lalu lintas pada endpoint sensitif dan umum.

# /etc/nginx/conf.d/rate_limits.conf

# Mendefinisikan zone memori bersama 10MB untuk general traffic (10 request per detik)
limit_req_zone $binary_remote_addr zone=general_limit:10m rate=10r/s;

# Mendefinisikan zone memori bersama 10MB untuk login endpoint yang sangat ketat (1 request per 2 detik)
limit_req_zone $binary_remote_addr zone=login_limit:10m rate=30r/m;

# Mendefinisikan zone koneksi bersama untuk mencegah pembukaan koneksi paralel berlebih
limit_conn_zone $binary_remote_addr zone=addr_conn_limit:10m;

Terapkan zona tersebut pada blok server utama virtual host Anda:

# /etc/nginx/sites-available/production-app.conf

server {
    listen 443 ssl http2;
    server_name example.com;

    ssl_certificate /etc/letsencrypt/live/example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;

    root /var/www/html/public;
    index index.php index.html;

    # Batasi jumlah koneksi paralel per IP maksimal 20
    limit_conn addr_conn_limit 20;

    location / {
        # Rate limit umum dengan burst toleransi 20, nodelay agar tidak antre lama
        limit_req zone=general_limit burst=20 nodelay;
        limit_req_status 429;
        try_files $uri $uri/ /index.php?$query_string;
    }

    location = /login {
        # Rate limit ketat khusus halaman login
        limit_req zone=login_limit burst=5 nodelay;
        limit_req_status 429;
        
        try_files $uri /index.php?$query_string;
    }

    location ~ \.php$ {
        include snippets/fastcgi-php.conf;
        fastcgi_pass unix:/var/run/php/php8.2-fpm.sock;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;
    }

    # Custom error page untuk rate limiting
    error_page 429 /custom_429.html;
    location = /custom_429.html {
        root /var/www/html/public;
        internal;
    }
}

Langkah 2: Implementasi Fail2ban Dinamis dengan Custom Jail Rules

Buat file filter kustom untuk mendeteksi pelanggaran rate limit Nginx (status HTTP 429) di log akses.

# /etc/fail2ban/filter.d/nginx-limit-req.conf
[Definition]
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP/.*" 429 .*
ignoreregex =

Selanjutnya, daftarkan filter tersebut ke dalam konfigurasi jail.local:

# /etc/fail2ban/jail.local
[DEFAULT]
bantime  = 1h
findtime = 10m
maxretry = 5
banaction = iptables-multiport

[nginx-limit-req]
enabled  = true
port     = http,https
protocol = tcp
filter   = nginx-limit-req
logpath  = /var/log/nginx/access.log
maxretry = 10
findtime = 60
bantime  = 86400

Restart dan aktifkan layanan fail2ban:

sudo systemctl restart fail2ban
sudo systemctl enable fail2ban

Langkah 3: Kernel Tuning (sysctl.conf) untuk Ketahanan TCP SYN Flood

Terapkan parameter optimasi kernel tingkat lanjut untuk memperkuat tumpukan jaringan terhadap serangan DoS dan efisiensi memori.

# /etc/sysctl.d/99-security-hardening.conf

# Mengaktifkan TCP SYN cookies untuk mitigasi SYN flood
net.ipv4.tcp_syncookies = 1

# Memperbesar ukuran antrean SYN backlog
net.ipv4.tcp_max_syn_backlog = 8192

# Mengurangi waktu tunggu koneksi FIN-WAIT-2
net.ipv4.tcp_fin_timeout = 15

# Mengaktifkan reuse koneksi TIME-WAIT untuk trafik tinggi
net.ipv4.tcp_tw_reuse = 1

# Menonaktifkan ICMP redirect untuk mencegah IP spoofing
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.send_redirects = 0

# Mengabaikan ping broadcast
net.ipv4.icmp_echo_ignore_broadcasts = 1

# Melindungi dari serangan SYN flood berbasis ukuran buffer
net.ipv4.tcp_synack_retries = 2

# Membatasi alokasi memori buffer socket TCP
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

Muat ulang konfigurasi sysctl tanpa perlu reboot sistem:

sudo sysctl --system

Langkah 4: Audit Keamanan Otomatis Menggunakan OpenSCAP dan Lynis

Instal tool audit keamanan standar industri untuk memverifikasi postur keamanan server secara berkala.

sudo apt update && sudo apt install -y lynis libopenscap8 scap-security-guide

Jalankan audit komprehensif menggunakan Lynis:

sudo lynis audit system --quick

Jalankan pemindaian kepatuhan menggunakan OpenSCAP (profil CIS Benchmark):

oscap xccdf eval --profile xccdf_org.ssgproject.content_profile_cis \
  --report /var/www/html/security_report.html \
  /usr/share/xml/scap/ssg/content/ssg-ubuntu2204-ds.xml

6. Bedah Kode & Penjelasan Detail Baris Kunci

• limit_req_zone $binary_remote_addr zone=general_limit:10m rate=10r/s;: Baris ini mengalokasikan memori bersama sebesar 10 Megabita untuk melacak status IP klien ($binary_remote_addr, lebih hemat memori dibanding string teks). Setiap IP dibatasi rata-rata 10 request per detik.
• burst=20 nodelay;: Parameter burst mengizinkan klien melakukan lonjakan instan hingga 20 request melampaui batas rate. Dengan opsi nodelay, request dalam batas burst diproses seketika tanpa penundaan waktu (delay), menjaga pengalaman pengguna tetap responsif.
• net.ipv4.tcp_syncookies = 1: Memerintahkan kernel untuk tidak mengalokasikan ruang memori tabel koneksi (queue slot) saat menerima paket SYN, melainkan mengenkode informasi state ke dalam nomor urut TCP (SYN cookie), sehingga server kebal terhadap serangan pencemaran tabel SYN.

7. Skenario Produksi & Studi Kasus Dunia Nyata

Studi Kasus: Sebuah platform e-commerce enterprise mengalami serangan botnet Layer 7 terdistribusi sebanyak 150.000 RPS yang menyasar halaman pencarian produk (/search?q=...) menjelang kampanye flash sale.

Solusi Penerapan:

1. Arsitektur Edge: Cloudflare mengaktifkan Under Attack Mode dan Bot Management berbasis machine learning untuk memfilter 90% trafik bot mentah di edge.
2. Reverse Proxy Tier: Nginx menerapkan rate limit khusus pada /search dengan zone ketat (rate=5r/s burst=10). Bot yang lolos dari edge langsung menerima respons 429 Too Many Requests.
3. Fail2ban Action: Log Nginx menangkap lonjakan status 429 dari ribuan IP penyerang. Fail2ban secara otomatis mengeksekusi rule iptables dan menjatuhkan ban selama 24 jam pada IP tersebut.
4. Hasil: Backend PHP-FPM dan database MySQL beroperasi dengan utilisasi CPU di bawah 35%, menjaga latensi rata-rata (response time) tetap di bawah 85 milidetik untuk pengguna sah.

8. Common Pitfalls, Anti-Patterns & Solusi

• Anti-Pattern 1: Menggunakan $remote_addr tanpa verifikasi Cloudflare/Load Balancer.
  • Dampak: Jika server berada di belakang Cloudflare atau Reverse Proxy lain, $remote_addr akan selalu terbaca sebagai IP internal Cloudflare/Proxy. Akibatnya, seluruh trafik pengguna internet dibatasi dan diblokir di bawah satu IP tunggal.
  • Solusi: Gunakan modul ngx_http_realip_module dan tetapkan setelan set_real_ip_from sesuai rentang IP Cloudflare/Proxy yang valid.
• Anti-Pattern 2: Mengatur nilai burst terlalu tinggi pada endpoint autentikasi.
  • Dampak: Memberikan celah bagi bot penyerang untuk melakukan serangan credential stuffing atau brute-force secara masif.
  • Solusi: Batasi burst seminimal mungkin (misalnya 2 hingga 5) pada endpoint /login atau /api/v1/auth.

9. Benchmark, Metrik Kinerja & Tuning Performa

Untuk menguji ketahanan rate-limiting dan performa Nginx di bawah beban tinggi, gunakan tool pengujian beban seperti k6 atau wrk.

Contoh skrip pengujian menggunakan k6 (load-test.js):

import http from 'k6/http';
import { check, sleep } from 'k6';

export const options = {
  stages: [
    { duration: '30s', target: 500 }, // Naikkan ke 500 virtual users dalam 30 detik
    { duration: '1m', target: 500 },  // Pertahankan beban
    { duration: '10s', target: 0 },   // Turunkan beban
  ],
};

export default function () {
  const res = http.get('https://example.com/login');
  check(res, {
    'status is 200 or 429': (r) => r.status === 200 || r.status === 429,
  });
  sleep(0.1);
}

Jalankan pengujian:

k6 run load-test.js

Interpretasi Hasil: Pastikan server tidak mengalami lonjakan error 502 Bad Gateway atau 504 Gateway Time-out. Respons yang diharapkan adalah kombinasi kode 200 OK untuk trafik normal dan 429 Too Many Requests untuk trafik yang melampaui batas rate limit.

10. Checklist Penerapan Produksi & Kesimpulan

Sebelum merilis konfigurasi hardening ini ke lingkungan produksi, pastikan seluruh item dalam checklist berikut telah diverifikasi:

• Konfigurasi ngx_http_realip_module aktif dan mengenali IP asli klien di balik CDN/Proxy.
• Zone rate-limiting Nginx telah diuji menggunakan beban simulasi k6/wrk.
• Fail2ban berjalan dengan baik dan berhasil mencegat log error rate limit.
• Parameter kernel sysctl.conf telah dimuat (sysctl --system) tanpa error.
• Pemindaian keamanan Lynis dan OpenSCAP dieksekusi untuk memastikan tidak ada konfigurasi lalai.
• Backup file konfigurasi asli disimpan di tempat aman.

Dengan menerapkan arsitektur pertahanan berlapis ini—mulai dari tuning kernel TCP, rate limiting berbasis memori bersama di Nginx, hingga otomatisasi pemblokiran intrusi melalui Fail2ban—infrastruktur web server Linux Anda kini memiliki ketahanan tingkat enterprise terhadap serangan DDoS Layer 7 dan botnet modern.