Hardening Infrastruktur Linux & Web Server: Mitigasi Serangan Zero-Day & DDoS

1. Konteks Industri & Analisis Akar Masalah

Dalam lanskap infrastruktur web modern, ancaman terhadap server Linux dan web server (Nginx/Apache) telah bergeser dari serangan skrip dasar menjadi eksploitasi zero-day terotomatisasi, serangan Distributed Denial of Service (DDoS) berbasis Layer 7 berskala masif, serta injeksi payload tingkat lanjut yang menargetkan kerentanan pada PHP-FPM, Node.js, dan database backend.

Secara historis, administrator sistem sering kali mengandalkan keamanan perimeter yang usang—seperti firewall stateful dasar tanpa inspeksi paket mendalam (DPI) atau WAF yang dikonfigurasi secara longgar. Akibatnya, eksploitasi pada celah aplikasi web langsung berdampak pada eskalasi hak istimewa (privilege escalation) di tingkat sistem operasi.

Analisis Sebelum vs Sesudah penerapan Hardening Menyeluruh:

• Sebelum Hardening: Server rentan terhadap serangan Brute Force SSH, eksploitasi Modul Apache/Nginx yang usang, serangan HTTP Flood (Layer 7) yang melumpuhkan PHP-FPM dengan cepat, serta ketiadaan audit integritas file (FIM). Penyerang dapat melakukan eksfiltrasi data dalam hitungan menit setelah celah zero-day ditemukan.
• Sesudah Hardening: Akses SSH dibatasi secara ketat menggunakan kunci publik ed25519 dan port non-standar dengan fail2ban otomatis. Lapisan WAF (ModSecurity dengan OWASP CRS) mencegat payload injeksi SQL dan XSS sebelum mencapai aplikasi. Rate-limiting berbasis token bucket di Nginx melindungi endpoint sensitif dari serangan DDoS Layer 7, sementara pemantauan integritas file memberikan peringatan dini terhadap perubahan biner yang tidak sah.

2. Konsep Inti & Deep Dive Arsitektur

Arsitektur keamanan infrastruktur web yang tangguh dibangun di atas prinsip Defense in Depth (Pertahanan Berlapis). Setiap lapisan memiliki peran isolasi kegagalan, mulai dari perimeter jaringan (Edge/CDN) hingga lapisan inti aplikasi.

[ Cloudflare Edge / WAF ]
          │
          ▼
[ UFW Firewall (Layer 3/4) ]
          │
          ▼
[ Nginx Reverse Proxy + ModSecurity WAF (Layer 7) ]
          │
          ├──────────────┬──────────────┐
          ▼              ▼              ▼
     [ PHP-FPM ]    [ Node.js ]    [ Go Backend ]
          │
          └──────────────┬──────────────┘
                         ▼
         [ Database (MySQL/MariaDB & Redis) ]

Alur Eksekusi Keamanan:

1. Edge Filtering: Traffic publik disaring terlebih dahulu di CDN (Cloudflare) untuk membersihkan serangan DDoS volume tinggi (Layer 3/4/7).
2. Host Firewall: Paket yang lolos ke server fisik diverifikasi oleh UFW (Uncomplicated Firewall) dengan kebijakan default deny.hanya port 80, 443, dan port SSH tersembunyi yang terbuka.
3. Web Server & WAF: Nginx menerima koneksi TLS 1.3 menggunakan cipher suite modern. ModSecurity memeriksa setiap header HTTP, parameter GET/POST, dan body request terhadap aturan OWASP Core Rule Set (CRS).
4. Application & Backend Isolation: Backend dijalankan di bawah pengguna sistem non-privilege (www-data atau user spesifik aplikasi) dengan pembatasan direktori melalui open_basedir dan environment khusus.

3. Perbandingan Komparatif / Analisis Pendekatan

[!WARNING] Mengandalkan Cloudflare WAF saja tanpa hardening server lokal adalah kesalahan fatal. Jika penyerang menemukan IP asli (origin IP) server Anda, seluruh perlindungan edge dapat dilewati.

4. Prasyarat Sistem & Persiapan Lingkungan

Pastikan lingkungan server Anda memenuhi spesifikasi minimum berikut sebelum memulai implementasi:

• OS: Ubuntu 22.04 LTS / Debian 12 (Minimal fresh install).
• Hak Akses: Akun root atau pengguna dengan hak akses sudo tanpa sandi.
• Domain: Domain aktif yang telah dikonfigurasi mengarah ke IP server (untuk SSL/TLS).
• Dependensi Utama: nginx, libnginx-mod-security, ufw, fail2ban, certbot.

Verifikasi versi sistem operasi:

cat /etc/os-release

5. Panduan Implementasi Langkah demi Langkah

Langkah 1: Konfigurasi Hardening SSH dan Firewall UFW

Pertama, kita amankan akses SSH untuk mencegah serangan brute force dan akses yang tidak sah.

Edit file konfigurasi SSH:

sudo nano /etc/ssh/sshd_config

Isi dengan konfigurasi berikut:

Port 2222
Protocol 2
PermitRootLogin no
MaxAuthTries 3
PubkeyAuthentication yes
PasswordAuthentication no
PermitEmptyPasswords no
X11Forwarding no
AllowUsers sysadmin
ClientAliveInterval 300
ClientAliveCountMax 2

Simpan file dan restart layanan SSH:

sudo systemctl restart ssh

Konfigurasi UFW untuk menutup semua port dan hanya membuka yang diperlukan:

sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 2222/tcp comment 'Custom SSH Port'
sudo ufw allow 80/tcp comment 'HTTP'
sudo ufw allow 443/tcp comment 'HTTPS'
sudo ufw enable

Konfigurasi Fail2ban untuk melindungi SSH dan Nginx: Buat file lokal fail2ban:

sudo nano /etc/fail2ban/jail.local

[DEFAULT]
bantime = 1h
findtime = 10m
maxretry = 5

[sshd]
enabled = true
port = 2222
logpath = %(sshd_log)s
backend = systemd

[nginx-http-auth]
enabled = true
port = http,https
logpath = /var/log/nginx/error.log

[nginx-badbots]
enabled = true
port = http,https
logpath = /var/log/nginx/access.log
bantime = 48h
maxretry = 2

Aktifkan dan jalankan fail2ban:

sudo systemctl enable fail2ban
sudo systemctl restart fail2ban

Langkah 2: Penerapan ModSecurity WAF di Nginx

Instal modul ModSecurity untuk Nginx:

sudo apt update
sudo apt install -y libnginx-mod-security libapache2-mod-security2

Buat direktori konfigurasi ModSecurity dan unduh OWASP Core Rule Set (CRS):

sudo mkdir -p /etc/nginx/modsec
sudo wget -qO- https://github.com/coreruleset/coreruleset/archive/refs/tags/v4.0.0.tar.gz | sudo tar xz -C /etc/nginx/modsec/
sudo mv /etc/nginx/modsec/coreruleset-4.0.0 /etc/nginx/modsec/crs
sudo cp /etc/nginx/modsec/crs/crs-setup.conf.example /etc/nginx/modsec/crs/crs-setup.conf

Salin file konfigurasi utama ModSecurity:

sudo cp /usr/share/modsecurity-crs/unicode.mapping /etc/nginx/modsec/
sudo nano /etc/nginx/modsec/main.conf

Isi /etc/nginx/modsec/main.conf dengan:

Include /etc/nginx/modsec/crs/crs-setup.conf
Include /etc/nginx/modsec/crs/rules/*.conf

# Konfigurasi dasar ModSecurity
SecRuleEngine On
SecRequestBodyAccess On
SecResponseBodyAccess Off
SecRequestBodyLimit 13107200
SecRequestBodyNoFilesLimit 131072
SecPcreMatchLimit 100000
SecPcreMatchLimitRecursion 100000

Aktifkan ModSecurity di blok HTTP atau Server Nginx (/etc/nginx/nginx.conf atau file vhost):

http {
    modsecurity on;
    modsecurity_rules_file /etc/nginx/modsec/main.conf;
    
    # Konfigurasi server lainnya...
}

Langkah 3: Manajemen Sertifikat SSL/TLS Otomatis & Rate Limiting

Instal Certbot untuk manajemen SSL/TLS Let's Encrypt:

sudo apt install -y certbot python3-certbot-nginx

Dapatkan sertifikat SSL:

sudo certbot --nginx -d example.com -d www.example.com --non-interactive --agree-tos -m admin@example.com --redirect

Konfigurasi Nginx lengkap dengan Rate Limiting untuk proteksi DDoS Layer 7 di file vhost (/etc/nginx/sites-available/example.com):

# Definisi zone rate limiting
limit_req_zone $binary_remote_addr zone=api_limit:10m rate=5r/s;
limit_conn_zone $binary_remote_addr zone=addr_limit:10m;

server {
    listen 80;
    server_name example.com www.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl http2;
    server_name example.com www.example.com;

    ssl_certificate /etc/letsencrypt/live/example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
    
    # Hardening SSL/TLS Modern
    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384;
    ssl_prefer_server_ciphers off;
    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 1d;

    # Security Headers
    add_header X-Frame-Options "SAMEORIGIN" always;
    add_header X-Content-Type-Options "nosniff" always;
    add_header X-XSS-Protection "1; mode=block" always;
    add_header Referrer-Policy "no-referrer-when-downgrade" always;
    add_header Content-Security-Policy "default-src 'self' http: https: data: blob: 'unsafe-inline'" always;
    add_header Strict-Transport-Security "max-age=63072000; includeSubDomains; preload" always;

    root /var/www/html;
    index index.php index.html index.htm;

    # Proteksi Endpoint API dengan Rate Limiting & Connection Limiting
    location /api/ {
        limit_req zone=api_limit burst=10 nodelay;
        limit_conn addr_limit 10;
        
        try_files $uri $uri/ /index.php?$query_string;
    }

    location / {
        try_files $uri $uri/ =404;
    }

    location ~ \.php$ {
        include snippets/fastcgi-php.conf;
        fastcgi_pass unix:/var/run/php/php8.2-fpm.sock;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;
    }

    # Blokir akses ke file tersembunyi
    location ~ /\. {
        deny all;
    }
}

Uji konfigurasi Nginx dan restart:

sudo nginx -t
sudo systemctl restart nginx

6. Bedah Kode & Penjelasan Detail Baris Kunci

1. limit_req_zone $binary_remote_addr zone=api_limit:10m rate=5r/s;
   • Fungsi: Membuat memori bersama (shared memory) seluas 10MB untuk melacak alamat IP klien ($binary_remote_addr) dan membatasi permintaan maksimal 5 request per detik per IP.
2. limit_req zone=api_limit burst=10 nodelay;
   • Fungsi: Mengizinkan lonjakan (burst) hingga 10 request tambahan di atas batas normal tanpa penundaan (nodelay). Jika melebihi batas tersebut, Nginx langsung mengembalikan kode status HTTP 503.
3. add_header Strict-Transport-Security "max-age=63072000; includeSubDomains; preload" always;
   • Fungsi: Menerapkan HSTS (HTTP Strict Transport Security) selama 2 tahun penuh, memaksa browser klien untuk selalu mengakses situs menggunakan HTTPS guna mencegah serangan SSL stripping.
4. SecRuleEngine On pada ModSecurity:
   • Fungsi: Mengaktifkan mesin pemblokiran secara aktif. Mode alternatif adalah DetectionOnly yang hanya mencatat pelanggaran tanpa memblokirnya (berguna saat fase staging untuk menghindari false positive).

7. Skenario Produksi & Studi Kasus Dunia Nyata

[!TIP] Dalam lingkungan high concurrency (misalnya e-commerce saat flash sale), aturan ModSecurity yang terlalu ketat dapat menyebabkan lonjakan latensi CPU. Gunakan pengecualian rule (rule exclusion) untuk URI tertentu yang sering diakses seperti /cart/add atau /checkout guna menjaga performa.

Contoh pengecualian rule ModSecurity untuk endpoint tertentu di /etc/nginx/modsec/main.conf:

# Matikan rule SQLi tertentu (misal ID 942100) untuk halaman pencarian publik
SecRule REQUEST_URI "@contains /search" "id:1001,phase:1,pass,nolog,ctl:removeRuleById=942100"

8. Common Pitfalls, Anti-Patterns & Solusi

• Anti-Pattern 1: Menjalankan layanan web server, database, dan SSH dengan akun root.
  • Solusi: Selalu jalankan proses dengan akun layanan terdedikasi (www-data, mysql, redis) dan batasi kemampuan sudo hanya untuk admin terverifikasi.
• Anti-Pattern 2: Mengabaikan rotasi log dan pemantauan disk.
  • Solusi: Konfigurasi logrotate untuk ModSecurity dan Nginx agar tidak menghabiskan ruang disk yang dapat memicu denial of service lokal.
• Anti-Pattern 3: Tidak memperbarui OWASP CRS secara berkala.
  • Solusi: Buat skrip cron bulanan untuk memperbarui aturan ModSecurity guna mendeteksi vektor serangan zero-day terbaru.

9. Benchmark, Metrik Kinerja & Tuning Performa

Lakukan pengujian beban (load testing) menggunakan wrk untuk memastikan infrastruktur tahan terhadap lonjakan traffic:

wrk -t12 -c400 -d30s https://example.com/api/

Parameter tuning lanjutan di /etc/sysctl.conf untuk menangani ribuan koneksi konkuren:

# Tingkatkan batas file descriptor
fs.file-max = 2097152

# Optimasi TCP backlog dan buffer
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 1024 65535

Terapkan perubahan dengan perintah:

sudo sysctl -p

10. Checklist Penerapan Produksi & Kesimpulan

1. SSH berjalan di port non-standar dengan autentikasi kunci publik (password login dinonaktifkan).
2. Firewall UFW aktif dengan prinsip default deny.
3. Fail2ban dikonfigurasi untuk memantau SSH dan log error Nginx.
4. Nginx dikonfigurasi dengan SSL/TLS 1.2/1.3 dan header keamanan penuh.
5. ModSecurity WAF aktif dengan OWASP CRS yang telah disesuaikan (diuji terhadap false positive).
6. Rate limiting diterapkan pada endpoint sensitif (API, login, pencarian).
7. Pemantauan log dan rotasi log berjalan otomatis.

Dengan menerapkan seluruh tahapan hardening ini secara sistematis, infrastruktur server Linux dan web server Anda kini memiliki pertahanan berlapis yang tangguh terhadap serangan zero-day, eksploitasi aplikasi, dan serangan DDoS tingkat lanjut.