Dobeon Agentic Operations
Keamanan & Threat Model
Keamanan agentic berbeda dari aplikasi biasa: agent bertindak. Bagian ini memetakan ancaman (OWASP LLM, risiko agent), kontrol berlapis, dan red-teaming.
Mengapa khusus: agent tidak hanya menghasilkan teks — ia memanggil tool & bertindak. Maka ancaman terbesar bukan "jawaban salah", melainkan aksi salah berdampak nyata (Excessive
Agency). Kontrol harus mencegah aksi, bukan sekadar menyaring teks.
OWASP Top 10 for LLM Applications (2025) — dipetakan
| Kode | Ancaman | Risiko di konteks agentic | Mitigasi Dobeon |
|---|---|---|---|
LLM01 | Prompt Injection | Input jahat membelokkan agent (mis. dokumen berisi instruksi tersembunyi). | Validasi input, pemisahan instruksi/data, allow-list tool, HITL untuk aksi material |
LLM02 | Sensitive Information Disclosure | Bocornya PII/rahasia via output atau konteks. | Redaksi/masking PII, minimisasi konteks, kontrol egress, output filtering |
LLM03 | Supply Chain | Model/plugin/library/MCP server yang tercemar. | Vendor tepercaya, pinning versi, scanning, review konektor |
LLM04 | Data & Model Poisoning | Data latih/RAG diracuni untuk mengubah perilaku. | Kurasi sumber RAG, validasi, kontrol akses tulis ke knowledge base |
LLM05 | Improper Output Handling | Output agent dieksekusi tanpa validasi (SQL/command/markup). | Sanitasi & validasi output sebelum dipakai sistem hilir |
LLM06 | Excessive Agency | Agent punya izin/otonomi berlebih → aksi berbahaya. | Least-privilege, batas nilai, HITL gate, sandboxing — inti desain |
LLM07 | System Prompt Leakage | Bocornya instruksi sistem/policy. | Jangan simpan rahasia di prompt; pisahkan secrets; asumsikan prompt bisa bocor |
LLM08 | Vector & Embedding Weaknesses | Kelemahan RAG: kebocoran lintas-tenant, manipulasi. | Isolasi index per-tenant, kontrol akses, validasi sumber |
LLM09 | Misinformation | Halusinasi/keluaran salah dianggap benar. | Grounding, sitasi sumber, verifikasi, HITL, evals |
LLM10 | Unbounded Consumption | Penyalahgunaan sumber daya → biaya/DoS. | Rate-limit, kuota, budget & alert, timeout |
Referensi tambahan: MITRE ATLAS (taktik & teknik serangan terhadap sistem AI) sebagai basis red-teaming.
Risiko khusus agent
| Risiko | Penjelasan | Kontrol |
|---|---|---|
| Excessive agency | Agent melakukan lebih dari seharusnya | Scope tool sempit, gate ireversibel, dry-run |
| Tool misuse / confused deputy | Agent ditipu memakai tool sah untuk niat jahat | Validasi maksud, allow-list, konfirmasi manusia |
| Memory poisoning | Memori/konteks jangka panjang diracuni | Validasi sumber memori, TTL, isolasi |
| Cascading actions | Aksi otomatis berantai tak terkendali | Circuit breaker, batas langkah, checkpoint manusia |
Defense in depth (kontrol berlapis)
Lapis 1 · Input
Validasi & sanitasi input, pemisahan instruksi vs data, deteksi prompt injection.
Lapis 2 · Identitas & akses
RBAC per agent, least-privilege, secrets manager, rotasi, tanpa akun bersama.
Lapis 3 · Tool & eksekusi
Allow-list tool, sandbox, batas nilai, dry-run, validasi output sebelum dipakai.
Lapis 4 · Aksi manusia
HITL gate untuk yang ireversibel; maker-checker; kill-switch.
Lapis 5 · Data
Enkripsi, redaksi PII, isolasi per-tenant, kontrol egress, opsi self-host.
Lapis 6 · Pemantauan
Audit log immutable, deteksi anomali, rate-limit, alert biaya, evals keamanan.
Red-teaming & secure SDLC
1
Threat modeling per use case sebelum build (apa yang bisa disalahgunakan?).
2
Red-team — uji prompt injection, jailbreak, kebocoran data, penyalahgunaan tool (basis
OWASP/ATLAS).
3
Evals keamanan dalam pipeline — regresi sebelum tiap rilis.
4
Pemantauan produksi — deteksi pola serangan & anomali; kill-switch siap.
5
Respons insiden — runbook S1–S4 (lihat SOP §8).
Keamanan data & privasi
| Aspek | Kontrol |
|---|---|
| Klasifikasi data | Tandai PII/rahasia; perlakuan & akses sesuai tingkat sensitivitas |
| Enkripsi | In-transit (TLS) & at-rest; kunci dikelola aman |
| Residency | Self-host model untuk data yang tak boleh keluar; kontrol egress |
| Retensi | Minimal; hapus sesuai kebijakan & PDP |
| Akses | Least-privilege; audit akses data; tanpa pelatihan ulang pada data klien tanpa izin |
Untuk sektor sangat teregulasi (bank, migas, publik), naikkan kontrol: on-prem/VPC, red-team
lebih ketat, dan keterlibatan tim keamanan klien sejak desain. Lihat Sektor & Tata Kelola.