Tata Kelola & Keamanan
Lapisan yang membuat operasional berbasis agent aman, bertanggung jawab, dan lolos audit. Inti: autonomy bertingkat + human-in-the-loop di titik material + jejak audit penuh.
Autonomy Ladder (L0–L4)
Setiap use case dipetakan ke satu level. Default mulai L2; naik hanya dengan bukti akurasi; turun otomatis bila error naik.
| Level | Nama | Siapa bertindak | Peran manusia | Contoh |
|---|---|---|---|---|
| L0 | Manual | Manusia melakukan semua | Manusia | (baseline) |
| L1 | Assisted | AI menyarankan, manusia eksekusi | Eksekusi | Draft balasan email |
| L2 | Human-in-the-loop | Agent menyiapkan aksi | Approve dulu | Setujui PO Rp 25 jt? |
| L3 | Human-on-the-loop | Agent eksekusi otomatis | Memantau / intervensi | Reorder ATK < Rp 2 jt |
| L4 | Full autonomy | Agent end-to-end | Audit berkala | Klasifikasi tiket support |
Matriks RACI — AI vs Agent vs Manusia
| Aktivitas | AI | Agent | Manusia |
|---|---|---|---|
| Riset · analisis · draft | R/A | eksekusi | review |
| Tugas reversibel bernilai rendah | usul | R/A | spot-check |
| Transaksi keuangan / kontrak | siapkan | siapkan | A — approve |
| Keputusan SDM (hire/fire/sanksi) | data | admin | A — putuskan |
| Strategi · harga · kebijakan | skenario | — | A — putuskan |
| Exception & komplain sensitif | bantu draft | eskalasi | A — tangani |
Guardrail wajib
Least-privilege
Tiap agent hanya pegang tool yang diperlukan tugasnya.
Pemisahan tugas
Yang menyiapkan ≠ yang mengeksekusi pembayaran; manusia memutus.
Audit trail penuh
Setiap aksi tercatat immutable: siapa/agent, apa, kapan, atas dasar apa.
PII redaction
Data pribadi di-mask; sensitif tak keluar lingkungan (opsi self-host).
Kill-switch
Satu tombol hentikan semua agent; circuit breaker otomatis saat anomali.
Evals berkelanjutan
Kualitas keputusan diuji terus; promote/demote level berbasis metrik.
Apa yang TIDAK BOLEH dijalankan agent tanpa manusia
Risiko & mitigasi
| Risiko | Dampak | Mitigasi by design |
|---|---|---|
| Halusinasi / data salah | Keputusan keliru | Grounding ke sumber, verifikasi silang, confidence threshold, human review |
| Aksi keuangan keliru | Kerugian | Gate approval, batas nilai, 3-way match, dry-run, kill-switch |
| Prompt injection | Manipulasi agent | Sandbox tool, allow-list, validasi input, least-privilege |
| Kebocoran data / PII | Hukum & reputasi | Data residency, enkripsi, redaksi PII, audit akses, opsi self-host |
| Over-automation prematur | Insiden | Mulai L2, promote berbasis metrik, circuit breaker, kill-switch |
| Ketergantungan vendor | Lock-in | Abstraksi MCP, multi-model, opsi self-host |
| Resistensi karyawan | Adopsi gagal | Posisikan sebagai augmentation, libatkan tim, mulai dari pekerjaan yang dibenci |
Kriteria promote / demote level
Promote (naik level)
Akurasi ≥ ambang yang disepakati · 0 error material dalam N transaksi berturut · biaya stabil · approver jarang merevisi rekomendasi.
Demote (turun level)
Error-rate melewati ambang · insiden material · perubahan kebijakan/sistem · drift kualitas terdeteksi evals.
Pemetaan kepatuhan (Indonesia)
Bukan nasihat hukum — wajib direview penasihat hukum. Ringkasan kewajiban & tindakan.
| Regulasi | Relevansi | Tindakan |
|---|---|---|
| UU 27/2022 (PDP) | Pemrosesan data pribadi | DPA, peran controller/processor, dasar pemrosesan, hak subjek data, notifikasi kebocoran, (potensi) DPO |
| UU ITE | Dokumen & bukti elektronik | Audit log sebagai bukti; tanda tangan elektronik tersertifikasi untuk keputusan material |
| PP 71/2019 (PSE) | Penyelenggara Sistem Elektronik | Registrasi PSE Kominfo; kewajiban pelindungan data |
| SE Kominfo 9/2023 | Etika AI (tak mengikat) | Adopsi sebagai praktik baik: transparansi, akuntabilitas, pengawasan manusia |
| Sektoral | OJK, Kemenkes, ESDM, LKPP, dll. | Kepatuhan spesifik industri (lihat Sektor) |
| Transfer data lintas-batas | Model frontier di luar negeri | Dasar hukum transfer (PDP) + komitmen vendor; opsi self-host untuk data sensitif |
Prinsip etika AI
Pengawasan manusia
Manusia tetap akuntabel; aksi material selalu di bawah kendali manusia.
Transparansi
Keputusan agent dapat dijelaskan & ditelusuri; pengguna tahu sedang berinteraksi dengan agent.
Keadilan
Hindari bias yang merugikan (mis. screening CV); uji & pantau dampak.
Privasi
Minimisasi data, redaksi PII, tujuan terbatas, retensi minimal.
Keandalan & keamanan
Diuji (evals), aman dari penyalahgunaan, gagal dengan anggun.
Akuntabilitas
Kepemilikan keputusan jelas; jejak audit lengkap; tanggung jawab terdefinisi.
Manajemen risiko model (Model Risk Management)
- Validasi sebelum produksi — uji golden set; ukur akurasi, bias, halusinasi.
- Pemantauan drift — kualitas model bisa berubah; evals berkelanjutan + alert.
- Fallback — model cadangan & degradasi ke manual bila kualitas turun.
- Versioning — catat versi model/prompt yang dipakai tiap keputusan (untuk audit & reproduksi).
- Tidak melatih pada data klien tanpa izin eksplisit.
Kerangka audit
| Lapisan audit | Yang diperiksa |
|---|---|
| Jejak aksi (immutable) | Setiap prompt, tool-call, keputusan, approver — dapat direkonstruksi |
| Akses & identitas | Siapa/agent mengakses data apa, kapan; hak akses sesuai least-privilege |
| Kepatuhan | Bukti policy-as-code dijalankan; pemisahan tugas; threshold approval |
| Kualitas | Hasil evals, error material, tindakan korektif |
| Audit eksternal | Akses auditor/KAP & regulator ke jejak yang relevan |
DPIA — penilaian dampak perlindungan data
Untuk use case yang memproses data pribadi berisiko tinggi (HR, pelanggan, kesehatan), lakukan DPIA sebelum produksi: