JIPRAKS Classroom

Membangun AI Agent Penilaian Kualitas Data Otomatis dengan n8n (MVP 2 Hari)

· 3 menit baca

Membangun AI Agent Penilaian Kualitas Data Otomatis dengan n8n (MVP 2 Hari)

Masalah nyata: Tim data sering terjebak dengan dataset yang penuh noise, duplikat, atau nilai yang tidak konsisten. Setiap kali ada data baru masuk, harus manual cek kualitas—memakan waktu, rawan human error, dan menghambat kecepatan pengambilan keputusan.

Kenapa AI Agent + n8n?

n8n adalah orchestrator low‑code yang dapat menghubungkan ribuan API. Dengan menambahkan AI Agent berbasis LLM (mis. OpenAI GPT‑4o), kita bisa menyiapkan penilaian kualitas data secara kontekstual — mengenali anomali, outlier, duplikat, serta memberi rekomendasi perbaikan dalam hitungan detik.

Arsitektur Ringkas

  • Trigger: Webhook atau cron (setiap 5 menit) yang menerima batch data (CSV, JSON, atau DB rows).
  • Node n8n:
    • HTTP Request – ambil data dari source (S3, Google Sheet, DB).
    • Function – transformasi ke format {records: [...]}.
    • OpenAI – kirim prompt berbasis schema kualitas ke LLM.
    • IF – evaluasi skor kualitas (≥ 0.8 = OK, else = flag).
    • Slack / Email – kirim notifikasi dengan rekomendasi perbaikan.
  • AI Agent: LLM yang berperan "Data Quality Analyst". Prompt dirancang supaya LLM dapat:
    • Deteksi duplikat & missing values.
    • Hitung distribusi statistik sederhana.
    • Berikan actionable feedback (mis. "Kolom 'price' ada nilai negatif, set to null").

Langkah‑Langkah Implementasi (MVP 2 Hari)

Hari 1 – Persiapan Infrastruktur

  1. Deploy n8n di Docker (atau gunakan cloud.n8n.io). Pastikan OPENAI_API_KEY disimpan di .env.
  2. Buat webhook endpoint /data-quality di n8n. Tes dengan curl -X POST -d '{"source":"s3","path":"bucket/file.csv"}'.
  3. Siapkan sumber data contoh: CSV di Amazon S3 atau Google Sheet berisi 500 row produk.

Hari 2 – Bangun Workflow & AI Agent

  1. Tambah HTTP Request node untuk download CSV, konversi ke JSON menggunakan csv‑to‑json di Function node.
  2. Rancang prompt LLM. Contoh: 
    You are a Data Quality Analyst. Given the following JSON array of records, evaluate each record on:
- Missing required fields (name, price)
- Duplicate values in 'sku'
- Out‑of‑range numeric values (price < 0)
Return a JSON object with keys: recordId, issues (array), score (0‑1).
Provide a short recommendation for fixing each issue.
  3. Masukkan prompt ke OpenAI node, set maxTokens 500, temperature 0.2.
  4. Parse LLM response (JSON) dengan Function node, hitung rata‑rata score. Gunakan IF node: jika rata‑rata < 0.8, kirim alert ke Slack + attach CSV berisi baris bermasalah.
  5. Tambahkan Schedule Trigger (cron */5 * * * *) untuk otomatis tiap 5 menit.

Use Case Real: Monitoring Data Feed E‑Commerce

Perusahaan marketplace meng‑import produk dari ribuan merchant setiap jam. Dengan workflow di atas, tim operasi menerima notifikasi "10 produk memiliki price negatif" dalam kurang dari 30 detik setelah file masuk. Mereka dapat memperbaiki via UI atau men-trigger automasi “set price = null”. Tanpa AI, proses ini memakan jam dan menimbulkan error pada katalog.

Insight & Strategi Skalabilitas

  • Prompt Engineering: Simpan prompt di n8n Credentials sehingga mudah di‑update tanpa mengubah workflow.
  • Batching: Kirim data per 200 row ke LLM untuk menurunkan biaya token. Gunakan SplitInBatches node.
  • Hybrid Inference: Untuk aturan sederhana (missing field) gunakan Function Node; hanya delegasikan ke LLM untuk kasus kompleks (outlier detection).
  • Monitoring Cost: Tambahkan node Set yang meng‑log usage.totalTokens ke InfluxDB atau Grafana.
  • Feedback Loop: Simpan rekomendasi yang dipilih user ke database, kemudian fine‑tune model (optional) untuk meningkatkan akurasi di siklus berikutnya.

Penutup & Call to Action

Dengan kombinasi n8n dan AI Agent, menilai kualitas data bukan lagi pekerjaan manual yang melelahkan. Anda hanya perlu menyiapkan workflow, mendefinisikan prompt, dan biarkan AI memberi sinyal kualitas dalam hitungan detik. Mulai sekarang: buat webhook n8n, sambungkan ke source data Anda, dan terapkan contoh prompt di atas. Dalam dua hari, tim Anda sudah punya “Data Quality Guard” yang selalu siaga.

Sudah siap meng‑otomatisasi kebersihan data? Join komunitas JIPRAKS Classroom, bagikan workflow Anda, dan dapatkan feedback langsung dari para engineer AI‑automation.

Artikel terkait