Ruang Panen Data

Apa & untuk apa

Ruang Panen Data adalah fitur untuk mengambil data dari API situs lain secara tertata — lalu menyalurkannya langsung ke aset Dataset Anda. Hasil panen biasanya masih draft yang perlu dikurasi, tetapi sudah siap masuk alur Pabrik Data, Notebook, atau Ruang Metadata.

Berbeda dengan Data Sintesis (data buatan), Ruang Panen Data mengambil data dari sumber eksternal nyata — dengan batasan keamanan ketat: hanya domain tepercaya (allowlist), alamat internal/privat diblokir, dan rate limit sopan agar tidak membebani sumber.

Cara kerja

Anda menyusun job panen lewat wizard langkah demi langkah:

1. Sumber — URL API (HTTPS), method, parameter, dan autentikasi (API key, bearer, basic).
2. Paginasi — strategi page/offset/cursor, ukuran halaman, batas max pages/records, rate per menit.
3. Pemetaan field — pratinjau 1 halaman, lalu petakan kolom keluaran ke path JSON sumber.
4. Tujuan dataset — buat dataset baru atau tambah versi ke dataset yang sudah ada (CSV/JSONL/Parquet).
5. Jalankan — job berjalan async di latar belakang; hasil ditulis ke SatuDanau dataset Anda.

Rahasia autentikasi disimpan aman di vault — tidak pernah ditampilkan ulang di UI setelah disimpan. Job bisa dibatalkan, diulang, dan dipantau progresnya (records_written).

Kapan dipakai

Cocok untuk:

• Mengambil data terbuka dari API pemerintah, statistik, atau layanan yang Anda punya hak aksesnya.
• Membangun dataset awal sebelum transformasi di Pabrik Data.
• Memperbarui dataset secara berkala (mode versi baru) dari sumber yang sama.
• Proyek riset/kompetisi yang butuh data eksternal terstruktur.

Kurang tepat bila:

• Anda butuh data sintetis untuk latihan — gunakan Data Sintesis.
• Sumber tidak punya API publik atau tidak ada di allowlist — minta penambahan ke admin atau kumpulkan manual.
• Anda hanya butuh beberapa sel spreadsheet — coba Ruang Lembar Kerja dengan fungsi IMPORT.

Langkah demi langkah

Menyusun job panen

1. Buka menu Suite Data → Ruang Panen Data (/harvest).
2. Tekan Buat Job Panen.
3. Langkah Sumber: isi URL API (HTTPS), method (GET/POST), params, dan auth bila perlu.
4. Langkah Paginasi: pilih strategi, page_size, records_path (mis. data.items), batas halaman/rekord.
5. Langkah Pemetaan: tekan Pratinjau → lihat baris contoh → petakan kolom (opsional).
6. Langkah Tujuan: pilih buat dataset baru atau versi dataset existing; pilih format output.
7. Tinjau & Jalankan — job masuk antrean async.

Memantau job

1. Daftar job menampilkan status: draft, queued, running, completed, failed, canceled.
2. Job berjalan → pantau records_written naik.
3. Selesai → tekan Lihat dataset untuk membuka halaman Dataset hasil.
4. Gagal → baca error, perbaiki konfigurasi, tekan Coba lagi.

Setelah panen selesai

1. Buka dataset hasil — data masih draft, perlu kurasi.
2. Periksa kualitas: null, duplikat, tipe kolom.
3. Lanjutkan ke Pabrik Data untuk cleansing/transform ke silver/gold.
4. Opsional: tautkan Ruang Metadata untuk katalog & lineage.

Batas tier

Kapasitas panen mengikuti tier reputasi Anda. Angka berikut ilustratif — angka dapat berubah.

Poin & quest

Quest bertema Ruang Panen Data:

1. Panen Pertama — buat job sederhana tanpa paginasi, 1 halaman API.
2. Paginasi Pintar — panen API berpaginasi (page atau cursor).
3. Pemetaan Field — petakan minimal 3 kolom dari pratinjau.
4. Dataset Draft — selesaikan job dan buka dataset hasil.
5. Naik Pipeline — olah hasil panen di Pabrik Data.

Masalah umum & solusi

Fitur terkait

• Dataset — tujuan langsung hasil panen (SatuDanau).
• Pabrik Data — kurasi & transform draft panen menjadi data siap analitik.
• Data Sintesis — alternatif data buatan (bukan dari API eksternal).
• Ruang Metadata — katalog, kualitas, dan lineage dataset hasil panen.
• Ruang Lembar Kerja — IMPORT dari domain tepercaya untuk data kecil.
• Notebook — eksplorasi cepat dataset hasil panen.