Praktik: Data Science End-to-End

Apa & untuk apa

Tutorial ini melanjutkan proyek dari Data engineering end-to-end dan mengajak Anda berperan sebagai ilmuwan data (data scientist). Berbekal tabel gold yang sudah bersih, Anda akan: mengeksplorasi data di Notebook, melakukan feature engineering, melatih model prediksi, menyimpannya sebagai aset Model, lalu melacaknya di Registry Model untuk pemantauan berkelanjutan.

Data science menjawab: "dari data yang sudah rapi, apa yang bisa kita pelajari dan prediksi?" Di PSD, seluruh siklus ini bisa dikerjakan tanpa memasang apa pun di komputer Anda — kode, data, dan model semuanya hidup di platform.

Cara kerja: siklus data science di PSD

Siklus klasik data science dipetakan ke tools PSD:

Dua runtime Notebook: peramban (ringan, gratis, cocok eksplorasi) dan server (lebih kuat, butuh akses kernel + tier — untuk latihan model besar). Untuk beban Python/PySpark berat, gunakan Studio Python yang memberi kontainer & venv terisolasi per-pengguna.

Kapan dipakai

Cocok untuk:

• Membangun model prediksi/klasifikasi dari data yang sudah bersih.
• Eksplorasi data mendalam yang tak cukup dengan SQL.
• Eksperimen berulang yang perlu dilacak versinya.

Kurang tepat bila:

• Data belum bersih — selesaikan Jalur 1 (Data Engineering) dulu.
• Anda hanya perlu laporan/agregasi — cukup Jalur 3 (BI) dengan SQL & dashboard.

Langkah demi langkah

Langkah 1 — Buka Notebook & baca data gold

1. Buka Notebook & Komputasi → Notebook (/notebooks) → Buat notebook.
2. Pilih runtime: peramban untuk mulai, atau server bila butuh tenaga lebih.
3. Baca tabel gold lewat SDK psd:// (bukan path lokal):

   import psd

   df = psd.read_table("psd://gold_username/penjualan_harian")
   df.head()

Langkah 2 — Eksplorasi data (EDA)

Pahami dulu datanya sebelum memodelkan:

df.describe()
df.groupby("kota")["omzet"].sum().sort_values(ascending=False)

import matplotlib.pyplot as plt
df.set_index("tanggal")["omzet"].plot(figsize=(10, 4), title="Tren Omzet Harian")
plt.show()

Cari pola: musiman? hari ramai? outlier? Ini menentukan fitur apa yang berguna.

Langkah 3 — Feature engineering

Bangun fitur yang membantu model belajar:

df["hari_pekan"] = df["tanggal"].dt.dayofweek
df["akhir_pekan"] = (df["hari_pekan"] >= 5).astype(int)
df["omzet_kemarin"] = df.groupby("kota")["omzet"].shift(1)
df = df.dropna()

Langkah 4 — Latih model

Contoh model regresi sederhana:

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

fitur = ["hari_pekan", "akhir_pekan", "omzet_kemarin"]
X_train, X_test, y_train, y_test = train_test_split(
    df[fitur], df["omzet"], test_size=0.2, random_state=42
)

model = RandomForestRegressor(n_estimators=200, random_state=42)
model.fit(X_train, y_train)

rmse = mean_squared_error(y_test, model.predict(X_test), squared=False)
print(f"RMSE: {rmse:,.0f}")

Simpan artefak bobot & catat metrik (RMSE) — dua-duanya dipakai di langkah berikutnya.

Langkah 5 — Simpan sebagai aset Model

1. Simpan bobot model (mis. joblib.dump(model, "model_omzet.pkl")).
2. Buat aset Model baru (/models) bergaya Hugging Face: isi README, unggah berkas bobot,

catat metrik.

1. Push notebook yang melatihnya ke git agar hasil reproducible & bisa ditinjau orang lain.

Langkah 6 — Daftarkan ke Registry Model (MLOps)

Bila model akan dipakai berkelanjutan (bukan sekali jalan):

1. Buka Registry Model (/ml) → Daftarkan model.
2. Rekam tiap hasil latihan sebagai versi + metrik.
3. Tandai stage: Staging (sedang diuji) atau Production (dipakai resmi).
4. Pantau drift — sistem membandingkan distribusi data terkini vs data latih per fitur:

stabil / sedang / signifikan.

1. Dashboard monitoring drift & akurasi otomatis divisualkan lewat Ruang Analitik.

Drift signifikan berulang = sinyal model perlu dilatih ulang. Registry membantu Anda melihatnya sebelum kualitas prediksi merosot diam-diam.

Batas tier

Angka berikut ilustratif — angka dapat berubah.

Poin & quest

Quest bertema data science:

1. Penjelajah Data — jalankan EDA pertama di notebook.
2. Perekayasa Fitur — buat minimal 3 fitur turunan.
3. Pelatih Model — latih & catat metrik model pertama.
4. Praktisi MLOps — daftarkan model ke Registry dengan stage.

Masalah umum & solusi

Fitur terkait

• Notebook — permukaan utama eksplorasi & latihan (langkah 1–4).
• Studio Python — Python/PySpark berat dengan lingkungan terisolasi.
• Model — menyimpan model sebagai aset (langkah 5).
• Registry Model — MLOps: versi, stage, drift (langkah 6).
• Ruang Analitik — dashboard monitoring model.
• Kompetisi — uji model Anda melawan peserta lain.
• Praktik: Data Engineering End-to-End — menyiapkan data gold sebelum tutorial ini.