Algoritma Naive Bayes
Rumus Naive Bayes:
Rumus Naive Bayes untuk menghitung probabilitas posterior adalah:
P(Label|Fitur) = (P(Fitur|Label) * P(Label)) / P(Fitur)
Baca juga artikel perhitungan algoritma lainnya pada menu Data Science
Contoh kasus:
Misalkan kita memiliki dataset yang berisi informasi tentang cuaca (Fitur: Suhu, Kelembaban, Angin) dan label cuaca (Hujan atau Tidak Hujan). Kita ingin menggunakan Naive Bayes untuk memprediksi apakah suatu kondisi cuaca akan menghasilkan hujan atau tidak.
| No. | Suhu | Kelembaban | Angin | Label |
|---|---|---|---|---|
| 1 | Panas | Tinggi | Tidak | Tidak |
| 2 | Panas | Tinggi | Ya | Tidak |
| 3 | Mendung | Tinggi | Tidak | Hujan |
| 4 | Dingin | Normal | Tidak | Hujan |
| 5 | Dingin | Normal | Ya | Tidak |
| 6 | Dingin | Normal | Ya | Hujan |
| 7 | Mendung | Tinggi | Tidak | Tidak |
| 8 | Panas | Normal | Tidak | Tidak |
| 9 | Dingin | Normal | Tidak | Hujan |
| 10 | Dingin | Tinggi | Ya | Hujan |
Kita akan menggunakan rumus Naive Bayes untuk memprediksi apakah suatu kondisi cuaca akan menghasilkan hujan atau tidak.
Langkah-langkah perhitungan Naive Bayes:
1. Menghitung Probabilitas Prior:
– Hitung jumlah setiap kelas dalam dataset (Hujan atau Tidak Hujan).
– Hitung probabilitas masing-masing kelas (P(Hujan)) dan (P(Tidak Hujan)).
Jumlah Hujan = 4; Jumlah Tidak Hujan = 6; Total Data = 10
P(Hujan) = Jumlah Hujan / Total Data = 4 / 10 = 0.4
P(Tidak Hujan) = Jumlah Tidak Hujan / Total Data = 6 / 10 = 0.6
2. Menghitung Probabilitas Likelihood:
– Hitung probabilitas setiap nilai fitur dalam setiap kelas.
Contoh, kita akan menghitung probabilitas suhu “Dingin” dalam kelas Hujan dan Tidak Hujan:
Jumlah “Dingin” dalam Hujan = 3
Jumlah “Dingin” dalam Tidak Hujan = 2
P(“Dingin”|Hujan) = Jumlah “Dingin” dalam Hujan / Jumlah data dalam Hujan = 3 / 4 = 0.75
P(“Dingin”|Tidak Hujan) = Jumlah “Dingin” dalam Tidak Hujan / Jumlah data dalam Tidak Hujan = 2 / 6 = 0.33
Lakukan perhitungan yang sama untuk fitur-fitur lain dalam dataset.
3. Menghitung Probabilitas Posterior:
– Hitung probabilitas posterior untuk setiap kelas menggunakan rumus Naive Bayes: P(Label|Fitur) = (P(Fitur|Label) * P(Label)) / P(Fitur)
Contoh, kita akan menghitung probabilitas posterior untuk kelas “Hujan” dengan fitur “Suhu=Dingin”, “Kelembaban=Normal”, dan “Angin=Ya”:
P(Hujan|”Dingin”, “Normal”, “Ya”) = (P(“Dingin”|Hujan) * P(“Normal”|Hujan) * P(“Ya”|Hujan) * P(Hujan)) / P(“Dingin”, “Normal”, “Ya”)
P(“Dingin”, “Normal”, “Ya”) dapat dihitung dengan mengalikan probabilitas masing-masing fitur dalam kelas “Hujan”.
P(“Dingin”, “Normal”, “Ya”) = P(“Dingin”|Hujan) * P(“Normal”|Hujan) * P(“Ya”|Hujan)
Lakukan perhitungan yang sama untuk kelas “Tidak Hujan”.
P(Tidak Hujan|”Dingin”, “Normal”, “Ya”) = (P(“Dingin”|Tidak Hujan) * P(“Normal”|Tidak Hujan) * P(“Ya”|Tidak Hujan) * P(Tidak Hujan)) / P(“Dingin”, “Normal”, “Ya”)
4. Memprediksi Kelas:
– Bandingkan probabilitas posterior untuk setiap kelas.
– Pilih kelas dengan probabilitas posterior tertinggi sebagai prediksi.
Misalkan probabilitas posterior untuk kelas “Hujan” adalah 0.36 dan probabilitas posterior untuk kelas “Tidak Hujan” adalah 0.27. Maka prediksi kita adalah “Hujan” untuk kondisi cuaca “Dingin”, “Normal”, “Ya”.
– Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer Science & Business Media.