TUGAS II KECERDASAN BUATAN
Tugas II "Kecerdasan Buatan" yaitu membuat program dengan menggunakan excel untuk menirukan fungsi perseptron. Berikut ini merupakan contoh pelatihan perseptron untuk mengenali fungsi logika and,or,xor dan xnor.
Perceptron merupakan salah satu bentuk jaringan sederhana, perceptron biasanya digunakan untuk mengklasifikasikan suatu pola tipe tertentu yang sering dikenal dengan pemisahan secara linear.Pada dasarnya perceptron pada jaringan syaraf dengan satu lapisan memiliki bobot yang dapat diatur. Dapat digunakan dalam kasus untuk mengenali fungsi logika “dan” dengan masukan dan keluaran bipolar.
Perceptron merupakan salah satu bentuk jaringan sederhana, perceptron biasanya digunakan untuk mengklasifikasikan suatu pola tipe tertentu yang sering dikenal dengan pemisahan secara linear.Pada dasarnya perceptron pada jaringan syaraf dengan satu lapisan memiliki bobot yang dapat diatur. Dapat digunakan dalam kasus untuk mengenali fungsi logika “dan” dengan masukan dan keluaran bipolar.
Perceptron merupakan salah satu bentuk jaringan sederhana, perceptron biasanya digunakan untuk mengklasifikasikan suatu pola tipe tertentu yang sering dikenal dengan pemisahan secara linear.Pada dasarnya perceptron pada jaringan syaraf dengan satu lapisan memiliki bobot yang dapat diatur. Dapat digunakan dalam kasus untuk mengenali fungsi logika “dan” dengan masukan dan keluaran bipolar.
Algoritma yang digunakan oleh aturan perceptron ini akan mengatur parameter-parameter bebasnya melalu proses pembelajaran. Fungsi aktivasinya dibuat sedemikian rupa sehingga terjadi pembatasan antara daerah positif dan negative.
Perceptron memiliki kemampuan lebih baik daripada algoritma pembelajaran Hebb. Perceptron memiliki karakteristik sebagai berikut :
Algoritma yang digunakan oleh aturan perceptron ini akan mengatur parameter-parameter bebasnya melalu proses pembelajaran. Fungsi aktivasinya dibuat sedemikian rupa sehingga terjadi pembatasan antara daerah positif dan negative.
Perceptron memiliki kemampuan lebih baik daripada algoritma pembelajaran Hebb. Perceptron memiliki karakteristik sebagai berikut :
- Jaringan lapis tunggal
- Fungsi aktivasi : Fungsi tanga bipolar dengan suatu nilai batas tetap (q)
- Apabila terjadi kesalahan untuk pola masukan pelatihan bobot akan disesuaikan dengan formula :
- T adalah nilai target +1 atau -1
Perceptron merupakan pengembangan aturan Hebb dimana terdapat tiga bagian yaitu unit sensor (dengan aktivasi biner), unit-asociator (dengan aktivasi biner), dan unit respon (dengan aktivasi bipolar). Bobot dari unit sensor tetap, sedangkan unit asosiator berubah. Fungsi aktivasinya Nilai bobot unit-asociator diperbaharui selama masih ada error berdasarkan, a adalah laju pembelajaran dan t adalah target keluaran (±1). Anggota kelas berespon 1 sedangkan bukan anggota kelas terespon -1. Dan fungsi aktifasi yang digunakan adalah step function ( undak biner ) untuk mengkonversi suatu variable yang bernilai kontinue ke suatu output biner ( 0 atau 1 ), seperti pada gambar berikut ini :
PEMBELAJARAN
Langkah 0 : inisialisasi nilai bobot, bias dan laju pembelajaran a (0< a<=1) wi = 0 (untuk i=1 to n)PENGUJIAN
Langkah 1 : selama syarat berhentinya iterasi tidak terpenuhi, lakukan langkah 2 s/d 6
Langkah 2 : pada setiap pasang pelatihan (s,t) lakukan langkah 3 s/d 5
Langkah 3 : tentukan nilai-nilai aktivasi untuk setiap unit masukan xi =si
Langkah 4 : hitung tanggapan untuk unit-keluaran
Langkah 5 : jika masih ada galat, perbaharui bobot dan bias
Langkah 6 : uji kondisi henti. Jika masih ada bobot yang berubah pada langkah 2, kembali ke langkah 1, jika tidak kembali ke langkah 2
Langkah 0 : inisialisasi bobot (digunakan nilai bobot yang diperoleh dari algoritme pelatihan)
Langkah 1 : untuk setiap vektor x, lakukan langkah 2-4
Langkah 2 : set nilai aktivasi dari unit masukan, xi = si; i=1,….,n
Langkah 3 : Hitung total masukan ke unit keluaran
Langkah 4. Gunakan fungsi aktivasi
1 Diterjemahkan oleh Lily W.
Aturan Pembelajaran Perceptron
Tujuan
Salah satu pertanyaan kita yang muncul adalah: "Bagaimana kita menentukan Matrik bobot dan
bias untuk jaringan perceptron dengan banyak input, dimana adalah mustahil untuk
memvisualisasikan batasan-batasan keputusan?” Dalam bab ini kita akan menggambarkan suatu algoritma
untuk pelatihan jaringan perceptron, sehingga mereka dapat belajar untuk memecahkan masalah
klasifikasi. Kita akan mulai dengan menjelaskan apa yang dimaksud dengan aturan belajar
(learning rule) dan akan belajar mengembangkan aturan perceptron. Kami akan menyimpulkan
dengan mendiskusikan keuntungan dan keterbatasan dari jaringan single - layer perceptron.
Diskusi ini akan membawa kita ke dalam bab-bab selanjutnya.
Teori dan Contoh
Pada tahun 1943, Warren McCulloch dan Walter Pitts memperkenalkan salah satu artificial
neurons [McPi43]. Fitur utama dari model neuron mereka adalah bahwa jumlah bobot sinyal
input dibandingkan dengan ambang batas untuk menentukan neuron output. Ketika jumlah lebih
besar dari atau sama dengan ambang batas, output adalah 1. Ketika jumlah kurang dari ambang
batas, keluaran adalah 0. Mereka tetap meneruskan penelitian dengan menunjukkan bahwa
jaringan neuron ini pada prinsipnya bisa menghitung setiap fungsi aritmetika atau logika. Tidak
seperti jaringan biologis, parameters jaringan mereka harus dirancang, karena tidak ada metode
pelatihan yang tersedia. Namun, hubungan yang dirasakan antara biologi dan komputer digital
menghasilkan banyak minat
Pada akhir 1950-an, Frank Rosenblatt dan beberapa peneliti lain mengembangkan suatu kelas
jaringan saraf yang disebut Perceptrons. Neuron dalam jaringan yang mirip dengan McCulloch
dan pitts. Kunci kontribusi Rosenblatt adalah pengenalan aturan belajar untuk pelatihan jaringan
perceptron untuk memecahkan masalah pengenalan pola [Rose58]. Ia membuktikan bahwa
aturan belajarnya akan selalu bertemu untuk bobot jaringan yang benar, jika bobot yang ada
memecahkan masalah. Pembelajarannya sederhana dan otomatis. Contoh perilaku yang layak
2 Diterjemahkan oleh Lily W.
diajukan ke jaringan yang belajar dari kesalahan. Perceptron bahkan bisa belajar ketika
diinisialisasi dengan nilai acak untuk bobot dan bias.
Sayangnya, jaringan perceptron secara inheren terbatas. Keterbatasan ini dipublikasikan secara
luas dalam buku Perceptrons [MiPa69] oleh Marvin Minsky dan Seymour Papert. Mereka
menunjukkan bahwa jaringan perceptron tidak mampu melaksanakan fungsi dasar tertentu. Hal
ini tidak sampai tahun 1980-an dimana keterbatasan ini diatasi dengan memperbaiki jaringan
perceptron (multilayer) dan aturan belajar yang saling terkait/berhubungan.
Saat ini perceptron masih dipandang sebagai jaringan penting. Ia menyisakan suatu jaringan
yang cepat dan handal untuk kelas masalah yang dapat dipecahkan. Selain daripada itu,
pemahaman tentang operasi dari perceptron menyediakan dasar yang baik untuk memahami
jaringan yang lebih kompleks. Jadi jaringan perceptron, dan aturan belajar yang terkait, adalah
baik dan layak untuk didiskusikan di sini.
Pada sisa dari bab ini kita akan mendefinisikan apa yang kita maksud dengan aturan belajar,
menjelaskan jaringan perceptron dan aturan belajar, dan mendiskusikan keterbatasan jaringan
perceptron.
Aturan Pembelajaran
Pembelajaran berarti belajar dari kesalahan. Semakin sering jaringan syaraf tiruan ini digunakan
semakin cerdaslah dia, artinya kesalahannya semakin kecil. Kecepatan peningkatan kecerdasan
ditentukan oleh nilai parameter kecepatan pembelajaran (learning rate) disimbolkan dengan α .
Bagaimanapun, jika sampai kali ke-N komputasi ulang (istilahnya: N iterasi) kesalahannya tetap
besar maka proses pembelajaran dihentikan dan jaringan digunakan apa adanya.
Ketika kita mulai pembahasan kita tentang aturan pembelajaran perceptron, kami ingin
mendiskusikan aturan pembelajaran secara umum. Aturan belajar yang kami maksud adalah
sebuah prosedur untuk memodifikasi bobot dan bias dari jaringan. (Prosedur ini juga dapat
disebut sebagai algoritma pelatihan). Tujuan aturan pembelajaran untuk melatih jaringan untuk
3 Diterjemahkan oleh Lily W.
melakukan beberapa tugas. Ada banyak jenis aturan belajar jaringan saraf. Mereka dibagi dalam
3 kategori besar : pembelajaran dengan pengawasan (supervised learning), pembelajaran tanpa
pengawasan (unsupervised learning) dan pembelajaran penguatan tanpa pengawasan (atau
dinilai) (reinforcement learning).
Ada 3 mekanisme penting proses pembelajaran:
1. Hitung selisih keluaran (a) dari target (t)
2. Jika besarnya selisih dapat ditolerir maka a diterima, tetapi jika selisih tersebut tidak
dapat ditolerir dan banyaknya iterasi belum N kali maka rubahlah w dan b, lalu lakukan
komputasi ulang.
3. Nilai baru w dan b bergantung kepada nilai α .
Segera setelah jaringan mengalami pembelajaran, jaringan tersebut dapat digunakan untuk
menyelesaikan masalah yang sesuai dengan konstruksi jaringan tersebut.
Supervised Learning
Pada pembelajaran dengan pengawasan, aturan pembelajaran dilengkapi dengan serangkaian
contoh (himpunan pelatihan) dari perilaku jaringan yang tepat :
{p1, t1), {p2,t2}, … , {pq,tq}, (4.1)
Dimana q p adalah sebuah input ke jaringan dan yang berhubungan dengan (target) output yang
sesuai. Seperti input yang diterapkan ke jaringan, output jaringan dibandingkan dengan target.
Aturan pembelajaran kemudian digunakan untuk mengatur bobot dan bias dari jaringan untuk
memindahkan output jaringan mendekati target. Aturan pembelajaran perceptron masuk dalam
kategori pembelajaran pengawasan ini.
Reinforcement Learning
Pembelajaran dengan penguatan adalah serupa dengan pembelajaran dengan pengawasan,
kecuali bahwa, pada supervised learning dilengkapi dengan output yang benar untuk setiap input
jaringan, sementara algoritma Reinforcement Learning hanya diberikan satu nilai. Nilai adalah
sebuah ukuran dari kinerja jaringan atas beberapa rangkaian input. Saat ini, jenis pembelajaran
4 Diterjemahkan oleh Lily W.
ini, jauh lebih sedikit dibandingkan pembelajaran dengan pengawasan. Ia tampaknya menjadi
paling cocok untuk aplikasi-aplikasi sistem kontrol (lihat [BaSu83], [WhSo92]).
Pembelajaran Tanpa Pengawasan
Pada pembelajaran tanpa pengawasan, bobot dan bias diubah sebagai tanggapan untuk jaringan
input saja. Tidak ada target output yang tersedia. Awalnya sekilas ini mungkin kelihatannya
tidak praktis. Bagaimana anda bisa melatih jaringan jika anda tidak tahu apa yang seharusnya
dilakukan? Kebanyakan dari algoritma ini melakukan semacam operasi clustering
(pengelompokan). Mereka belajar untuk mengkategorikan pola input dalam sejumlah kelas yang
terbatas. Hal ini sangat berguna khususnya dalam aplikasi seperti vector kuantisasi.
Arsitektur Perceptron
Sebelum kami menyajikan aturan pembelajaran perceptron, marilah kita memperluas
pemahaman kita akan jaringan perceptron. Jaringan perceptron yang umum ditunjukkan pada
Gambar 4.1.
Output dari jaringan diberikan oleh
a = hardlim(Wp + b). (4.2)
(Perhatikan bahwa dalam bab 3 kita menggunakan fungsi transfer, bukan hardlim. Hal ini tidak
mempengaruhi kemampuan jaringan).
5 Diterjemahkan oleh Lily W.
Gambar 4.1. Jaringan Perceptron
Ini akan berguna dalam pengembangan aturan jaringan perceptron kita menjadi dapat dengan
mudah mereferensikan elemen-elemen individu dari output jaringan. Marilah kita lihat
bagaimana hal ini dapat dilakukan. Pertama, pertimbangkan matrik bobot jaringan berikut:
⎥ ⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢ ⎢
⎣
⎡
=
S S S R
R
R
w w w
w w w
w w w
W
,1 ,2 ,
2,1 2,2 2,
1,1 1,2 1,
K
K K K K
K
K
(4.3)
Kita akan mendefinisikan sebuah vector yang terdiri dari elemen-elemen W dari baris ke-i
⎥ ⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢ ⎢
⎣
⎡
=
i R
i
i
i
w
w
w
w
,
,2
1 ,
M
(4.4)
Sekarang kita dapat merpartisi matrik bobot:
⎥ ⎥ ⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢ ⎢ ⎢
⎣
⎡
=
T
S
T
T
w
w
w
W
M
2
1
(4.5)
Hal ini memungkinkan kita untuk menulis elemen ke-i dari vektor output jaringan sebagai
6 Diterjemahkan oleh Lily W.
lim( ) lim( ) i
T
i i i a = hard n = hard w p + b (4.6)
Ingatlah bahwa fungsi transfer hardlim (ditampilkan di
sebelah kiri) didefinisikan sebagai
{1 0
0 = lim( ) = if n ≥
otherwise a hard n (4.7)
Oleh karena itu, jika produk inner dari baris ke-i dari matrik
bobot dengan vektor input lebih besar dari atau sama dengan
–bi, output akan menjadi 1, sebaliknya output akan menjadi
0. Jadi setiap neuron dalam jaringan membagi masukan ruang menjadi dua daerah. Hal ini
berguna untuk menyelidiki batas-batas antara daerah ini. Kita akan mulai dengan kasus
sederhana dari single-neuron perceptron dengan dua input.
Single-Neuron Perceptron
Marilah kita mempertimbangkan dua input perceptron dengan satu neuron, seperti yang
ditunjukkan pada gambar 4.2.
Gambar 4.2 Two-Input/Single-Output Perceptron
Keluaran dari jaringan ini ditentukan oleh
lim( ) lim( )
lim( ) lim( )
1 1,1 1 1,2 2 hard w p b hard w p w p b
a hard n hard Wp b
= T + = + +
= = +
(4.8)
7 Diterjemahkan oleh Lily W.
Batas Keputusan (Decision Boundary)
Batas keputusan ditentukan oleh vektor input dimana n input jaringan adalah nol.
0. 1 1,1 1 1,2 2 n = wT p + b = w p + w p + b = (4.9)
Untuk membuat contoh yang lebih konret, marilah kita menetapkan nilai-nilai berikut untuk
bobot dan bias:
1, 1, 1 1,1 1,2 w = w = b = − (4.10)
Batas keputusan adalah
1 0. 1 1,1 1 1,2 2 1 2 n = wT p + b = w p + w p + b = p + p − = (4.11)
Ini mendefinisikan sebuah garis dalam ruang input. Di satu sisi garis jaringan output akan
menjadi 0; pada baris dan pada sisi lain dari garis output akan menjadi 1. Untuk menarik garis,
kita dapat menemukan titik-titik dimana ia memotong sumbu p1 dan p2. Untuk menemukan p2
yangmemintas tentukan p1 = 0.
1 1 0
1
1
1,2
2 = =
−
= − = − if p
w
p b (4.12)
Untuk menemukan p1 yang memintas, tentukan p2 = 0.
1 0
1
1 1 2
1,1
= =
−
= − = − if p
w
p b (4.13)
Batas keputusan yang dihasilkan diilustrasikan pada Gambar 4.3
Untuk mengetahui sisi mana dari batasan yang berhubungan dengan output 1, kita hanya perlu
menguji satu titik. Untuk input p = [2 0]T, keluaran jaringan akan menjadi
[ ] 1 1.
0
2
lim( ) lim 1 1 1 = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦
⎤
⎢⎣
⎡
a = hard wT p + b = hard (4.14)
Oleh karena itu, Keluaran jaringan akan menjadi 1 untuk wilayah di atas dan ke kanan dari
batasan keputusan. Wilayah ini ditandai dengan daerah yang diarsir pada Gambar 4.3.
8 Diterjemahkan oleh Lily W.
Gambar 4.3 Batas Keputusan untuk Dua-Input Perceptron
Kita juga dapat menemukan batas keputusan secara grafis. Langkah pertama adalah perhatikan
bahwa batas selalu orthogonal, seperti yang digambarkan dalam angka yang berdekatan. Batas
didefinisikan oleh
1wT p + b = 0 (4.15)
Untuk semua titik di perbatasan, produk inner dari vektor input dengan bobot vektor adalah
sama. Ini menunjukkan bahwa semua vektor input ini akan memiliki proyeksi yang sama ke
vektor bobot, sehingga mereka harus terletak pada garis orthogonal dengan bobot vektor.
Sebagai tambahan, setiap vektor di daerah bayangan dari Gambar 4.3 akan memiliki produk
inner yang lebih besar dari -b, dan vektor di daerah yang tidak terarsir memiliki produk inner
yang lebih kecil dari -b. Oleh karena itu vektor bobot 1w akan selalu menunjuk ke arah dimana
neuron output adalah 1.
Setelah kita memilih salah satu vektor bobot dengan orientasi sudut yang benar, nilai bias dapat
dihitung dengan memilih titik pada batas dan memenuhi persamaan (4.15)
9 Diterjemahkan oleh Lily W.
Marilah kita menerapkan beberapa konsep ini untuk desain sebuah jaringan perceptron untuk
melaksanakan fungsi logika sederhana: gerbang AND. Pasangan input/target untuk gerbang
AND adalah
, 4 1 .
1
1
, 3 0 4
0
1
, 2 0 3
1
0
, 1 0 2
0
0
1
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
p = t p t p t p t
Gambar di sebelah kiri menggambarkan masalah secara grafis. Ia
menampilkan ruang input, dengan masing-masing vector input ditandai
sesuai dengan targetnya. Lingkaran gelap menunjukkan bahwa target
adalah 1, dan lingkaran terang menunjukkan bahwa target adalah 0.
Langkah pertama dari desain adalah untuk memilih batas keputusan. Kami ingin memiliki garis
yang memisahkan lingkaran hitam dan lingkaran terang. Ada sejumlah solusi yang tidak terbatas
untuk masalah ini. Tampaknya masuk akal untuk memilih garis yang jatuh “di tengah” antara
dua kategori input, seperti ditunjukkan pada gambar yang berdekatan.
Selanjutnya kami ingin memilih vector bobot yang orthogonal terhadap batas keputusan. Vektor
bobot tsb dapat berupa sembarang panjang, sehingga terdapat kemungkinan yang tak terhingga.
Satu pilihan adalah
⎥⎦
⎤
⎢⎣
⎡
=
2
2
1w (4.16)
Seperti yang ditunjukkan pada gambar ke kiri.
Akhirnya, kita perlu menemukan bias, b. Kita dapat melakukan ini
dengan memilih sebuah titik pada batas keputusan dan memenuhi
persamaan (4.15). jika kita menggunakan p = [1.5 0]kita menemukan
[ ] 3 0 3
0
1.5
2 2 1 − = ⇒ = + = + ⎥⎦
⎤
⎢⎣
⎡
wT p + b = b b b (4.17)
Sekarang kita bisa menguji jaringan pada salah satu pasangan input/target. Jika kita menerapkan
p2 ke jaringan, output akan
10 Diterjemahkan oleh Lily W.
[ ]
lim( 1) 0
3
1
0
lim( ) lim 2 2 1 2
= − =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦
⎤
⎢⎣
⎡
= + =
a hard
a hard wT p b hard
(4.18)
Yang sama dengan output target t2. Lakukan hal yang sama untuk menguji semua input apakah
sudah diklasifikasi dengan benar.
Untuk berekperimen dengan batasan keputusan, gunakan disain jaringan Neural
untuk memperagakan batas keputusan (nnd4db).
Multiple-Neuron Perceptron
Perhatikan bahwa untuk Perceptron dengan beberapa neuron, seperti dalam Gambar 4.1, akan
ada satu batas keputusan untuk setiap neuron. Batas keputusan untuk neuron i akan ditentukan
dengan
+ = 0 i
T
i w p b (4.19)
Sebuah Single-neuron perceptron dapat mengklasifikasikan vektor-vektor input ke dalam dua
kategori, karena output dapat berupa 0 atau 1. Sebuah multiple-neuron perceptron dapat
mengelompokkan masukan/input ke dalam banyak kategori. Masing-masing kategori diwakili
oleh vektor output yang berbeda. Karena setiap elemen dari vektor output dapat berupa 0 atau 1,
terdapat total dari 2S kategori yang mungkin, dimana S merupakan jumlah neuron.
Aturan Belajar Perceptron
Sekarang kita telah memeriksa kinerja jaringan perceptron, kita berada dalam posisi untuk
memperkenalkan aturan pembelajaran perceptron. Aturan pembelajaran ini adalah contoh dari
pelatihan dengan pengawasan, dimana aturan pembelajaran disediakan dengan serangkaian
contoh perilaku jaringan yang tepat.
{ , } { , }, { , }, 1 1 2 2 q q p t , p t L, p t (4.20)
Dengan pq adalah sebuah input ke jaringan dan tq berhubungan dengan target output. Karena
setiap input diterapkan ke jaringan, output jaringan dibandingkan ke target. Aturan belajar
kemudian menyesuaikan bobot dan bias jaringan untuk memindahkan keluaran/output jaringan
lebih dekat ke sasaran.
11 Diterjemahkan oleh Lily W.
Uji Masalah
Pada presentasi kita mengenai aturan belajar perceptron kita akan mulai dengan sebuah uji
masalah yang sederhana dan akan bereksperimen dengan aturan yang mungkin untuk
mengembangkan beberapa intuisi tentang bagaimana aturan harus bekerja. Pasangan input/target
untuk masalah pengujian kita adalah
, 0 .
1
0
, 0
2
1
, 1
2
1
1 1 2 2 3 3
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
p = t p t p t
Masalah tersebut ditampilkan secara grafik dalam gambar di sebelah,
dimana kedua vektor input yang targetnya adalah 0 direpresentasikan
dengan lingkaran terang , dan vector yang targetnya 1
direpresentasikan dengan lingkaran gelap . Ini merupakan masalah
yang sangat sederhana, dan kita hampir bisa mendapatkan solusi dengan
cara memeriksa. Kemudahan ini akan membantu kita mendapatkan
beberapa pemahaman intuitif tentang konsep-konsep dasar aturan pembelajaran perceptron.
Jaringan untuk masalah ini harus memiliki dua-masukan dan satu keluaran. Untuk
menyederhanakan pengembangan aturan belajar kita, kita akan mulai dengan jaringan tanpa bias.
Jaringan akan memiliki dua parameter, 1,1 w dan 1,2 w , seperti yang ditunjukkan pada Gambar 4.4
Gambar 4.4. Uji Masalah Jaringan
12 Diterjemahkan oleh Lily W.
Dengan menghapus bias kita dihadapkan dengan sebuah jaringan yang
batas keputusannya harus melalui titik asal. Kita perlu memastikan
bahwa jaringan ini masih mampu memecahkan masalah uji. Harus ada
batas keputusan yang diperbolehkan yang dapat memisahkan vektor p2
dan p3 dari vektor p1. Gambar sebelah kiri menunjukkan bahwa
memang terdapat sejumlah batasan yang tidak terbatas.
Gambar di sebelah menunjukkan vektor bobot yang sesuai dengan batas
keputusan yang diperbolehkan. (Ingat bahwa vektor bobot adalah
orthogonal terhadap batas keputusan). Kita ingin sebuah aturan belajar
yang akan menemukan suatu vektor bobot yang menunjuk pada salah satu
arah. Ingat bahwa panjang vektor bobot tidak menjadi masalah, hanya
arahnya penting.
Membangun Aturan Belajar
Pelatihan dimulai dengan menetapkan beberapa nilai awal untuk parameter jaringan. Dalam hal
ini kita melatih jaringan dengan jaringan two-input/single-output tanpa bias, jadi kita hanya perlu
menginisialisasi dua bobot. Di sini kita menetapkan elemen-elemen vektor bobot, 1w Untuk
menghasilkan nilai random berikut:
[1.0 0.8]. 1 wT = − (4.21)
Sekarang kita akan mulai menampilkan vektor input ke jaringan. Kita mulai dengan p1
( ) [ ]
lim( 0.6) 0
2
1
lim lim 1.0 0.8 1 1
= − =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
⎥⎦
⎤
⎢⎣
⎡
= = −
a hard
a hard wT p hard
(4.22)
Jaringan tidak mengembalikan nilai yang benar. Output jaringan
adalah 0, sementara target respon, t1, adalah 1.
Kita bisa melihat apa yang terjadi dengan melihat diagram yang di
sebelah. Hasil vektor bobot awal dalam suatu batas keputusan yang
salah mengklasifikasikan vector p1. Kita perlu mengubah vektor bobot
13 Diterjemahkan oleh Lily W.
sehingga poin lebih ke arah p1, sehingga di masa mendatang memiliki
kesempatan yang lebih baik dalam mengklasifikasikannya dengan benar.
Salah satu pendekatan akan menetapkan 1w sama dengan p1. Ini adalah
sederhana dan akan memastikan bahwa p1 telah diklasifikasi dengan benar di
masa mendatang. Diagram di kiri bawah menunjukkan masalah yang tidak dapat diselesaikan
dengan vektor bobot menunjuk langsung pada salah satu dari dua kelas 1 vektor. Jika kita
menerapkan aturan bahwa 1w = p setiap kali salah satu vektor ini tidak terklasifikasi, bobot
jaringan hanya akan bergerak mundur terus dan tidak akan pernah menemukan suatu solusi.
Kemungkinan lainnya ialah akan menambahkan p1 ke 1w. Penambahan p1 ke 1w akan membuat
titik 1w lebih ke arah p1. Pengulangan presentasi dari p1 akan menyebabkan arah dari 1w untuk
secara asimtotik mendekati arah p1. Aturan ini dapat dinyatakan :
If t = dan a = then wnew = wold + p 1 1 1 0, (4.23)
Penerapan aturan ini untuk masalah pengujian kita menghasilkan nilai baru untuk 1w :
.
1.2
2.0
2
1
0.8
1.0
1 1 1 ⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
+ ⎥⎦ ⎤
⎢⎣
⎡
−
wnew = wold + p = (4.24)
Operasi ini diilustrasikan dalam gambar sebelah. Kita sekarang
beralih ke vektor input berikutnya dan akan melanjutkan membuat
perubahan terhadap bobot dan cycling melalui input sampai mereka
semua diklasifikasikan dengan benar.
Vektor input berikutnya adalah p2. Ketika itu disajikan ke jaringan
kita menemukan :
( ) [ ]
lim(0.4) 1
2
1
lim lim 2.0 1.2 1 2
= =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
⎥⎦
⎤
⎢⎣
⎡−
= =
hard
a hard wT p hard
(4.25)
Target t2 yang terkait dengan p2 adalah 0 dan output a adalah 1. Kelas vektor 0 tidak
terklasifikasi sebagai 1. Karena kita sekarang ingin memindahkan vektor bobot 1w menjauh dari
14 Diterjemahkan oleh Lily W.
input, kita dapat dengan mudah mengubah penambahan dalam persamaan (4.23) menjadi
pengurangan:
If t = dan a = then wnew = wold − p 1 1 0 1, (4.26)
Jika kita menerapkan hal ini untuk menguji masalah kita akan menemukan :
,
0.8
3.0
2
1
1.2
2.0
2 1 1 ⎥⎦
⎤
⎢⎣
⎡
−
= ⎥⎦
⎤
⎢⎣
⎡−
− ⎥⎦
⎤
⎢⎣
⎡
wnew = wold − p = (4.27)
Yang digambarkan dalam gambar di sebelah.
Sekarang kita tampilkan vektor ketiga yakni p3:
( ) [ ]
lim(0.8) 1.
1
0
lim lim 3.0 0.8 1 3
= =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
⎥⎦
⎤
⎢⎣
⎡
−
= = −
hard
a hard wT p hard
(4.28)
Hasil 1w saat ini dalam batas keputusan bahwa p3 tidak
terklasifikasi. Ini adalah situasi dimana kita telah memiliki sebuah
aturan, sehingga 1w akan diubah kembali, tergantung pada persamaan (4.26):
,
0.2
3.0
1
0
0.8
3.0
3 1 1 ⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣ ⎡
−
− ⎥⎦
⎤
⎢⎣
⎡
−
wnew = wold − p = (4.29)
Diagram di sebelah kiri menunjukkan bahwa perceptron akhirnya
belajar untuk menggolongkan tiga vektor dengan benar. Jika kita
menghadirkan salah satu vektor input untuk neuron, ia akan
menampilkan kelas yang benar untuk vektor input tersebut.
Ini membawa kita ke aturan ketiga dan yang terakhir: jika ia bekerja,
jangan lakukan perbaikan.
, . 1 1
If t = a then wnew = wold (4.30)
Berikut ini adalah tiga aturan, yang mencakup semua kemungkinan kombinasi output dan nilainilai
sasaran:
If t = dan a = then wnew = wold + p 1 1 1 0,
If t = dan a = then wnew = wold − p 1 1 0 1, (4.31)
, . 1 1
If t = a then wnew = wold
15 Diterjemahkan oleh Lily W.
Aturan belajar Yang Diseragamkan (Unified Learning Rule)
Tiga aturan dalam Persamaan. (4.31) dapat ditulis kembali sebagai satu ekspresi. Pertama kita
akan mendefinisikan sebuah variable baru, maka kesalahan perceptron e :
e = t – a (4.32)
Sekarang kita dapat menulis kembali tiga aturan dari persamaan di (4.31) sebagai :
If e = then wnew = wold + p 1 1 1,
If e = − then wnew = wold − p 1 1 1, (4.34)
0, . 1 1
If e = then wnew = wold
Lihat dengan hati-hati pada dua aturan pertama dalam persamaan (4.33), kita dapat melihat
bahwa tanda p adalah sama dengan tanda pada kesalahan, e. Selanjutnya, tidak adanya p dalam
aturan ketiga sesuai dengan e dari 0. Dengan demikian, kita dapat menyatukan tiga aturan
tersebut menjadi satu ekspresi :
( ) . 1 1 1 wnew = wold + ep = wold + t − a p (4.34)
Aturan ini dapat diperluas untuk melatih bias dengan catatan bahwa bias hanya bobot yang
inputnya selalu 1. Dengan demikian kita dapat mengganti input pada persamaan (4.34) dengan
input ke bias adalah 1. Hasilnya adalah aturan perceptron untuk bias :
bnew = bold + e (4.35)
Pelatihan Multiple-Neuron Perceptron
Aturan perceptron, seperti yang diberikan oleh persamaan (4.34) dan persamaan (4.35),
memperbaharui vektor bobot dari suatu neuron perceptron. Kita bisa generalisasi aturan ini untuk
Multiple-Neuron perceptron dari Gambar 4.1. sebagai berikut. Memperbaharui baris ke –i dari
matrik bobot yang digunakan:
w w e p i
old
i
new
i = + (4.36)
Untuk memperbaharui elemen ke-i dari vector bias menggunakan:
. i
old
i
new
i b = b + e (4.37)
Aturan perceptron
Aturan perceptron dapat ditulis dalam notasi matriks:
W new =W old + epT , (4.38)
16 Diterjemahkan oleh Lily W.
Dan
bnew = bold + e. (4.39)
Untuk menguji aturan pembelajaran perceptron, pertimbangkan kembali masalah pengenalan
apel/jeruk dari bab sebelumnya.
Vektor input/output prototipe akan menjadi
[ ] , [1] .
1
1
, 0
1
1
1 1 2 2
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
−
p = t p t (4.40)
(Perhatikan bahwa kita menggunakan 0 sebagai target output untuk pola jeruk, p1, bukan -1,
seperti yang digunakan dalam bab sebelumnya. Ini adalah karena kita menggunakan fungsi
transfer hardlim, bukan hardlims.)
Biasanya bobot dan bias yang diinisialisasi ke angka acak yang kecil. Anggaplah bahwa di sini
kita mulai dengan bobot awal matrik dan bias :
W = [0.5 −1 − 0.5], b = 0.5. (4.41)
Langkah pertama adalah menerapkan vektor input pertama, p1, ke jaringan:
( ) [ ]
lim(2.5) 1
lim lim 0.5 1 0.5 0.5 1
= =
⎟ ⎟ ⎟ ⎠
⎞
⎜ ⎜ ⎜
⎝
⎛
+
⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢
⎣
⎡
= + = − −
hard
a hard Wp b hard
-1
-1
1
(4.42)
Kemudian kita menghitung kesalahan:
0 1 1. 1 e = t − a = − = − (4.43)
Perbaikan bobot adalah
[ ] ( )[ ]
[ 0.5 0 0.5].
0.5 1 0.5 1 1 1 1
= −
W new =W old + epT = − − + − − −
(4.44)
Perbaikan bias adalah :
bnew = bold + e = 0.5 + (−1) = −0.5. (4.45)
Hal ini melengkapi iterasi pertama.
Iterasi kedua dari aturan perceptron adalah:
17 Diterjemahkan oleh Lily W.
( ) [ ] ( )
lim( 0.5) 0
lim lim 0.5 0 0.5 0.5 2
= − =
⎟ ⎟ ⎟
⎠
⎞
⎜ ⎜ ⎜
⎝
⎛
+ −
⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢
⎣
⎡
= + = −
hard
a hard Wp b hard
-1
1
1
(4.46)
1 0 1 2 e = t − a = − = (4.47)
[ ] ( )[ ]
[0.5 1 0.5].
0.5 0 0.5 1 1 1 1
= −
W new =W old + epT = − + −
(4.48)
bnew = bold + e = −0.5 + (1) = 0.5. (4.49)
Iterasi ketiga dimulai lagi dengan vektor input pertama:
( ) [ ] ( )
lim(0.5) 1
lim lim 0.5 1 0.5 0.5 1
= =
⎟ ⎟ ⎟
⎠
⎞
⎜ ⎜ ⎜
⎝
⎛
+
⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢
⎣
⎡
= + = −
hard
a hard Wp b hard
-1
-1
1
(4.50)
0 1 1 1 e = t − a = − = − (4.51)
[ ] ( )[ ]
[ 0.5 2 0.5].
0.5 1 0.5 1 1 1 1
= −
W new =W old + epT = − + − − −
(4.52)
bnew = bold + e = 0.5 + (−1) = −0.5. (4.53)
Jika anda lanjutkan dengan iterasi anda akan menemukan bahwa kedua masukan vector akan
sekarang diklasifikasikan dengan benar. Algoritma telah bertemu ke sebuah solusi. Catatan
bahwa batas keputusan akhir tidak sama dengan yang kami kembangkan di bab sebelumnya,
meskipun kedua batasan benar mengklasifikasikan dua masukan vektor secara benar.
Untuk percobaan dengan aturan pembelajaran perceptron, gunakan Neural
Network Design Demonstration Perceptron Rule (nnd4pr).
18 Diterjemahkan oleh Lily W.
Keterbatasan
Aturan pembelajaran Perceptron dijamin untuk mengumpul pada suatu solusi dalam satu jumlah
tahap yang terbatas, sepanjang terdapat suatu solusi. Ini membawa kita pada satu pertanyaan
penting. Apa permasalahan yang bisa dipecahkan suatu perceptron? Mengingatkan kembali
bahwa suatu single-neuron perceptron memungkinkan untuk membagi ruang input ke dalam dua
daerah. Perbatasan antara daerah didefinisikan oleh persamaan
1wT p + b = 0 (4.77)
Ini merupakan suatu batasan linier (hyperplane). Perceptron dapat digunakan untuk
mengklasifikasikan vektor input yang dapat dipisahkan oleh suatu batasan linier. Kita menyebut
vektor seperti ini vektor yang dapat dipisahkan secara linear. Contoh gerbang logika AND pada
halaman 4-7 menggambarkan satu contoh dua-dimensi dari masalah yang dapat dipisah-pisah
secara linear. Masalah pengenalan buah apel/jeruk dalam Chapter 3 adalah satu contoh tigadimensi.
Sayangnya, banyak permasalahan yang tidak dapat dipisah-pisah secara linear. Contoh klasik
adalah gerbang XOR. Input/pasangan target untuk gerbang XOR adalah
Masalah ini digambarkan secara grafis pada sisi kiri dari gambar 4.6, yang juga menunjukan dua
permasalahn lain yang tidak dapat dipisahkan secara linear. Cobalah menggambar satu garis
lurus antara vektor dengan target dari 1 dan yang dengan target 0 pada diagram apapun dari
gambar 4.6.
Gambar 4.6 Permasalahan Yang Tidak Dapat Dipisahkan Secara Linear
19 Diterjemahkan oleh Lily W.
Itu adalah ketidak-mampuan dari dasar perceptron untuk memecahkan seperti permasalahan
sederhana yang berupa led, pada sebagian, untuk pengurangan dalam tertarik akan penelitian
jaringan neural selama 1970-an. Rosenblatt telah menyelidiki jaringan lebih rumit, dimana dia
merasakan akan mengatasi keterbatasan dari dasar perceptron, tetapi dia tidak pernah mampu
untuk secara efektif memperluas aturan perceptron ke beberapa jaringan. Pada Bab 11 kita akan
memperkenalkan perceptrons banyak lapisan, yang dapat memecahkan permasalahan klasifikasi,
dan akan menggambarkan algoritma backpropagation, yang dapat digunakan untuk melatih
mereka.
Ringkasan Hasil
Arsitektur Perceptron
Batasan Keputusan
20 Diterjemahkan oleh Lily W.
Batasan keputusan adalah selalu ortogonal untuk vektor bobot. Single-layer perceptrons hanya
dapat mengklasifikasikan vektor yang terpisah secara linear.
Perceptron Learning Rule
Pemecahan Masalah
P4.1 Pecahkan tiga permasalahan klasifikasi sederhana yang diperlihatkan di
dalam gambar P4.1 dengan cara menggambar suatu batasan keputusan.
Temukan nilai bobot dan bias dimana hasil dalam single-neuron
perceptrons dengan batasan keputusan yang terpilih.
Gambar P4.1 Permasalah Klasifikasi Sederhana
Pertama kita menggambar satu baris antara setiap sekumpulan titik data gelap dan ringan.
21 Diterjemahkan oleh Lily W.
Tahap berikutnya adalah mencari bobot dan bias. Vektor bobot harus ortogonal terhadap
batasan-batasan keputusan, dan penunjukan dalam arah titik untuk digolongkan sebagai 1 (titik
gelap). Vektor bobot dapat mempunyai panjang berapapun yang kita suka.
Inilah sekumpulan pilihan untuk vektor bobot:
( ) [ 2 1] ( ) [0 2] ( ) [2 2]. 1 1 1 a wT = − , b wT = − , c wT = −
Sekarang kita mencari nilai bias untuk setiap perceptron dengan cara mengambil suatu titik
pada batasan keputusan dan memenuhi Persamaan (4.15).
b w p
w p b
T
T
1
1 0
= −
+ =
Hal ini memberikan kita tiga bias berikut:
( ) [ ] ( ) [ ] ( ) [ ] 6.
1
2
2, 2 2
1
0
2 0 0 1 2 = ⎥⎦
⎤
⎢⎣
⎡−
− − = − = ⎥⎦
⎤
⎢⎣
⎡
−
− − = = ⎥⎦
⎤
⎢⎣
⎡
= − , c
0
0
a b b b b
Kita sekarang bisa memeriksa solusi kita terhadap titik asli. Di sini kita menguji jaringan
pertama pada vektor input p = [− 2 2].
( )
[ ]
lim(6) 1
0
2
2
lim 2 1
lim 1
= =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡−
= −
= +
hard
hard
a hard wT p b
Kita bisa menggunakan MATLAB untuk mengotomatiskan proses pengujian dan untuk
mencoba titik yang baru. Inilah jaringan pertama yang digunakan untuk mengklasifikasikan
suatu titik yang tidak berada dalam masalah sebenarnya.
22 Diterjemahkan oleh Lily W.
P4.2 Convert masalah klasifikasi yang didefinisikan di bawah ke dalam
suatu definisi masalah ekivalen terdiri dari ketidaksamaan batasan
nilai bobot dan bias.
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
= 0
0
2
0
2
0
1
0
1
1
2
0
1 1 2 2 3 3 4 4 p , t p , t p , t p , t
Masing-masing target ti mengindikasikan apakah input jaringan dalam respon untuk pi
harus lebih kecil dari 0, atau lebih besar dari atau sama dengan 0 atau tidak. Sebagai
contoh, karena t1 adalah 1, kita tahu bahwa input jaringan yang erhubungan dengan p1
harus lebih besar dari atau sama dengan 0. Sehingga kita dapat ketidaksamaan berikut:
2 0
0 2 0
0
1,2
1,1 1,2
1
+ ≥
+ + ≥
+ ≥
w b
w w b
Wp b
Terapkan prosedur yang sama ke pasangan input/target untuk { } { } 2 2 3 3 p ,t , p ,t dan { } 4 4 p ,t hasilhasil
dalam himpunan ketidaksamaan berikut.
( )
( )
( )
w b (iv)
w b iii
w b ii
w b i
2 0
2 0
0
2 0
1,1
1,2
1,1
1,2
+ <
− + <
+ ≥
+ ≥
Memecahkan suatu himpunan ketidaksamaan adalah lebih sulit dibandingkan memecahkan suatu
himpunan persamaan. Satu kompleksitas ditambahkan seringkali sejumlah solusi tanpa batas
(seperti sering ada sejumlah batasan-batasan keputusan linier tanpa batas yang bisa memecahkan
suatu masalah klasifikasi yang terpisah secara linear).
Bagaimanapun, oleh karena kesederhanaan dari masalah ini, kita bisa memecahkannya dengan
membuat grafik ruang solusi yang didefinisikan oleh ketidaksamaan. Catat bahwa w1,1 hanya
23 Diterjemahkan oleh Lily W.
muncul dalam ketidaksamaan (ii) dan (iv), dan w1,2 hanya muncul dalam ketidaksamaan (i) dan
(iii). Kita dapat meletakkan masing-masing pasangan ketidaksamaan dengan dua grafik.
Nilai bobot dan bias apapun yang jatuh dalam kedua daerah abu-abu yang gelap tersebut akan
memecahkan masalah klasifikasi.
Berikut ini salah satu dari solusi :
W = [− 2 3] b = 3.
P4.3 Kita mempunyai satu masalah klasifikasi dengan empat kelas dari
vektor input. Empat kelas tersebut adalah
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
−
−
= ⎥⎦
⎤
⎢⎣
⎡
−
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡−
= ⎥⎦
⎤
⎢⎣
⎡−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦ ⎤
⎢⎣
⎡
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
=
, :
, :
2
2
, 8
1
1
4 7
1
2
, 6
2
1
3 : 5
,
0
2
, 4
1
2
2 3
2
1
, 2
1
1
1: 1
class p p class p p
class p p class p p
Rancang sebuah jaringan perceptron untuk memecahkan masalah ini.
Untuk memecahkan sebuah masalah dengan 4 kelas vector input kita akan membutuhkan sebuah
perceptron dengan paling sedikit dua neuron, karena sebuah S-neuron perceptron dapat
mengkategorikan 2S kelas. Perceptron dua neuron ditunjukkan dalam Gambar P4.2.
24 Diterjemahkan oleh Lily W.
Gambar P4.2 Two-Neuron Perceptron
Marilah kita mulai dengan menampilkan vector input, seperti dalam Gambar P4.3. Lingkaran
terang mengindikasikan kelas vector 1, segiempat terang mengindikasikan kelas vector 2,
lingkaran gelap mengindikasikan kelas vector 3, dan segiempat gelap mengindikasikan
kelas vector 4.
Sebuah perceptron dua neuron membuat dua batasan keputusan. Oleh karena itu, untuk membagi
ruang input ke dalam empat kategori, kita perlu untuk memiliki satu batasan keputusan yang
membagi empat kelas ke dalam dua himpunan dari dua. Sisa batasan kemudian harus
mengisolasi masing-masing kelas. Dua batasan tersebut digambarkan dalam Gambar P4.4.
Sekarang kita tahu bahwa pola kita adalah terpisah secara linear.
Gambar P4.3 Vektor Input untuk Masalah P4.3
25 Diterjemahkan oleh Lily W.
Gambar P4.4 Batasan Keputusan yang bersifat sementara untuk masalah P4.3
Vektor bobot harus ortogonal terhadap batasan-batasan keputusan dan harus menunjuk ke arah
daerah dimana output neuron adalah 1. Tahap berikutnya harus memutuskan bahwa sisi dari
setiap perbatasan harus menghasilkan sebuah 1. Satu pilihan digambarkan di dalam gambar P4.5,
dimana daerah yang di-shadow merepresentasikan output 1. Shadow yang paling gelap nilai
target dari
3 4
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣ ⎡ =
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
=
1
1
, 8
1
1
, : 7
0
1
, 6
0
1
: 5
,
1
0
, 4
1
0
, 2 : 3
0
0
, 2
0
0
1: 1
class t t class t t
class t t class t t
Kita sekarang dapat memilih vektor-vektor bobot:
⎥⎦
⎤
⎢⎣
⎡
−
= ⎥⎦
⎤
⎢⎣
⎡
−
−
=
2
1
1
3
1 2w dan w
Perhatikan bahwa panjang vector bobot tidak penting, hanya arah mereka. Mereka harus
orthogonal terhadap batasan keputusan. Kita sekarang dapat menghitung bias dengan mengambil
sebuah titik pada batasan dan memenuhi Persamaan (4.15):
[ ]
[ ] 0,
0
0
1 2
1,
1
0
3 1
2 2
1 1
= ⎥⎦
⎤
⎢⎣
⎡
= − = − −
= ⎥⎦
⎤
⎢⎣
⎡
= − = − − −
b w p
b w p
T
T
26 Diterjemahkan oleh Lily W.
Gambar P4.5 Daerah Keputusan untuk Masalah P4.3
Dalam bentuk matrik kita memiliki
,
0
1
1 2
3 1
2
1 ⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
−
− −
= ⎥⎦
⎤
⎢⎣
⎡
= dan b
w
w
W T
T
Yang melengkapi disain/rancangan kita.
P4.4 Pecahkan masalah klasifikasi berikut dengan aturan perceptron.
Terapkan masing-masing vektor input sebanyak pengulangan yang
diperlukan untuk memastikan bahwa masalah dapat dipecahkan. Gambar
suatu grafik dari masalah hanya setelah anda telah menemukan satu solusi.
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧ =
⎥⎦
⎤
⎢⎣
⎡−
=
⎭ ⎬ ⎫ ⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
= 1
1
1
0
2
2
1
2
1
0
2
2
1 1 2 2 3 3 4 4 p , t p , t p , t p , t
Gunakan bobot dan bias awal sbb:
W(0) = [0 0] b(0) = 0.
Kita mulai dengan menghitung output perceptron a untuk vector input yang pertama yakni p1,
menggunakan bobot dan bias awal.
27 Diterjemahkan oleh Lily W.
( ( ) ) ( )
[ ] 0 lim(0) 1
2
2
lim 0 0
lim 0 1 0
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
=
= +
hard hard
a hard W p b
Output a tidak sama dengan nilai target t1, sehingga kita menggunakan aturan perceptron untuk
menemukan bobot dan bias yang baru berdasarkan pada error.
( ) ( ) [ ] ( )[ ] [ ]
(1) (0) 0 ( 1) 1
1 0 0 0 1 2 2 2 2
0 1 1
1
1
= + = + − = −
= + = + − = − −
= − = − = −
b b e
W W ep
e t a
T
Kita sekarang menerapkan vector input yang kedua yakni p2, menggunakan bobot dan bias yang
baru (sudah diubah).
( ( ) ) ( )
[ ] 1 lim(1) 1
2
1
lim 2 2
lim 1 1 2
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦
⎤
⎢⎣
⎡
−
= − −
= +
hard hard
a hard W p b
Kali ini output a adalah sama dengan target t2. Penerapa aturan perceptron tidak akan
menghasilkan perubahan apapun.
W(2) =W(1) b(2) = b(1)
Kita sekarang menerapkan vector input ketiga.
( ( ) ) ( )
[ ] 1 lim( 1) 0
2
2
lim 2 2
lim 2 2 3
= − = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦ ⎤
⎢⎣
⎡−
= − −
= +
hard hard
a hard W p b
Output menanggapi vector input p3 adalah sama dengan target t3, sehingga tidak ada perubahan
terhadap nilai bobot maupun bias.
W(3) =W(2) b(3) = b(2)
Sekarang kita lanjutkan pada vector input yang terakhir yakni p4.
( ( ) ) ( )
[ ] 1 lim( 1) 0
1
1
lim 2 2
lim 3 3 4
= − = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦
⎤
⎢⎣
⎡−
= − −
= +
hard hard
a hard W p b
28 Diterjemahkan oleh Lily W.
Kali ini output a tidak tepat sama dengan target t4. Aturan perceptron akan menghasilkan nilai W
dan b yang baru.
( ) ( ) [ ] ( )[ ] [ ]
(4) (3) 1 (1) 0
4 3 2 2 1 1 1 3 1
1 0 1
4
4
= + = − + =
= + = − − + − = − −
= − = − =
b b e
W W ep
e t a
T
Sekarang kita harus menguji vector pertama yakni p1 kembali. Kali ini output a sama dengan
target t1.
( ( ) ) ( )
[ ] 0 lim( 8) 0
2
2
lim 3 1
lim 4 4 1
= − = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
= − −
= +
hard hard
a hard W p b
Oleh karena itu tidak ada perubahan yang terjadi.
W(5) =W(4) b(5) = b(4)
Presentasi kedua dari p2 menghasilkan dalam satu error dan oleh karena itu suatu nilai bobot dan
bias yang baru harus ditetapkan.
( ( ) ) ( )
[ ] 0 lim( 1) 0
2
1
lim 3 1
lim 5 5 2
= − = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
−
= − −
= +
hard hard
a hard W p b
Berikut ini nilai-nilai yang baru tersebut:
( ) ( ) [ ] ( )[ ] [ ]
(6) (5) 0 1 1
6 5 3 1 1 1 2 2 3
1 0 1
2
2
= + = + =
= + = − − + − = − −
= − = − =
b b e
W W ep
e t a
T
Perputaran melalui masing-masing vektor input sekali lagi menghasilkan tidak ada error.
29 Diterjemahkan oleh Lily W.
( ( ) ) ( ) [ ]
( ( ) ) ( ) [ ]
( ( ) ) ( ) [ ]
( ( ) ) ( ) [ ] 2 2
1 1
4 4
3 3
1 1
2
1
lim 6 6 lim 2 3
1 0
2
2
lim 6 6 lim 2 3
1 1
1
1
lim 6 6 lim 2 3
1 0
2
2
lim 6 6 lim 2 3
a hard W p b hard t
a hard W p b hard t
a hard W p b hard t
a hard W p b hard t
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
−
= + = − −
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
= + = − −
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡−
= + = − −
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡−
= + = − −
Oleh karena itu algoritma telah memusat. Solusi akhir adalah:
Sekarang kita bisa membuat grafik data pelatihan dan batasan keputusan dari solusi.
Batasan keputusan diberikan oleh
2 3 1 0. 1,1 1 1,2 2 1 2 n =W + b = w p + w p + b = − p − p + = p
Untuk menemukan p2 memintas batasan keputusan, tentukan p1 = 0:
0.
3
1
3
2 1 1
1,2
= =
−
= − = − jika p
w
p b
Untuk menemukan p1 yang memintas, tentukan p2 = 0:
0.
2
1
2
1 1 2
1,1
= =
−
= − = − jika p
w
p b
Batasan keputusan yang dihasilkan digambarkan di dalam Gambar P4.6.
Gambar P4.6 Batasan Keputusan untuk Masalah P4.4
30 Diterjemahkan oleh Lily W.
Perhatikan bahwa batasan keputusan yang jatuh secara kebetulan salah satu dari vektor pelatihan.
Hal ini adalah bisa diterima, dengan mengetahui definisi masalah, karena fungsi hard limit
mengembalikan 1 ketika diberikan satu input 0, dan target untuk vektor di dalam pertanyaan
adalah tentu saja 1.
Aturan Pembelajaran Perceptron
Tujuan
Salah satu pertanyaan kita yang muncul adalah: "Bagaimana kita menentukan Matrik bobot dan
bias untuk jaringan perceptron dengan banyak input, dimana adalah mustahil untuk
memvisualisasikan batasan-batasan keputusan?” Dalam bab ini kita akan menggambarkan suatu algoritma
untuk pelatihan jaringan perceptron, sehingga mereka dapat belajar untuk memecahkan masalah
klasifikasi. Kita akan mulai dengan menjelaskan apa yang dimaksud dengan aturan belajar
(learning rule) dan akan belajar mengembangkan aturan perceptron. Kami akan menyimpulkan
dengan mendiskusikan keuntungan dan keterbatasan dari jaringan single - layer perceptron.
Diskusi ini akan membawa kita ke dalam bab-bab selanjutnya.
Teori dan Contoh
Pada tahun 1943, Warren McCulloch dan Walter Pitts memperkenalkan salah satu artificial
neurons [McPi43]. Fitur utama dari model neuron mereka adalah bahwa jumlah bobot sinyal
input dibandingkan dengan ambang batas untuk menentukan neuron output. Ketika jumlah lebih
besar dari atau sama dengan ambang batas, output adalah 1. Ketika jumlah kurang dari ambang
batas, keluaran adalah 0. Mereka tetap meneruskan penelitian dengan menunjukkan bahwa
jaringan neuron ini pada prinsipnya bisa menghitung setiap fungsi aritmetika atau logika. Tidak
seperti jaringan biologis, parameters jaringan mereka harus dirancang, karena tidak ada metode
pelatihan yang tersedia. Namun, hubungan yang dirasakan antara biologi dan komputer digital
menghasilkan banyak minat
Pada akhir 1950-an, Frank Rosenblatt dan beberapa peneliti lain mengembangkan suatu kelas
jaringan saraf yang disebut Perceptrons. Neuron dalam jaringan yang mirip dengan McCulloch
dan pitts. Kunci kontribusi Rosenblatt adalah pengenalan aturan belajar untuk pelatihan jaringan
perceptron untuk memecahkan masalah pengenalan pola [Rose58]. Ia membuktikan bahwa
aturan belajarnya akan selalu bertemu untuk bobot jaringan yang benar, jika bobot yang ada
memecahkan masalah. Pembelajarannya sederhana dan otomatis. Contoh perilaku yang layak
2 Diterjemahkan oleh Lily W.
diajukan ke jaringan yang belajar dari kesalahan. Perceptron bahkan bisa belajar ketika
diinisialisasi dengan nilai acak untuk bobot dan bias.
Sayangnya, jaringan perceptron secara inheren terbatas. Keterbatasan ini dipublikasikan secara
luas dalam buku Perceptrons [MiPa69] oleh Marvin Minsky dan Seymour Papert. Mereka
menunjukkan bahwa jaringan perceptron tidak mampu melaksanakan fungsi dasar tertentu. Hal
ini tidak sampai tahun 1980-an dimana keterbatasan ini diatasi dengan memperbaiki jaringan
perceptron (multilayer) dan aturan belajar yang saling terkait/berhubungan.
Saat ini perceptron masih dipandang sebagai jaringan penting. Ia menyisakan suatu jaringan
yang cepat dan handal untuk kelas masalah yang dapat dipecahkan. Selain daripada itu,
pemahaman tentang operasi dari perceptron menyediakan dasar yang baik untuk memahami
jaringan yang lebih kompleks. Jadi jaringan perceptron, dan aturan belajar yang terkait, adalah
baik dan layak untuk didiskusikan di sini.
Pada sisa dari bab ini kita akan mendefinisikan apa yang kita maksud dengan aturan belajar,
menjelaskan jaringan perceptron dan aturan belajar, dan mendiskusikan keterbatasan jaringan
perceptron.
Aturan Pembelajaran
Pembelajaran berarti belajar dari kesalahan. Semakin sering jaringan syaraf tiruan ini digunakan
semakin cerdaslah dia, artinya kesalahannya semakin kecil. Kecepatan peningkatan kecerdasan
ditentukan oleh nilai parameter kecepatan pembelajaran (learning rate) disimbolkan dengan α .
Bagaimanapun, jika sampai kali ke-N komputasi ulang (istilahnya: N iterasi) kesalahannya tetap
besar maka proses pembelajaran dihentikan dan jaringan digunakan apa adanya.
Ketika kita mulai pembahasan kita tentang aturan pembelajaran perceptron, kami ingin
mendiskusikan aturan pembelajaran secara umum. Aturan belajar yang kami maksud adalah
sebuah prosedur untuk memodifikasi bobot dan bias dari jaringan. (Prosedur ini juga dapat
disebut sebagai algoritma pelatihan). Tujuan aturan pembelajaran untuk melatih jaringan untuk
3 Diterjemahkan oleh Lily W.
melakukan beberapa tugas. Ada banyak jenis aturan belajar jaringan saraf. Mereka dibagi dalam
3 kategori besar : pembelajaran dengan pengawasan (supervised learning), pembelajaran tanpa
pengawasan (unsupervised learning) dan pembelajaran penguatan tanpa pengawasan (atau
dinilai) (reinforcement learning).
Ada 3 mekanisme penting proses pembelajaran:
1. Hitung selisih keluaran (a) dari target (t)
2. Jika besarnya selisih dapat ditolerir maka a diterima, tetapi jika selisih tersebut tidak
dapat ditolerir dan banyaknya iterasi belum N kali maka rubahlah w dan b, lalu lakukan
komputasi ulang.
3. Nilai baru w dan b bergantung kepada nilai α .
Segera setelah jaringan mengalami pembelajaran, jaringan tersebut dapat digunakan untuk
menyelesaikan masalah yang sesuai dengan konstruksi jaringan tersebut.
Supervised Learning
Pada pembelajaran dengan pengawasan, aturan pembelajaran dilengkapi dengan serangkaian
contoh (himpunan pelatihan) dari perilaku jaringan yang tepat :
{p1, t1), {p2,t2}, … , {pq,tq}, (4.1)
Dimana q p adalah sebuah input ke jaringan dan yang berhubungan dengan (target) output yang
sesuai. Seperti input yang diterapkan ke jaringan, output jaringan dibandingkan dengan target.
Aturan pembelajaran kemudian digunakan untuk mengatur bobot dan bias dari jaringan untuk
memindahkan output jaringan mendekati target. Aturan pembelajaran perceptron masuk dalam
kategori pembelajaran pengawasan ini.
Reinforcement Learning
Pembelajaran dengan penguatan adalah serupa dengan pembelajaran dengan pengawasan,
kecuali bahwa, pada supervised learning dilengkapi dengan output yang benar untuk setiap input
jaringan, sementara algoritma Reinforcement Learning hanya diberikan satu nilai. Nilai adalah
sebuah ukuran dari kinerja jaringan atas beberapa rangkaian input. Saat ini, jenis pembelajaran
4 Diterjemahkan oleh Lily W.
ini, jauh lebih sedikit dibandingkan pembelajaran dengan pengawasan. Ia tampaknya menjadi
paling cocok untuk aplikasi-aplikasi sistem kontrol (lihat [BaSu83], [WhSo92]).
Pembelajaran Tanpa Pengawasan
Pada pembelajaran tanpa pengawasan, bobot dan bias diubah sebagai tanggapan untuk jaringan
input saja. Tidak ada target output yang tersedia. Awalnya sekilas ini mungkin kelihatannya
tidak praktis. Bagaimana anda bisa melatih jaringan jika anda tidak tahu apa yang seharusnya
dilakukan? Kebanyakan dari algoritma ini melakukan semacam operasi clustering
(pengelompokan). Mereka belajar untuk mengkategorikan pola input dalam sejumlah kelas yang
terbatas. Hal ini sangat berguna khususnya dalam aplikasi seperti vector kuantisasi.
Arsitektur Perceptron
Sebelum kami menyajikan aturan pembelajaran perceptron, marilah kita memperluas
pemahaman kita akan jaringan perceptron. Jaringan perceptron yang umum ditunjukkan pada
Gambar 4.1.
Output dari jaringan diberikan oleh
a = hardlim(Wp + b). (4.2)
(Perhatikan bahwa dalam bab 3 kita menggunakan fungsi transfer, bukan hardlim. Hal ini tidak
mempengaruhi kemampuan jaringan).
5 Diterjemahkan oleh Lily W.
Gambar 4.1. Jaringan Perceptron
Ini akan berguna dalam pengembangan aturan jaringan perceptron kita menjadi dapat dengan
mudah mereferensikan elemen-elemen individu dari output jaringan. Marilah kita lihat
bagaimana hal ini dapat dilakukan. Pertama, pertimbangkan matrik bobot jaringan berikut:
⎥ ⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢ ⎢
⎣
⎡
=
S S S R
R
R
w w w
w w w
w w w
W
,1 ,2 ,
2,1 2,2 2,
1,1 1,2 1,
K
K K K K
K
K
(4.3)
Kita akan mendefinisikan sebuah vector yang terdiri dari elemen-elemen W dari baris ke-i
⎥ ⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢ ⎢
⎣
⎡
=
i R
i
i
i
w
w
w
w
,
,2
1 ,
M
(4.4)
Sekarang kita dapat merpartisi matrik bobot:
⎥ ⎥ ⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢ ⎢ ⎢
⎣
⎡
=
T
S
T
T
w
w
w
W
M
2
1
(4.5)
Hal ini memungkinkan kita untuk menulis elemen ke-i dari vektor output jaringan sebagai
6 Diterjemahkan oleh Lily W.
lim( ) lim( ) i
T
i i i a = hard n = hard w p + b (4.6)
Ingatlah bahwa fungsi transfer hardlim (ditampilkan di
sebelah kiri) didefinisikan sebagai
{1 0
0 = lim( ) = if n ≥
otherwise a hard n (4.7)
Oleh karena itu, jika produk inner dari baris ke-i dari matrik
bobot dengan vektor input lebih besar dari atau sama dengan
–bi, output akan menjadi 1, sebaliknya output akan menjadi
0. Jadi setiap neuron dalam jaringan membagi masukan ruang menjadi dua daerah. Hal ini
berguna untuk menyelidiki batas-batas antara daerah ini. Kita akan mulai dengan kasus
sederhana dari single-neuron perceptron dengan dua input.
Single-Neuron Perceptron
Marilah kita mempertimbangkan dua input perceptron dengan satu neuron, seperti yang
ditunjukkan pada gambar 4.2.
Gambar 4.2 Two-Input/Single-Output Perceptron
Keluaran dari jaringan ini ditentukan oleh
lim( ) lim( )
lim( ) lim( )
1 1,1 1 1,2 2 hard w p b hard w p w p b
a hard n hard Wp b
= T + = + +
= = +
(4.8)
7 Diterjemahkan oleh Lily W.
Batas Keputusan (Decision Boundary)
Batas keputusan ditentukan oleh vektor input dimana n input jaringan adalah nol.
0. 1 1,1 1 1,2 2 n = wT p + b = w p + w p + b = (4.9)
Untuk membuat contoh yang lebih konret, marilah kita menetapkan nilai-nilai berikut untuk
bobot dan bias:
1, 1, 1 1,1 1,2 w = w = b = − (4.10)
Batas keputusan adalah
1 0. 1 1,1 1 1,2 2 1 2 n = wT p + b = w p + w p + b = p + p − = (4.11)
Ini mendefinisikan sebuah garis dalam ruang input. Di satu sisi garis jaringan output akan
menjadi 0; pada baris dan pada sisi lain dari garis output akan menjadi 1. Untuk menarik garis,
kita dapat menemukan titik-titik dimana ia memotong sumbu p1 dan p2. Untuk menemukan p2
yangmemintas tentukan p1 = 0.
1 1 0
1
1
1,2
2 = =
−
= − = − if p
w
p b (4.12)
Untuk menemukan p1 yang memintas, tentukan p2 = 0.
1 0
1
1 1 2
1,1
= =
−
= − = − if p
w
p b (4.13)
Batas keputusan yang dihasilkan diilustrasikan pada Gambar 4.3
Untuk mengetahui sisi mana dari batasan yang berhubungan dengan output 1, kita hanya perlu
menguji satu titik. Untuk input p = [2 0]T, keluaran jaringan akan menjadi
[ ] 1 1.
0
2
lim( ) lim 1 1 1 = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦
⎤
⎢⎣
⎡
a = hard wT p + b = hard (4.14)
Oleh karena itu, Keluaran jaringan akan menjadi 1 untuk wilayah di atas dan ke kanan dari
batasan keputusan. Wilayah ini ditandai dengan daerah yang diarsir pada Gambar 4.3.
8 Diterjemahkan oleh Lily W.
Gambar 4.3 Batas Keputusan untuk Dua-Input Perceptron
Kita juga dapat menemukan batas keputusan secara grafis. Langkah pertama adalah perhatikan
bahwa batas selalu orthogonal, seperti yang digambarkan dalam angka yang berdekatan. Batas
didefinisikan oleh
1wT p + b = 0 (4.15)
Untuk semua titik di perbatasan, produk inner dari vektor input dengan bobot vektor adalah
sama. Ini menunjukkan bahwa semua vektor input ini akan memiliki proyeksi yang sama ke
vektor bobot, sehingga mereka harus terletak pada garis orthogonal dengan bobot vektor.
Sebagai tambahan, setiap vektor di daerah bayangan dari Gambar 4.3 akan memiliki produk
inner yang lebih besar dari -b, dan vektor di daerah yang tidak terarsir memiliki produk inner
yang lebih kecil dari -b. Oleh karena itu vektor bobot 1w akan selalu menunjuk ke arah dimana
neuron output adalah 1.
Setelah kita memilih salah satu vektor bobot dengan orientasi sudut yang benar, nilai bias dapat
dihitung dengan memilih titik pada batas dan memenuhi persamaan (4.15)
9 Diterjemahkan oleh Lily W.
Marilah kita menerapkan beberapa konsep ini untuk desain sebuah jaringan perceptron untuk
melaksanakan fungsi logika sederhana: gerbang AND. Pasangan input/target untuk gerbang
AND adalah
, 4 1 .
1
1
, 3 0 4
0
1
, 2 0 3
1
0
, 1 0 2
0
0
1
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
p = t p t p t p t
Gambar di sebelah kiri menggambarkan masalah secara grafis. Ia
menampilkan ruang input, dengan masing-masing vector input ditandai
sesuai dengan targetnya. Lingkaran gelap menunjukkan bahwa target
adalah 1, dan lingkaran terang menunjukkan bahwa target adalah 0.
Langkah pertama dari desain adalah untuk memilih batas keputusan. Kami ingin memiliki garis
yang memisahkan lingkaran hitam dan lingkaran terang. Ada sejumlah solusi yang tidak terbatas
untuk masalah ini. Tampaknya masuk akal untuk memilih garis yang jatuh “di tengah” antara
dua kategori input, seperti ditunjukkan pada gambar yang berdekatan.
Selanjutnya kami ingin memilih vector bobot yang orthogonal terhadap batas keputusan. Vektor
bobot tsb dapat berupa sembarang panjang, sehingga terdapat kemungkinan yang tak terhingga.
Satu pilihan adalah
⎥⎦
⎤
⎢⎣
⎡
=
2
2
1w (4.16)
Seperti yang ditunjukkan pada gambar ke kiri.
Akhirnya, kita perlu menemukan bias, b. Kita dapat melakukan ini
dengan memilih sebuah titik pada batas keputusan dan memenuhi
persamaan (4.15). jika kita menggunakan p = [1.5 0]kita menemukan
[ ] 3 0 3
0
1.5
2 2 1 − = ⇒ = + = + ⎥⎦
⎤
⎢⎣
⎡
wT p + b = b b b (4.17)
Sekarang kita bisa menguji jaringan pada salah satu pasangan input/target. Jika kita menerapkan
p2 ke jaringan, output akan
10 Diterjemahkan oleh Lily W.
[ ]
lim( 1) 0
3
1
0
lim( ) lim 2 2 1 2
= − =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦
⎤
⎢⎣
⎡
= + =
a hard
a hard wT p b hard
(4.18)
Yang sama dengan output target t2. Lakukan hal yang sama untuk menguji semua input apakah
sudah diklasifikasi dengan benar.
Untuk berekperimen dengan batasan keputusan, gunakan disain jaringan Neural
untuk memperagakan batas keputusan (nnd4db).
Multiple-Neuron Perceptron
Perhatikan bahwa untuk Perceptron dengan beberapa neuron, seperti dalam Gambar 4.1, akan
ada satu batas keputusan untuk setiap neuron. Batas keputusan untuk neuron i akan ditentukan
dengan
+ = 0 i
T
i w p b (4.19)
Sebuah Single-neuron perceptron dapat mengklasifikasikan vektor-vektor input ke dalam dua
kategori, karena output dapat berupa 0 atau 1. Sebuah multiple-neuron perceptron dapat
mengelompokkan masukan/input ke dalam banyak kategori. Masing-masing kategori diwakili
oleh vektor output yang berbeda. Karena setiap elemen dari vektor output dapat berupa 0 atau 1,
terdapat total dari 2S kategori yang mungkin, dimana S merupakan jumlah neuron.
Aturan Belajar Perceptron
Sekarang kita telah memeriksa kinerja jaringan perceptron, kita berada dalam posisi untuk
memperkenalkan aturan pembelajaran perceptron. Aturan pembelajaran ini adalah contoh dari
pelatihan dengan pengawasan, dimana aturan pembelajaran disediakan dengan serangkaian
contoh perilaku jaringan yang tepat.
{ , } { , }, { , }, 1 1 2 2 q q p t , p t L, p t (4.20)
Dengan pq adalah sebuah input ke jaringan dan tq berhubungan dengan target output. Karena
setiap input diterapkan ke jaringan, output jaringan dibandingkan ke target. Aturan belajar
kemudian menyesuaikan bobot dan bias jaringan untuk memindahkan keluaran/output jaringan
lebih dekat ke sasaran.
11 Diterjemahkan oleh Lily W.
Uji Masalah
Pada presentasi kita mengenai aturan belajar perceptron kita akan mulai dengan sebuah uji
masalah yang sederhana dan akan bereksperimen dengan aturan yang mungkin untuk
mengembangkan beberapa intuisi tentang bagaimana aturan harus bekerja. Pasangan input/target
untuk masalah pengujian kita adalah
, 0 .
1
0
, 0
2
1
, 1
2
1
1 1 2 2 3 3
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
p = t p t p t
Masalah tersebut ditampilkan secara grafik dalam gambar di sebelah,
dimana kedua vektor input yang targetnya adalah 0 direpresentasikan
dengan lingkaran terang , dan vector yang targetnya 1
direpresentasikan dengan lingkaran gelap . Ini merupakan masalah
yang sangat sederhana, dan kita hampir bisa mendapatkan solusi dengan
cara memeriksa. Kemudahan ini akan membantu kita mendapatkan
beberapa pemahaman intuitif tentang konsep-konsep dasar aturan pembelajaran perceptron.
Jaringan untuk masalah ini harus memiliki dua-masukan dan satu keluaran. Untuk
menyederhanakan pengembangan aturan belajar kita, kita akan mulai dengan jaringan tanpa bias.
Jaringan akan memiliki dua parameter, 1,1 w dan 1,2 w , seperti yang ditunjukkan pada Gambar 4.4
Gambar 4.4. Uji Masalah Jaringan
12 Diterjemahkan oleh Lily W.
Dengan menghapus bias kita dihadapkan dengan sebuah jaringan yang
batas keputusannya harus melalui titik asal. Kita perlu memastikan
bahwa jaringan ini masih mampu memecahkan masalah uji. Harus ada
batas keputusan yang diperbolehkan yang dapat memisahkan vektor p2
dan p3 dari vektor p1. Gambar sebelah kiri menunjukkan bahwa
memang terdapat sejumlah batasan yang tidak terbatas.
Gambar di sebelah menunjukkan vektor bobot yang sesuai dengan batas
keputusan yang diperbolehkan. (Ingat bahwa vektor bobot adalah
orthogonal terhadap batas keputusan). Kita ingin sebuah aturan belajar
yang akan menemukan suatu vektor bobot yang menunjuk pada salah satu
arah. Ingat bahwa panjang vektor bobot tidak menjadi masalah, hanya
arahnya penting.
Membangun Aturan Belajar
Pelatihan dimulai dengan menetapkan beberapa nilai awal untuk parameter jaringan. Dalam hal
ini kita melatih jaringan dengan jaringan two-input/single-output tanpa bias, jadi kita hanya perlu
menginisialisasi dua bobot. Di sini kita menetapkan elemen-elemen vektor bobot, 1w Untuk
menghasilkan nilai random berikut:
[1.0 0.8]. 1 wT = − (4.21)
Sekarang kita akan mulai menampilkan vektor input ke jaringan. Kita mulai dengan p1
( ) [ ]
lim( 0.6) 0
2
1
lim lim 1.0 0.8 1 1
= − =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
⎥⎦
⎤
⎢⎣
⎡
= = −
a hard
a hard wT p hard
(4.22)
Jaringan tidak mengembalikan nilai yang benar. Output jaringan
adalah 0, sementara target respon, t1, adalah 1.
Kita bisa melihat apa yang terjadi dengan melihat diagram yang di
sebelah. Hasil vektor bobot awal dalam suatu batas keputusan yang
salah mengklasifikasikan vector p1. Kita perlu mengubah vektor bobot
13 Diterjemahkan oleh Lily W.
sehingga poin lebih ke arah p1, sehingga di masa mendatang memiliki
kesempatan yang lebih baik dalam mengklasifikasikannya dengan benar.
Salah satu pendekatan akan menetapkan 1w sama dengan p1. Ini adalah
sederhana dan akan memastikan bahwa p1 telah diklasifikasi dengan benar di
masa mendatang. Diagram di kiri bawah menunjukkan masalah yang tidak dapat diselesaikan
dengan vektor bobot menunjuk langsung pada salah satu dari dua kelas 1 vektor. Jika kita
menerapkan aturan bahwa 1w = p setiap kali salah satu vektor ini tidak terklasifikasi, bobot
jaringan hanya akan bergerak mundur terus dan tidak akan pernah menemukan suatu solusi.
Kemungkinan lainnya ialah akan menambahkan p1 ke 1w. Penambahan p1 ke 1w akan membuat
titik 1w lebih ke arah p1. Pengulangan presentasi dari p1 akan menyebabkan arah dari 1w untuk
secara asimtotik mendekati arah p1. Aturan ini dapat dinyatakan :
If t = dan a = then wnew = wold + p 1 1 1 0, (4.23)
Penerapan aturan ini untuk masalah pengujian kita menghasilkan nilai baru untuk 1w :
.
1.2
2.0
2
1
0.8
1.0
1 1 1 ⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
+ ⎥⎦ ⎤
⎢⎣
⎡
−
wnew = wold + p = (4.24)
Operasi ini diilustrasikan dalam gambar sebelah. Kita sekarang
beralih ke vektor input berikutnya dan akan melanjutkan membuat
perubahan terhadap bobot dan cycling melalui input sampai mereka
semua diklasifikasikan dengan benar.
Vektor input berikutnya adalah p2. Ketika itu disajikan ke jaringan
kita menemukan :
( ) [ ]
lim(0.4) 1
2
1
lim lim 2.0 1.2 1 2
= =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
⎥⎦
⎤
⎢⎣
⎡−
= =
hard
a hard wT p hard
(4.25)
Target t2 yang terkait dengan p2 adalah 0 dan output a adalah 1. Kelas vektor 0 tidak
terklasifikasi sebagai 1. Karena kita sekarang ingin memindahkan vektor bobot 1w menjauh dari
14 Diterjemahkan oleh Lily W.
input, kita dapat dengan mudah mengubah penambahan dalam persamaan (4.23) menjadi
pengurangan:
If t = dan a = then wnew = wold − p 1 1 0 1, (4.26)
Jika kita menerapkan hal ini untuk menguji masalah kita akan menemukan :
,
0.8
3.0
2
1
1.2
2.0
2 1 1 ⎥⎦
⎤
⎢⎣
⎡
−
= ⎥⎦
⎤
⎢⎣
⎡−
− ⎥⎦
⎤
⎢⎣
⎡
wnew = wold − p = (4.27)
Yang digambarkan dalam gambar di sebelah.
Sekarang kita tampilkan vektor ketiga yakni p3:
( ) [ ]
lim(0.8) 1.
1
0
lim lim 3.0 0.8 1 3
= =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
⎥⎦
⎤
⎢⎣
⎡
−
= = −
hard
a hard wT p hard
(4.28)
Hasil 1w saat ini dalam batas keputusan bahwa p3 tidak
terklasifikasi. Ini adalah situasi dimana kita telah memiliki sebuah
aturan, sehingga 1w akan diubah kembali, tergantung pada persamaan (4.26):
,
0.2
3.0
1
0
0.8
3.0
3 1 1 ⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣ ⎡
−
− ⎥⎦
⎤
⎢⎣
⎡
−
wnew = wold − p = (4.29)
Diagram di sebelah kiri menunjukkan bahwa perceptron akhirnya
belajar untuk menggolongkan tiga vektor dengan benar. Jika kita
menghadirkan salah satu vektor input untuk neuron, ia akan
menampilkan kelas yang benar untuk vektor input tersebut.
Ini membawa kita ke aturan ketiga dan yang terakhir: jika ia bekerja,
jangan lakukan perbaikan.
, . 1 1
If t = a then wnew = wold (4.30)
Berikut ini adalah tiga aturan, yang mencakup semua kemungkinan kombinasi output dan nilainilai
sasaran:
If t = dan a = then wnew = wold + p 1 1 1 0,
If t = dan a = then wnew = wold − p 1 1 0 1, (4.31)
, . 1 1
If t = a then wnew = wold
15 Diterjemahkan oleh Lily W.
Aturan belajar Yang Diseragamkan (Unified Learning Rule)
Tiga aturan dalam Persamaan. (4.31) dapat ditulis kembali sebagai satu ekspresi. Pertama kita
akan mendefinisikan sebuah variable baru, maka kesalahan perceptron e :
e = t – a (4.32)
Sekarang kita dapat menulis kembali tiga aturan dari persamaan di (4.31) sebagai :
If e = then wnew = wold + p 1 1 1,
If e = − then wnew = wold − p 1 1 1, (4.34)
0, . 1 1
If e = then wnew = wold
Lihat dengan hati-hati pada dua aturan pertama dalam persamaan (4.33), kita dapat melihat
bahwa tanda p adalah sama dengan tanda pada kesalahan, e. Selanjutnya, tidak adanya p dalam
aturan ketiga sesuai dengan e dari 0. Dengan demikian, kita dapat menyatukan tiga aturan
tersebut menjadi satu ekspresi :
( ) . 1 1 1 wnew = wold + ep = wold + t − a p (4.34)
Aturan ini dapat diperluas untuk melatih bias dengan catatan bahwa bias hanya bobot yang
inputnya selalu 1. Dengan demikian kita dapat mengganti input pada persamaan (4.34) dengan
input ke bias adalah 1. Hasilnya adalah aturan perceptron untuk bias :
bnew = bold + e (4.35)
Pelatihan Multiple-Neuron Perceptron
Aturan perceptron, seperti yang diberikan oleh persamaan (4.34) dan persamaan (4.35),
memperbaharui vektor bobot dari suatu neuron perceptron. Kita bisa generalisasi aturan ini untuk
Multiple-Neuron perceptron dari Gambar 4.1. sebagai berikut. Memperbaharui baris ke –i dari
matrik bobot yang digunakan:
w w e p i
old
i
new
i = + (4.36)
Untuk memperbaharui elemen ke-i dari vector bias menggunakan:
. i
old
i
new
i b = b + e (4.37)
Aturan perceptron
Aturan perceptron dapat ditulis dalam notasi matriks:
W new =W old + epT , (4.38)
16 Diterjemahkan oleh Lily W.
Dan
bnew = bold + e. (4.39)
Untuk menguji aturan pembelajaran perceptron, pertimbangkan kembali masalah pengenalan
apel/jeruk dari bab sebelumnya.
Vektor input/output prototipe akan menjadi
[ ] , [1] .
1
1
, 0
1
1
1 1 2 2
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
−
p = t p t (4.40)
(Perhatikan bahwa kita menggunakan 0 sebagai target output untuk pola jeruk, p1, bukan -1,
seperti yang digunakan dalam bab sebelumnya. Ini adalah karena kita menggunakan fungsi
transfer hardlim, bukan hardlims.)
Biasanya bobot dan bias yang diinisialisasi ke angka acak yang kecil. Anggaplah bahwa di sini
kita mulai dengan bobot awal matrik dan bias :
W = [0.5 −1 − 0.5], b = 0.5. (4.41)
Langkah pertama adalah menerapkan vektor input pertama, p1, ke jaringan:
( ) [ ]
lim(2.5) 1
lim lim 0.5 1 0.5 0.5 1
= =
⎟ ⎟ ⎟ ⎠
⎞
⎜ ⎜ ⎜
⎝
⎛
+
⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢
⎣
⎡
= + = − −
hard
a hard Wp b hard
-1
-1
1
(4.42)
Kemudian kita menghitung kesalahan:
0 1 1. 1 e = t − a = − = − (4.43)
Perbaikan bobot adalah
[ ] ( )[ ]
[ 0.5 0 0.5].
0.5 1 0.5 1 1 1 1
= −
W new =W old + epT = − − + − − −
(4.44)
Perbaikan bias adalah :
bnew = bold + e = 0.5 + (−1) = −0.5. (4.45)
Hal ini melengkapi iterasi pertama.
Iterasi kedua dari aturan perceptron adalah:
17 Diterjemahkan oleh Lily W.
( ) [ ] ( )
lim( 0.5) 0
lim lim 0.5 0 0.5 0.5 2
= − =
⎟ ⎟ ⎟
⎠
⎞
⎜ ⎜ ⎜
⎝
⎛
+ −
⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢
⎣
⎡
= + = −
hard
a hard Wp b hard
-1
1
1
(4.46)
1 0 1 2 e = t − a = − = (4.47)
[ ] ( )[ ]
[0.5 1 0.5].
0.5 0 0.5 1 1 1 1
= −
W new =W old + epT = − + −
(4.48)
bnew = bold + e = −0.5 + (1) = 0.5. (4.49)
Iterasi ketiga dimulai lagi dengan vektor input pertama:
( ) [ ] ( )
lim(0.5) 1
lim lim 0.5 1 0.5 0.5 1
= =
⎟ ⎟ ⎟
⎠
⎞
⎜ ⎜ ⎜
⎝
⎛
+
⎥ ⎥ ⎥
⎦
⎤
⎢ ⎢ ⎢
⎣
⎡
= + = −
hard
a hard Wp b hard
-1
-1
1
(4.50)
0 1 1 1 e = t − a = − = − (4.51)
[ ] ( )[ ]
[ 0.5 2 0.5].
0.5 1 0.5 1 1 1 1
= −
W new =W old + epT = − + − − −
(4.52)
bnew = bold + e = 0.5 + (−1) = −0.5. (4.53)
Jika anda lanjutkan dengan iterasi anda akan menemukan bahwa kedua masukan vector akan
sekarang diklasifikasikan dengan benar. Algoritma telah bertemu ke sebuah solusi. Catatan
bahwa batas keputusan akhir tidak sama dengan yang kami kembangkan di bab sebelumnya,
meskipun kedua batasan benar mengklasifikasikan dua masukan vektor secara benar.
Untuk percobaan dengan aturan pembelajaran perceptron, gunakan Neural
Network Design Demonstration Perceptron Rule (nnd4pr).
18 Diterjemahkan oleh Lily W.
Keterbatasan
Aturan pembelajaran Perceptron dijamin untuk mengumpul pada suatu solusi dalam satu jumlah
tahap yang terbatas, sepanjang terdapat suatu solusi. Ini membawa kita pada satu pertanyaan
penting. Apa permasalahan yang bisa dipecahkan suatu perceptron? Mengingatkan kembali
bahwa suatu single-neuron perceptron memungkinkan untuk membagi ruang input ke dalam dua
daerah. Perbatasan antara daerah didefinisikan oleh persamaan
1wT p + b = 0 (4.77)
Ini merupakan suatu batasan linier (hyperplane). Perceptron dapat digunakan untuk
mengklasifikasikan vektor input yang dapat dipisahkan oleh suatu batasan linier. Kita menyebut
vektor seperti ini vektor yang dapat dipisahkan secara linear. Contoh gerbang logika AND pada
halaman 4-7 menggambarkan satu contoh dua-dimensi dari masalah yang dapat dipisah-pisah
secara linear. Masalah pengenalan buah apel/jeruk dalam Chapter 3 adalah satu contoh tigadimensi.
Sayangnya, banyak permasalahan yang tidak dapat dipisah-pisah secara linear. Contoh klasik
adalah gerbang XOR. Input/pasangan target untuk gerbang XOR adalah
Masalah ini digambarkan secara grafis pada sisi kiri dari gambar 4.6, yang juga menunjukan dua
permasalahn lain yang tidak dapat dipisahkan secara linear. Cobalah menggambar satu garis
lurus antara vektor dengan target dari 1 dan yang dengan target 0 pada diagram apapun dari
gambar 4.6.
Gambar 4.6 Permasalahan Yang Tidak Dapat Dipisahkan Secara Linear
19 Diterjemahkan oleh Lily W.
Itu adalah ketidak-mampuan dari dasar perceptron untuk memecahkan seperti permasalahan
sederhana yang berupa led, pada sebagian, untuk pengurangan dalam tertarik akan penelitian
jaringan neural selama 1970-an. Rosenblatt telah menyelidiki jaringan lebih rumit, dimana dia
merasakan akan mengatasi keterbatasan dari dasar perceptron, tetapi dia tidak pernah mampu
untuk secara efektif memperluas aturan perceptron ke beberapa jaringan. Pada Bab 11 kita akan
memperkenalkan perceptrons banyak lapisan, yang dapat memecahkan permasalahan klasifikasi,
dan akan menggambarkan algoritma backpropagation, yang dapat digunakan untuk melatih
mereka.
Ringkasan Hasil
Arsitektur Perceptron
Batasan Keputusan
20 Diterjemahkan oleh Lily W.
Batasan keputusan adalah selalu ortogonal untuk vektor bobot. Single-layer perceptrons hanya
dapat mengklasifikasikan vektor yang terpisah secara linear.
Perceptron Learning Rule
Pemecahan Masalah
P4.1 Pecahkan tiga permasalahan klasifikasi sederhana yang diperlihatkan di
dalam gambar P4.1 dengan cara menggambar suatu batasan keputusan.
Temukan nilai bobot dan bias dimana hasil dalam single-neuron
perceptrons dengan batasan keputusan yang terpilih.
Gambar P4.1 Permasalah Klasifikasi Sederhana
Pertama kita menggambar satu baris antara setiap sekumpulan titik data gelap dan ringan.
21 Diterjemahkan oleh Lily W.
Tahap berikutnya adalah mencari bobot dan bias. Vektor bobot harus ortogonal terhadap
batasan-batasan keputusan, dan penunjukan dalam arah titik untuk digolongkan sebagai 1 (titik
gelap). Vektor bobot dapat mempunyai panjang berapapun yang kita suka.
Inilah sekumpulan pilihan untuk vektor bobot:
( ) [ 2 1] ( ) [0 2] ( ) [2 2]. 1 1 1 a wT = − , b wT = − , c wT = −
Sekarang kita mencari nilai bias untuk setiap perceptron dengan cara mengambil suatu titik
pada batasan keputusan dan memenuhi Persamaan (4.15).
b w p
w p b
T
T
1
1 0
= −
+ =
Hal ini memberikan kita tiga bias berikut:
( ) [ ] ( ) [ ] ( ) [ ] 6.
1
2
2, 2 2
1
0
2 0 0 1 2 = ⎥⎦
⎤
⎢⎣
⎡−
− − = − = ⎥⎦
⎤
⎢⎣
⎡
−
− − = = ⎥⎦
⎤
⎢⎣
⎡
= − , c
0
0
a b b b b
Kita sekarang bisa memeriksa solusi kita terhadap titik asli. Di sini kita menguji jaringan
pertama pada vektor input p = [− 2 2].
( )
[ ]
lim(6) 1
0
2
2
lim 2 1
lim 1
= =
⎟ ⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡−
= −
= +
hard
hard
a hard wT p b
Kita bisa menggunakan MATLAB untuk mengotomatiskan proses pengujian dan untuk
mencoba titik yang baru. Inilah jaringan pertama yang digunakan untuk mengklasifikasikan
suatu titik yang tidak berada dalam masalah sebenarnya.
22 Diterjemahkan oleh Lily W.
P4.2 Convert masalah klasifikasi yang didefinisikan di bawah ke dalam
suatu definisi masalah ekivalen terdiri dari ketidaksamaan batasan
nilai bobot dan bias.
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
= 0
0
2
0
2
0
1
0
1
1
2
0
1 1 2 2 3 3 4 4 p , t p , t p , t p , t
Masing-masing target ti mengindikasikan apakah input jaringan dalam respon untuk pi
harus lebih kecil dari 0, atau lebih besar dari atau sama dengan 0 atau tidak. Sebagai
contoh, karena t1 adalah 1, kita tahu bahwa input jaringan yang erhubungan dengan p1
harus lebih besar dari atau sama dengan 0. Sehingga kita dapat ketidaksamaan berikut:
2 0
0 2 0
0
1,2
1,1 1,2
1
+ ≥
+ + ≥
+ ≥
w b
w w b
Wp b
Terapkan prosedur yang sama ke pasangan input/target untuk { } { } 2 2 3 3 p ,t , p ,t dan { } 4 4 p ,t hasilhasil
dalam himpunan ketidaksamaan berikut.
( )
( )
( )
w b (iv)
w b iii
w b ii
w b i
2 0
2 0
0
2 0
1,1
1,2
1,1
1,2
+ <
− + <
+ ≥
+ ≥
Memecahkan suatu himpunan ketidaksamaan adalah lebih sulit dibandingkan memecahkan suatu
himpunan persamaan. Satu kompleksitas ditambahkan seringkali sejumlah solusi tanpa batas
(seperti sering ada sejumlah batasan-batasan keputusan linier tanpa batas yang bisa memecahkan
suatu masalah klasifikasi yang terpisah secara linear).
Bagaimanapun, oleh karena kesederhanaan dari masalah ini, kita bisa memecahkannya dengan
membuat grafik ruang solusi yang didefinisikan oleh ketidaksamaan. Catat bahwa w1,1 hanya
23 Diterjemahkan oleh Lily W.
muncul dalam ketidaksamaan (ii) dan (iv), dan w1,2 hanya muncul dalam ketidaksamaan (i) dan
(iii). Kita dapat meletakkan masing-masing pasangan ketidaksamaan dengan dua grafik.
Nilai bobot dan bias apapun yang jatuh dalam kedua daerah abu-abu yang gelap tersebut akan
memecahkan masalah klasifikasi.
Berikut ini salah satu dari solusi :
W = [− 2 3] b = 3.
P4.3 Kita mempunyai satu masalah klasifikasi dengan empat kelas dari
vektor input. Empat kelas tersebut adalah
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
−
−
= ⎥⎦
⎤
⎢⎣
⎡
−
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡−
= ⎥⎦
⎤
⎢⎣
⎡−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦ ⎤
⎢⎣
⎡
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
=
, :
, :
2
2
, 8
1
1
4 7
1
2
, 6
2
1
3 : 5
,
0
2
, 4
1
2
2 3
2
1
, 2
1
1
1: 1
class p p class p p
class p p class p p
Rancang sebuah jaringan perceptron untuk memecahkan masalah ini.
Untuk memecahkan sebuah masalah dengan 4 kelas vector input kita akan membutuhkan sebuah
perceptron dengan paling sedikit dua neuron, karena sebuah S-neuron perceptron dapat
mengkategorikan 2S kelas. Perceptron dua neuron ditunjukkan dalam Gambar P4.2.
24 Diterjemahkan oleh Lily W.
Gambar P4.2 Two-Neuron Perceptron
Marilah kita mulai dengan menampilkan vector input, seperti dalam Gambar P4.3. Lingkaran
terang mengindikasikan kelas vector 1, segiempat terang mengindikasikan kelas vector 2,
lingkaran gelap mengindikasikan kelas vector 3, dan segiempat gelap mengindikasikan
kelas vector 4.
Sebuah perceptron dua neuron membuat dua batasan keputusan. Oleh karena itu, untuk membagi
ruang input ke dalam empat kategori, kita perlu untuk memiliki satu batasan keputusan yang
membagi empat kelas ke dalam dua himpunan dari dua. Sisa batasan kemudian harus
mengisolasi masing-masing kelas. Dua batasan tersebut digambarkan dalam Gambar P4.4.
Sekarang kita tahu bahwa pola kita adalah terpisah secara linear.
Gambar P4.3 Vektor Input untuk Masalah P4.3
25 Diterjemahkan oleh Lily W.
Gambar P4.4 Batasan Keputusan yang bersifat sementara untuk masalah P4.3
Vektor bobot harus ortogonal terhadap batasan-batasan keputusan dan harus menunjuk ke arah
daerah dimana output neuron adalah 1. Tahap berikutnya harus memutuskan bahwa sisi dari
setiap perbatasan harus menghasilkan sebuah 1. Satu pilihan digambarkan di dalam gambar P4.5,
dimana daerah yang di-shadow merepresentasikan output 1. Shadow yang paling gelap nilai
target dari
3 4
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣ ⎡ =
⎭ ⎬ ⎫
⎩ ⎨ ⎧
⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
=
1
1
, 8
1
1
, : 7
0
1
, 6
0
1
: 5
,
1
0
, 4
1
0
, 2 : 3
0
0
, 2
0
0
1: 1
class t t class t t
class t t class t t
Kita sekarang dapat memilih vektor-vektor bobot:
⎥⎦
⎤
⎢⎣
⎡
−
= ⎥⎦
⎤
⎢⎣
⎡
−
−
=
2
1
1
3
1 2w dan w
Perhatikan bahwa panjang vector bobot tidak penting, hanya arah mereka. Mereka harus
orthogonal terhadap batasan keputusan. Kita sekarang dapat menghitung bias dengan mengambil
sebuah titik pada batasan dan memenuhi Persamaan (4.15):
[ ]
[ ] 0,
0
0
1 2
1,
1
0
3 1
2 2
1 1
= ⎥⎦
⎤
⎢⎣
⎡
= − = − −
= ⎥⎦
⎤
⎢⎣
⎡
= − = − − −
b w p
b w p
T
T
26 Diterjemahkan oleh Lily W.
Gambar P4.5 Daerah Keputusan untuk Masalah P4.3
Dalam bentuk matrik kita memiliki
,
0
1
1 2
3 1
2
1 ⎥⎦
⎤
⎢⎣
⎡
= ⎥⎦
⎤
⎢⎣
⎡
−
− −
= ⎥⎦
⎤
⎢⎣
⎡
= dan b
w
w
W T
T
Yang melengkapi disain/rancangan kita.
P4.4 Pecahkan masalah klasifikasi berikut dengan aturan perceptron.
Terapkan masing-masing vektor input sebanyak pengulangan yang
diperlukan untuk memastikan bahwa masalah dapat dipecahkan. Gambar
suatu grafik dari masalah hanya setelah anda telah menemukan satu solusi.
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧ =
⎥⎦
⎤
⎢⎣
⎡−
=
⎭ ⎬ ⎫ ⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
−
=
⎭ ⎬ ⎫
⎩ ⎨ ⎧
= ⎥⎦
⎤
⎢⎣
⎡
= 1
1
1
0
2
2
1
2
1
0
2
2
1 1 2 2 3 3 4 4 p , t p , t p , t p , t
Gunakan bobot dan bias awal sbb:
W(0) = [0 0] b(0) = 0.
Kita mulai dengan menghitung output perceptron a untuk vector input yang pertama yakni p1,
menggunakan bobot dan bias awal.
27 Diterjemahkan oleh Lily W.
( ( ) ) ( )
[ ] 0 lim(0) 1
2
2
lim 0 0
lim 0 1 0
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
=
= +
hard hard
a hard W p b
Output a tidak sama dengan nilai target t1, sehingga kita menggunakan aturan perceptron untuk
menemukan bobot dan bias yang baru berdasarkan pada error.
( ) ( ) [ ] ( )[ ] [ ]
(1) (0) 0 ( 1) 1
1 0 0 0 1 2 2 2 2
0 1 1
1
1
= + = + − = −
= + = + − = − −
= − = − = −
b b e
W W ep
e t a
T
Kita sekarang menerapkan vector input yang kedua yakni p2, menggunakan bobot dan bias yang
baru (sudah diubah).
( ( ) ) ( )
[ ] 1 lim(1) 1
2
1
lim 2 2
lim 1 1 2
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦
⎤
⎢⎣
⎡
−
= − −
= +
hard hard
a hard W p b
Kali ini output a adalah sama dengan target t2. Penerapa aturan perceptron tidak akan
menghasilkan perubahan apapun.
W(2) =W(1) b(2) = b(1)
Kita sekarang menerapkan vector input ketiga.
( ( ) ) ( )
[ ] 1 lim( 1) 0
2
2
lim 2 2
lim 2 2 3
= − = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦ ⎤
⎢⎣
⎡−
= − −
= +
hard hard
a hard W p b
Output menanggapi vector input p3 adalah sama dengan target t3, sehingga tidak ada perubahan
terhadap nilai bobot maupun bias.
W(3) =W(2) b(3) = b(2)
Sekarang kita lanjutkan pada vector input yang terakhir yakni p4.
( ( ) ) ( )
[ ] 1 lim( 1) 0
1
1
lim 2 2
lim 3 3 4
= − = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
− ⎥⎦
⎤
⎢⎣
⎡−
= − −
= +
hard hard
a hard W p b
28 Diterjemahkan oleh Lily W.
Kali ini output a tidak tepat sama dengan target t4. Aturan perceptron akan menghasilkan nilai W
dan b yang baru.
( ) ( ) [ ] ( )[ ] [ ]
(4) (3) 1 (1) 0
4 3 2 2 1 1 1 3 1
1 0 1
4
4
= + = − + =
= + = − − + − = − −
= − = − =
b b e
W W ep
e t a
T
Sekarang kita harus menguji vector pertama yakni p1 kembali. Kali ini output a sama dengan
target t1.
( ( ) ) ( )
[ ] 0 lim( 8) 0
2
2
lim 3 1
lim 4 4 1
= − = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
= − −
= +
hard hard
a hard W p b
Oleh karena itu tidak ada perubahan yang terjadi.
W(5) =W(4) b(5) = b(4)
Presentasi kedua dari p2 menghasilkan dalam satu error dan oleh karena itu suatu nilai bobot dan
bias yang baru harus ditetapkan.
( ( ) ) ( )
[ ] 0 lim( 1) 0
2
1
lim 3 1
lim 5 5 2
= − = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
−
= − −
= +
hard hard
a hard W p b
Berikut ini nilai-nilai yang baru tersebut:
( ) ( ) [ ] ( )[ ] [ ]
(6) (5) 0 1 1
6 5 3 1 1 1 2 2 3
1 0 1
2
2
= + = + =
= + = − − + − = − −
= − = − =
b b e
W W ep
e t a
T
Perputaran melalui masing-masing vektor input sekali lagi menghasilkan tidak ada error.
29 Diterjemahkan oleh Lily W.
( ( ) ) ( ) [ ]
( ( ) ) ( ) [ ]
( ( ) ) ( ) [ ]
( ( ) ) ( ) [ ] 2 2
1 1
4 4
3 3
1 1
2
1
lim 6 6 lim 2 3
1 0
2
2
lim 6 6 lim 2 3
1 1
1
1
lim 6 6 lim 2 3
1 0
2
2
lim 6 6 lim 2 3
a hard W p b hard t
a hard W p b hard t
a hard W p b hard t
a hard W p b hard t
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
−
= + = − −
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡
= + = − −
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡−
= + = − −
= = ⎟
⎟⎠
⎞
⎜ ⎜⎝
⎛
+ ⎥⎦
⎤
⎢⎣
⎡−
= + = − −
Oleh karena itu algoritma telah memusat. Solusi akhir adalah:
Sekarang kita bisa membuat grafik data pelatihan dan batasan keputusan dari solusi.
Batasan keputusan diberikan oleh
2 3 1 0. 1,1 1 1,2 2 1 2 n =W + b = w p + w p + b = − p − p + = p
Untuk menemukan p2 memintas batasan keputusan, tentukan p1 = 0:
0.
3
1
3
2 1 1
1,2
= =
−
= − = − jika p
w
p b
Untuk menemukan p1 yang memintas, tentukan p2 = 0:
0.
2
1
2
1 1 2
1,1
= =
−
= − = − jika p
w
p b
Batasan keputusan yang dihasilkan digambarkan di dalam Gambar P4.6.
Gambar P4.6 Batasan Keputusan untuk Masalah P4.4
30 Diterjemahkan oleh Lily W.
Perhatikan bahwa batasan keputusan yang jatuh secara kebetulan salah satu dari vektor pelatihan.
Hal ini adalah bisa diterima, dengan mengetahui definisi masalah, karena fungsi hard limit
mengembalikan 1 ketika diberikan satu input 0, dan target untuk vektor di dalam pertanyaan
adalah tentu saja 1.
Download Materi Terkait Dari Pak Agus:
Pak ini tugas II Kecerdasan Buatan dari kelompok kami.
Kelompok AI-b-Maragam
silahkan download disini : Tugas II Kecerdasan Buatan Perceptron
