Image Captioning模型训练与评估结果对比

Sep 3, 2026

Unggah oleh Sage

Dokumen ini merangkum perbandingan beberapa model untuk tugas image captioning, termasuk arsitektur InceptionV3, Xception, dan EfficientNetV2S serta pendekatan berbasis LSTM/GRU (LSTM, GRU, Bi-LSTM, Bi-GRU). Disajikan metrik ukuran model, waktu ekstraksi, performa pada fase training dan validation (loss, akurasi, best loss, best acc), serta kualitas teks yang dihasilkan menggunakan BLEU-1 sampai BLEU-4 dan Meteor. Bagian contoh menampilkan caption prediksi vs caption target untuk kasus terbaik, terburuk, dan pilihan acak, menunjukkan variasi ketepatan deskripsi.

BahasaIndonesian

KategoriPresentasi

FormatPDF

Halaman12

Waktu Membaca4 mnt

AksesGratis untuk diunduh

Daftar Isi

Model dan ukuran

Perbandingan arsitektur

Pelatihan dan validasi

Loss dan akurasi

Kualitas caption

BLEU dan Meteor

Contoh prediksi

Best score, worst score, dan random choice

| Model | Size (MB) | Parameters (M) | Input size | Output size | Extraction time | | --- | --- | --- | --- | --- | --- | | InceptionV3 | 96.1 | 21.8 | 299 x 299 x 3 | 2048 | 8 min 7s | | Xception | 91.8 | 20.8 | 299 x 299 x 3 | 2048 | 7 min 5s | | EfficientNetV2S | 87.5 | 20.3 | 384 x 384 x 3 | 1280 | 9 min 30s | | Model | Training | | Validation | | | | | --- | --- | --- | --- | --- | --- | --- | | | Loss | Acc | Val Loss | Val Acc | Best Loss | Best Acc | | InceptionV3 | 1.1549 | 0.6651 | 7.3334 | 0.2642 | 4.7718 | 0.2802 | | Xception | 0.8460 | 0.7500 | 7.2090 | 0.2164 | 4.8841 | 0.2735 | | EfficientNetV2S | 0.5043 | 0.8293 | 6.6415 | 0.2828 | 4.6918 | 0.3227 | | Model | BLEU | | | | Meteor | | --- | --- | --- | --- | --- | --- | | | B1 | B2 | B3 | B4 | | | InceptionV3 | 0.3459 | 0.1608 | 0.1112 | 0.0559 | 0.2508 | | Xception | 0.3934 | 0.1980 | 0.1396 | 0.0727 | 0.2834 | | EfficientNetV3S | 0.4721 | 0.2847 | 0.2125 | 0.1224 | 0.3624 | | Model | Training | | Validation | | | | | --- | --- | --- | --- | --- | --- | --- | | | loss | acc | val loss | val acc | best loss | best acc | | LSTM | 0,7415 | 0,7503 | 6,2567 | 0,2988 | 4,7971 | 0,3252 | | GRU | 0,5043 | 0,8293 | 6,6415 | 0,2828 | 4,6918 | 0,3227 | | Bi-LSTM | 0,8072 | 0,7302 | 6,1327 | 0,3015 | 4,8809 | 0,3253 | | Bi-GRU | 0,6287 | 0,7852 | 6,6776 | 0,2882 | 4,7034 | 0,3293 | | Model | BLEU | | | | Meteor | | --- | --- | --- | --- | --- | --- | | | B1 | B2 | B3 | B4 | | | LSTM | 0.4600 | 0.2761 | 0.2052 | 0.1174 | 0.3618 | | GRU | 0.4721 | 0.2847 | 0.2125 | 0.1224 | 0.3624 | | Bi-LSTM | 0.4687 | 0.2815 | 0.2104 | 0.1229 | 0.3596 | | Bi-GRU | 0.4714 | 0.2912 | 0.2207 | 0.1292 | 0.3648 | | Model | Training | | Validation | | | | Time/ epoch (s) | | --- | --- | --- | --- | --- | --- | --- | --- | | | loss | acc | val loss | val acc | best loss | best acc | | | 117 | 0.6287 | 0.7852 | 6.6776 | 0.2882 | 4.7034 | 0.3293 | 16 | | 256 | 0.6873 | 0.7726 | 6.5999 | 0.3099 | 4.5578 | 0.3089 | 36 | | 512 | 0.9137 | 0.7120 | 6.1890 | 0.2976 | 4.2148 | 0.3104 | 71 | | 1024 | 1.3186 | 0.6177 | 5.2130 | 0.3016 | 3.8268 | 0.3169 | 141 | | 2048 | 1.7510 | 0.5330 | 4.3817 | 0.3241 | 0.3555 | 0.3363 | 254 | | 4096 | 2.2066 | 0.4527 | 3.6821 | 0.3528 | 3.3398 | 0.3580 | 574 | | 6000 | 2.4194 | 0.4232 | 3.5041 | 0.3513 | 3.2450 | 0.3585 | 847 | | No | Image, BLEU-1 and Meteor Score | Predicted and Target Caption | | --- | --- | --- | | 1 |
Best Score:
BLEU-1 = 1.0, Meteor = 0.9609 | Predicted caption:
seorang anak laki-laki bermain di slide merah Target caption:
1. seorang anak di slide merah
2. seorang anak laki-laki duduk di seluncuran ditaman bermain
3. seorang anak lelaki menggeser slide pembuka botol berwarna merah cerah
4. seorang anak laki-laki menggeser slide merah
5. seorang anak lelaki mengenakan pakaian biru meluncur turun slide merah | | 2 |
Worst score:
BLEU-1 = 0.0811, Meteor = 0. 2701 | Predicted caption:
seorang anak melarikan diri melarikan dirimelarikan diri melarikan diri melarikan diri
melarikan diri melarikan diri melarikan diri
melarikan diri melarikan diri melarikan diri
melarikan diri melarikan diri melarikan diri
melarikan diri melarikan diri melarikan diri Target caption:
1. seorang anak laki-laki menendang tumpukandaun
2. seorang anak laki-laki dengan kemeja birumenendang daun mati dari tumpukan daun
3. seorang anak dengan atasan biru melompat ke tumpukan daun di depan pohon
4. seorang bocah lelaki berbaju biru berlari melewati tumpukan daun cokelat
5. seorang anak lelaki berdiri dengan kakiterangkat di tumpukan besar daun | | 3 |
Random image choice:
BLEU-1 = 0. 7118, Meteor = 0. 5512 | Predicted caption:
seekor anjing cokelat dan putih bermain tenis Target caption:
1. seekor anjing besar berdiri di atas kakinya ketika bola tenis dilemparkan ke arahnya
2. seekor anjing cokelat dan putih di depangubuk kewalahan oleh serangan bola tenis
3. seekor anj

Pertanyaan Umum

Model apa saja yang dibandingkan untuk image captioning?

InceptionV3, Xception, dan EfficientNetV2S dibandingkan untuk model utama, serta LSTM, GRU, Bi-LSTM, dan Bi-GRU untuk pendekatan sekuensial.

Metrik apa yang digunakan untuk menilai kualitas caption yang dihasilkan?

Kualitas caption dinilai menggunakan BLEU (B1 sampai B4) dan Meteor, dengan membandingkan caption prediksi terhadap caption target.

Apa yang ditunjukkan pada bagian contoh terbaik, terburuk, dan pilihan acak?

Bagian tersebut menampilkan caption prediksi dan caption target untuk contoh best score, worst score, serta random image choice, sehingga terlihat perbedaan tingkat akurasi deskripsi gambar.

Sep 3, 2026

Unggah oleh Sage