Sistemasi - Optimasi Fine-Tuning IndoBERT-Lite untuk Deteksi Spam pada Layanan Pelanggan Digital - Volume 15 Nomor 5 2026

Sep 11, 2026

Diunggah oleh Violet

Sistem moderasi teks otomatis pada platform layanan publik sering kali dieksploitasi oleh teks spam calo manipulatif yang menawarkan jasa keuangan ilegal. Penelitian ini merancang dan mengoptimalkan model NLP berbasis IndoBERT-Lite untuk membedakan keluhan organik pengguna dan komentar manipulatif calo. Metodologi menekankan deduplikasi data ekstrem, menyaring 55.156 rekaman mentah menjadi dataset seimbang 4.626 sampel unik. Pelatihan dioptimalkan dengan Gradient Accumulation dan Early Stopping untuk mencegah kebocoran data dan overfitting, menghasilkan akurasi serta F1-score 98% pada data uji tak terlihat.

BahasaIndonesian

KategoriPresentasi

FormatPDF

Halaman14

Waktu Membaca5 mnt

AksesGratis untuk diunduh

Daftar Isi

Abstrak

Kata Kunci

1 Pendahuluan

2 Tinjauan Literatur

3 Metode Penelitian

Sistemasi: Jurnal Sistem Informasi ISSN:2302-8149 Volume 15, Nomor 5, 2026: 1886-1899 e-ISSN:2540-9719 Optimasi Fine-Tuning IndoBERT-Lite untukDeteksi Spam pada Layanan Pelanggan Digital Optimization ofIndoBERT-Lite Fine-Tuning for Spam Detection in Digital Customer Services 1Farouq Mulya Al Simabua*, 2Lathifah Alfat 1,2Program Studi Informatika, Fakultas Teknologi dan Desain, Universitas Pembangunan Jaya 1,2Jl. Boulevard UPJ, Bintaro Jaya, Kec. Ciputat, Kota Tangerang Selatan, Banten 15413 , Indonesia *[e-mail:](e-mail: farouqsimabua@gmail.com)[ f](e-mail: farouqsimabua@gmail.com)[arouqsimabua@gmail.com](e-mail: farouqsimabua@gmail.com) (received: 7 May 2026, revised: 15 May 2026, accepted: 16 May 2026) Abstrak Sistem moderasi teks otomatis pada platform layanan publik sering kali dieksploitasi oleh teks spam calo manipulatif yang menawarkan jasa keuangan ilegal. Penelitian klasifikasi teks terdahulu sering memprioritaskan metrik akurasi tinggi namun mengabaikan dampak kebocoran data (data leakage) akibat template spam yang berulang, sebuah kecacatan metodologi yang memicu overfitting parahpada model. Penelitian ini bertujuan merancang dan mengoptimalkan model Natural Language Processing (NLP) menggunakan arsitektur IndoBERT-Lite untuk membedakan keluhan organik pengguna dan komentar manipulatif calo. Metodologi yang diusulkan berfokus pada deduplikasi data ekstrem, menyaring 55.156 rekaman mentah menjadi dataset seimbang berisi 4.626 sampel unik (57,1% organik, 42,9% spam) . Proses pelatihan dioptimalkan menggunakan Gradient Accumulation dan Early Stopping guna memastikan kemampuan generalisasi yang sesungguhnya. Hasil evaluasi menunjukkan bahwa model yang dioptimalkan berhasil memitigasi overfitting awal, mencapai tingkatakurasi dan F1-score sebesar 98% terhadap himpunan data pengujian baru (unseen data) . Hasil risettersebut memberikan solusi moderasi otomatis yang andal dan bebas dari kebocoran data untuk sistem layanan pelanggan digital internal. Kata kunci: klasifikasi teks, kebocoran data, IndoBERT-Lite, moderasi otomatis, spam calo Abstract Automated text moderation systems on public service platforms are often exploited by manipulative spam messages from brokers offering illegal financial services. Previous text classification studies have frequently prioritized high accuracy metrics while overlooking the impact of data leakage caused by repetitive spam templates, a methodological flaw that can lead to severe model overfitting. This study aims to design and optimize a Natural Language Processing (NLP) model using the IndoBERT-Lite architecture to distinguish between organic user complaints and manipulative brokergenerated comments. The proposed methodology focuses on extreme data deduplication, reducing 55,156 raw records into a balanced dataset containing 4,626 unique samples (57. 1% organic and 42.9% spam). The training process was optimized using Gradient Accumulation and Early Stopping to ensure genuine model generalization capability. The evaluation results demonstrate that the optimized model successfully mitigated the initial overfitting problem, achieving both accuracy and F1-score values of 98% on unseen test data. These findings provide a reliable and data leakage–free automated moderation solution for internal digital customer service systems. Keywords: broker spam, data leakage, early stopping, IndoBERT-Lite, Text classification 1 Pendahuluan Eksploitasi ruang diskusi publik pada platform layanan pelanggan digital oleh oknum calo (broker spam) kini telah berkembang menjadi ancaman serius terhadap privasi masyarakat dankredibilitas instansi jaminan sosial seperti BPJS Ketenagakerjaan. Kanal resmi yang sejatinyadiperuntukkan bagi keluhan organik peserta sering kali dibanjiri oleh penawaran jasa ilegal. Teks manipulatif ini dirancang dengan pola bahasa dinamis, memanfaatkan singkatan, dan memodifikasi [http://sistemasi.ftik.unisi.ac.id](http://sistemasi.ftik.unisi.ac.id)

Pertanyaan Umum

Penelitian ini membahas masalah apa pada sistem moderasi teks otomatis?

Penelitian membahas eksploitasi sistem moderasi oleh spam calo manipulatif serta dampak kebocoran data (data leakage) dari template spam yang berulang, yang dapat memicu overfitting parah.

Bagaimana model IndoBERT-Lite digunakan untuk klasifikasi pada penelitian ini?

Model IndoBERT-Lite fine-tuning digunakan untuk membedakan keluhan organik pengguna dan komentar manipulatif calo. Prosesnya memakai strategi deduplikasi ekstrem agar data lebih representatif.

Metode apa yang digunakan untuk meningkatkan generalisasi dan mengurangi overfitting?

Pelatihan dioptimalkan dengan Gradient Accumulation dan Early Stopping, sehingga model dapat mengurangi overfitting awal dan menjaga kemampuan generalisasi pada unseen data.

Sep 11, 2026

Diunggah oleh Violet