Editorial Teknik & Rekayasa
Open AccessOA2025
Analisis semantik dan leksikal model kecerdasan buatan vision language terlatih untuk deskripsi gambar otomatis di bidang teknik sipil
Penelitian ini mengevaluasi model vision-language terlatih, khususnya ChatGPT-4v, untuk mendeskripsikan gambar teknik sipil tanpa fine-tuning. Hasilnya menunjukkan rata-rata kemiripan semantik sebesar 76% dibandingkan deskripsi manusia, dengan performa lebih baik pada dataset publik.
Pedram Bazrafshan; Kris Melag; A. Ebrahimkhanlouยท AI in Civil Engineeringยท 2025ยท DOI 10.1007/s43503-025-00063-9
Masalah inti
Makalah ini membahas penerapan Vision-Language Model (VLM) terlatih untuk mendeskripsikan gambar material dan lokasi konstruksi teknik sipil, dengan fokus pada komponen konstruksi, elemen struktural, dan material. Kebaruan penelitian ini terletak pada penyelidikan VLM untuk domain khusus tersebut, yang belum pernah dibahas sebelumnya. Sebagai studi kasus, penulis mengevaluasi kemampuan ChatGPT-4v sebagai alat pendeskripsi dengan membandingkan performanya terhadap tiga deskripsi manusia (seorang insinyur sipil dan dua magang teknik). Kontribusinya mencakup adaptasi VLM terlatih untuk aplikasi teknik sipil tanpa fine-tuning tambahan dan pengukuran performanya menggunakan analisis kemiripan semantik (SentenceTransformers) serta metode kemiripan leksikal.
Inovasi
Penelitian ini menggunakan dua dataset: satu dari repositori daring yang tersedia untuk publik dan satu lagi yang dikumpulkan secara manual oleh penulis. Evaluasi menggunakan analisis kemiripan seluruh teks dan pasangan kalimat untuk menilai keselarasan model dengan deskripsi manusia. Kemiripan semantik diukur menggunakan SentenceTransformers, sementara metode kemiripan leksikal juga diterapkan. Deskripsi manusia menjadi tolok ukur perbandingan. VLM (ChatGPT-4v) digunakan secara out-of-the-box tanpa fine-tuning khusus domain. Analisis membandingkan deskripsi model dengan deskripsi seorang insinyur sipil dan dua magang teknik.
Pendahuluan
Makalah ini membahas penerapan Vision-Language Model (VLM) terlatih untuk mendeskripsikan gambar material dan lokasi konstruksi teknik sipil, dengan fokus pada komponen konstruksi, elemen struktural, dan material. Kebaruan penelitian ini terletak pada penyelidikan VLM untuk domain khusus tersebut, yang belum pernah dibahas sebelumnya. Sebagai studi kasus, penulis mengevaluasi kemampuan ChatGPT-4v sebagai alat pendeskripsi dengan membandingkan performanya terhadap tiga deskripsi manusia (seorang insinyur sipil dan dua magang teknik). Kontribusinya mencakup adaptasi VLM terlatih untuk aplikasi teknik sipil tanpa fine-tuning tambahan dan pengukuran performanya menggunakan analisis kemiripan semantik (SentenceTransformers) serta metode kemiripan leksikal.
Mengapa penting
Temuan ini menunjukkan bahwa VLM terlatih seperti ChatGPT-4v dapat digunakan secara efektif untuk deskripsi gambar otomatis di bidang teknik sipil tanpa fine-tuning tambahan, dengan mencapai tingkat kemiripan yang wajar terhadap deskripsi manusia. Performa yang lebih baik pada dataset publik mengindikasikan bahwa karakteristik dataset memengaruhi performa model. Penelitian ini menyoroti potensi VLM untuk mengotomatiskan dokumentasi gambar di bidang teknik sipil, tetapi juga mencatat batasan dan kebutuhan akan penyempurnaan lebih lanjut. Penulis membahas implikasi bagi praktik dan arah penelitian mendatang, termasuk potensi fine-tuning dan perluasan dataset.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten memberโฆ