Editorial ilmu komputer
Open AccessOA2026
Model Bahasa Besar Multimodal Offline untuk Dukungan Keputusan dalam Operasi Udara
Arsitektur retrieval-augmented modular untuk lingkungan terisolasi, dengan studi percontohan tentang penilaian pengetahuan doktrin dan beban kerja kognitif di Angkatan Udara Brasil
Joao P. A. Dantas; Jelton A. Cunha; Gabriel Dietzsch· 2026· DOI 10.48550/arXiv.2609.21390
Masalah inti
Operasi udara menuntut pengambilan keputusan yang cepat dan akurat di bawah aturan yang kompleks, prosedur yang telah ditetapkan, dan kondisi yang kritis terhadap waktu. Analis sering beroperasi di lingkungan dengan konektivitas terbatas dan batasan keamanan yang ketat, tempat sumber daya komputasi eksternal tidak tersedia. Mereka harus memadukan doktrin tertulis dengan citra, sering kali hanya mengandalkan pengetahuan lokal dan proses manual. Makalah ini menyelidiki model bahasa besar (LLM) offline sebagai alat dukungan keputusan yang digunakan di lingkungan terisolasi dan terbatas. Tujuannya adalah memberi analis akses bahasa alami ke pengetahuan doktrin yang tetap dapat dilacak ke sumber aslinya. Penulis berfokus pada arsitektur retrieval-augmented modular yang beroperasi tanpa konektivitas internet dan mendukung masukan teks maupun gambar dari manual teknis. Sebagai evaluasi awal, mereka melakukan studi percontohan dengan empat analis citra dari Angkatan Udara Brasil, yang menilai pengetahuan doktrin dan beban kerja kognitif. Studi ini membandingkan kinerja manusia dan sistem pada tes identifikasi target elektronik serta mengukur tuntutan mental dalam menyusun laporan target pe
Inovasi
Studi percontohan menghasilkan data kuantitatif tentang kinerja dan beban kerja kognitif. Pada penilaian pengetahuan doktrin, sistem yang diusulkan memperoleh skor 8/10, menyamai rata-rata skor manusia 8/10. Namun, sistem menyelesaikan penilaian dalam 7,1 menit, dibandingkan rata-rata manusia 26,5 menit, yang berarti pengurangan waktu signifikan. Pengukuran beban kerja kognitif untuk laporan REMIR manual menunjukkan tuntutan mental yang tinggi, dengan skor rata-rata 6,0/7, dan usaha yang tinggi, dengan skor rata-rata 5,0/7. Nilai-nilai ini menunjukkan bahwa tugas manual itu menuntut, terutama dari segi tuntutan mental dan usaha. Kemampuan sistem menyamai akurasi manusia sekaligus memangkas drastis waktu penyelesaian menegaskan potensinya sebagai alat dukungan keputusan. Hasilnya dirangkum dalam Tabel 1 (tidak ditampilkan). Faktor pengurangan waktu sekitar , yang menunjukkan sistem hampir empat kali lebih cepat daripada manusia pada tugas ini. Skor beban kerja kognitif menegaskan potensi bantuan AI untuk meringankan beban mental dalam operasi udara yang kritis terhadap waktu.
Operasi udara menuntut pengambilan keputusan yang cepat dan akurat di bawah aturan yang kompleks, prosedur yang telah ditetapkan, dan kondisi yang kritis terhadap waktu. Analis sering beroperasi di lingkungan dengan konektivitas terbatas dan batasan keamanan yang ketat, tempat sumber daya komputasi eksternal tidak tersedia. Mereka harus memadukan doktrin tertulis dengan citra, sering kali hanya mengandalkan pengetahuan lokal dan proses manual. Makalah ini menyelidiki model bahasa besar (LLM) offline sebagai alat dukungan keputusan yang digunakan di lingkungan terisolasi dan terbatas. Tujuannya adalah memberi analis akses bahasa alami ke pengetahuan doktrin yang tetap dapat dilacak ke sumber aslinya. Penulis berfokus pada arsitektur retrieval-augmented modular yang beroperasi tanpa konektivitas internet dan mendukung masukan teks maupun gambar dari manual teknis. Sebagai evaluasi awal, mereka melakukan studi percontohan dengan empat analis citra dari Angkatan Udara Brasil, yang menilai pengetahuan doktrin dan beban kerja kognitif. Studi ini membandingkan kinerja manusia dan sistem pada tes identifikasi target elektronik serta mengukur tuntutan mental dalam menyusun laporan target pengintaian (Relatório de Missão de Reconhecimento - REMIR) secara manual tanpa bantuan AI. Hasilnya menetapkan garis dasar untuk evaluasi berbantuan AI di masa depan dan menjadi dasar protokol yang diusulkan untuk perbandingan sistematis alur kerja manual dan berbantuan AI.
Arsitektur yang diusulkan adalah sistem retrieval-augmented generation (RAG) modular yang dirancang untuk operasi offline. Sistem ini memadukan basis pengetahuan lokal berisi dokumen doktrin dan manual teknis, LLM multimodal yang mampu memproses teks dan gambar, serta komponen retrieval yang mengambil bagian relevan untuk mendasari respons model. Sistem menjamin ketertelusuran dengan menautkan jawaban yang dihasilkan ke dokumen sumber. Studi percontohan melibatkan empat analis citra dari Angkatan Udara Brasil. Dua penilaian dilakukan: (i) penilaian pengetahuan doktrin berdasarkan doktrin identifikasi target elektronik, tempat manusia dan sistem mengerjakan tes yang sama; dan (ii) pengukuran beban kerja kognitif menggunakan kuesioner NASA-TLX selama penyusunan laporan REMIR secara manual tanpa bantuan AI. Kinerja sistem dievaluasi pada tes yang sama, dan waktu penyelesaian dicatat. Studi ini bertujuan menetapkan garis dasar untuk perbandingan di masa depan. Arsitektur digambarkan pada Gambar 1 (tidak ditampilkan), dan proses retrieval dapat diformalkan sebagai: diberikan kueri dan basis pengetahuan
, ambil top- dokumen yang memaksimalkan kemiripan , lalu hasilkan respons
. Sistem beroperasi sepenuhnya offline, menjamin keamanan dan ketersediaan data di lingkungan yang terputus.
Mengapa penting
Temuan ini menunjukkan bahwa LLM multimodal offline dapat secara efektif mendukung pengambilan keputusan dalam operasi udara dengan menyediakan akses cepat dan akurat ke pengetahuan doktrin. Kinerja sistem yang menyamai analis manusia pada tes identifikasi target, disertai pengurangan waktu penyelesaian yang substansial, menunjukkan potensinya untuk meningkatkan efisiensi operasional. Beban kerja kognitif yang tinggi pada penyusunan laporan manual semakin menjustifikasi kebutuhan akan bantuan AI. Namun, studi percontohan ini memiliki batasan: ukuran sampel yang kecil (empat analis) dan fokus pada satu doktrin dan tugas. Pekerjaan selanjutnya mencakup protokol evaluasi sistematis untuk membandingkan alur kerja manual dan berbantuan AI pada skenario yang lebih luas. Arsitektur RAG modular menjamin ketertelusuran, yang krusial untuk kepercayaan dan verifikasi dalam konteks militer. Kemampuan offline mengatasi batasan keamanan dan konektivitas, sehingga sistem cocok untuk lingkungan terisolasi. Integrasi masukan multimodal memungkinkan analis menanyakan teks dan gambar sekaligus, sejalan dengan kebutuhan memadukan doktrin tertulis dengan citra. Arsitektur yang diusulkan dapat diperluas ke domain lain yang membutuhkan dukungan keputusan offline yang aman. Studi percontohan ini menetapkan garis dasar untuk evaluasi berbantuan AI di masa depan, dan penulis berencana melakukan uji coba yang lebih luas untuk memvalidasi efektivitas dan kegunaan sistem. Hasilnya berkontribusi pada penelitian yang berkembang tentang penerapan LLM di lingkungan terbatas dan menegaskan pentingnya kolaborasi manusia-AI dalam pengambilan keputusan berisiko tinggi.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…