Editorial Ilmu Komputer & AI
Open AccessOA2024
Analisis Kualitas Dokimologis Soal Pilihan Ganda yang Dihasilkan LLM di Bidang Ilmu Komputer dan Kedokteran
Penelitian ini menganalisis kualitas dokimologis soal pilihan ganda yang dihasilkan oleh model bahasa besar di bidang ilmu komputer dan kedokteran, dan menemukan bahwa meskipun LLM dapat menghasilkan soal secara efisien, soal yang dihasilkan sering ambigu atau tidak masuk akal sehingga memerlukan pengawasan manusia.
Christian Grévisse; M. A. Pavlou; Jochen G Schneider· SN Computer Science· 2024· DOI 10.1007/s42979-024-02963-6
Masalah inti
Asesmen adalah komponen penting dalam pendidikan, baik bagi guru dalam mengevaluasi siswa maupun bagi pembelajar dalam menilai diri sendiri. Soal pilihan ganda (MCQ) banyak digunakan, terutama di pendidikan kedokteran, karena dapat dinilai secara otomatis dan mencakup banyak butir pembelajaran. Namun, menyusun butir MCQ berkualitas tinggi memakan waktu. Kemunculan Large Language Model (LLM) seperti GPT mendorong minat pada automatic question generation (AQG). Meski demikian, memastikan soal yang dihasilkan sesuai dengan praktik terbaik penulisan butir MCQ sangat penting untuk kualitas dokimologis. Artikel ini mengusulkan analisis kualitas MCQ yang dihasilkan LLM di dua domain: ilmu komputer dan kedokteran. Di ilmu komputer, tiga layanan berbasis GPT digunakan untuk menghasilkan MCQ. Di kedokteran, sebuah plugin untuk sistem manajemen pembelajaran Moodle dikembangkan untuk menghasilkan MCQ dari materi pembelajaran. MCQ yang dihasilkan dibandingkan dengan pedoman umum penulisan butir pilihan ganda. Tantangan utama yang teridentifikasi meliputi kecenderungan LLM membuat butir yang cakupannya terlalu luas dengan kunci jawaban ambigu atau pengecoh yang tidak masuk akal, serta kebutuhan akan pengawasan manusia untuk memastikan keselarasan instruksional. Solusi bagi pengembang AQG diusulkan.
Inovasi
Penelitian ini menggunakan pendekatan zero-shot di dua domain. Di ilmu komputer, tiga layanan berbasis GPT digunakan untuk menghasilkan MCQ. Di kedokteran, sebuah plugin untuk sistem manajemen pembelajaran Moodle dikembangkan untuk menghasilkan MCQ berdasarkan materi pembelajaran. MCQ yang dihasilkan kemudian dievaluasi terhadap pedoman penulisan butir pilihan ganda yang mapan. Evaluasi berfokus pada kualitas dokimologis, yang mencakup validitas, reliabilitas, dan keadilan butir asesmen. Perbandingan melibatkan pemeriksaan masalah umum seperti kunci jawaban ambigu, pengecoh yang tidak masuk akal, dan keselarasan instruksional. Metodologi ini tidak melibatkan fine-tuning atau few-shot learning; penelitian hanya mengandalkan generasi zero-shot untuk menilai kemampuan LLM secara out-of-the-box.
Pendahuluan
Asesmen adalah komponen penting dalam pendidikan, baik bagi guru dalam mengevaluasi siswa maupun bagi pembelajar dalam menilai diri sendiri. Soal pilihan ganda (MCQ) banyak digunakan, terutama di pendidikan kedokteran, karena dapat dinilai secara otomatis dan mencakup banyak butir pembelajaran. Namun, menyusun butir MCQ berkualitas tinggi memakan waktu. Kemunculan Large Language Model (LLM) seperti GPT mendorong minat pada automatic question generation (AQG). Meski demikian, memastikan soal yang dihasilkan sesuai dengan praktik terbaik penulisan butir MCQ sangat penting untuk kualitas dokimologis. Artikel ini mengusulkan analisis kualitas MCQ yang dihasilkan LLM di dua domain: ilmu komputer dan kedokteran. Di ilmu komputer, tiga layanan berbasis GPT digunakan untuk menghasilkan MCQ. Di kedokteran, sebuah plugin untuk sistem manajemen pembelajaran Moodle dikembangkan untuk menghasilkan MCQ dari materi pembelajaran. MCQ yang dihasilkan dibandingkan dengan pedoman umum penulisan butir pilihan ganda. Tantangan utama yang teridentifikasi meliputi kecenderungan LLM membuat butir yang cakupannya terlalu luas dengan kunci jawaban ambigu atau pengecoh yang tidak masuk akal, serta kebutuhan akan pengawasan manusia untuk memastikan keselarasan instruksional. Solusi bagi pengembang AQG diusulkan.
Mengapa penting
Temuan ini menegaskan perlunya pengawasan manusia dalam proses AQG. Meskipun LLM dapat membantu menghasilkan MCQ dengan lebih efisien, LLM belum dapat menggantikan keahlian manusia dalam menyusun butir berkualitas tinggi. Tantangan yang teridentifikasi—kunci jawaban ambigu, pengecoh yang tidak masuk akal, dan kurangnya keselarasan instruksional—sangat penting bagi kualitas dokimologis. Penulis mengusulkan solusi bagi pengembang AQG, seperti memasukkan pedoman ke dalam proses generasi, menggunakan fine-tuning dengan data spesifik domain, dan menerapkan validasi pasca-generasi. Penelitian ini juga menyoroti pentingnya menyelaraskan butir yang dihasilkan dengan konten mata kuliah, yang memerlukan pertimbangan manusia. Penelitian selanjutnya harus mengeksplorasi pendekatan hibrida yang menggabungkan generasi LLM dengan tinjauan manusia untuk memastikan kualitas. Penulis menyimpulkan bahwa LLM adalah alat yang menjanjikan untuk AQG tetapi memerlukan integrasi yang cermat ke dalam alur kerja asesmen pendidikan.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten member…