Merancang Alur Kerja Berbantuan LLM yang Dapat Diaudit untuk Analisis Tematik Kualitatif

Operasionalisasi dua fase yang menjaga privasi untuk Analisis Tematik induktif dan laten dengan kendali prosedural deterministik dan evaluasi yang divalidasi ahli

Nadia Jul Jeldtoft; Tariq Yousef· 2026· DOI 10.48550/arXiv.2608.30543

Masalah inti

Large Language Models (LLM) menawarkan kemungkinan baru untuk menskalakan analisis kualitatif, namun aplikasi yang ada sering kali memberikan transparansi metodologis yang terbatas mengenai bagaimana metode kualitatif diterjemahkan ke dalam prosedur komputasional. Makalah ini mengatasi kesenjangan tersebut dengan menyajikan operasionalisasi komputasional yang dapat diaudit dan menjaga privasi untuk Analisis Tematik (TA) induktif dan laten. Penulis berargumen bahwa menskalakan analisis kualitatif dengan LLM tidak hanya membutuhkan kinerja teknis tetapi juga akuntabilitas metodologis: peneliti harus dapat melacak bagaimana materi empiris menjadi keluaran analitis. Untuk itu, makalah ini menurunkan lima prinsip desain dari persyaratan metodologis TA dan kondisi yang diperkenalkan oleh inferensi berbasis LLM: (1) mempertahankan konteks interpretatif, (2) menjaga hubungan yang dapat dilacak antara materi empiris dan keluaran analitis, (3) merepresentasikan konstruk analitis dan penalaran secara eksplisit, (4) membatasi inferensi LLM pada tugas interpretatif, dan (5) memungkinkan penerapan lokal yang menjaga privasi. Prinsip-prinsip ini membingkai alur kerja proof-of-concept dan kerangka

Inovasi

Hasil menunjukkan bahwa alur kerja ini menghasilkan keluaran tingkat kode dengan cakupan yang secara luas sebanding dengan anotasi manusia dan justifikasi analitis yang dinilai tinggi. Dalam perbandingan struktural, alur kerja berbantuan LLM mengidentifikasi kode yang selaras dengan anotasi manusia pada tingkat yang oleh penulis dikarakterisasi sebagai secara luas sebanding, menunjukkan bahwa inferensi LLM interpretatif dapat mendekati cakupan pengodean manusia pada transkrip wawancara berbahasa Denmark yang dievaluasi. Penilaian ahli independen menilai justifikasi analitis dengan tinggi, menunjukkan bahwa artefak penalaran eksplisit yang dihasilkan oleh alur kerja ini kredibel secara metodologis. Namun, alur kerja ini menghasilkan struktur tematik yang lebih terkompresi yang dicirikan oleh tema yang lebih sedikit dan lebih luas daripada TA yang dipimpin manusia. Kompresi ini merupakan temuan yang patut dicatat: meskipun cakupan tingkat kode sebanding, agregasi menjadi tema berbeda dalam granularitas. Penulis tidak membingkainya sebagai kegagalan tetapi sebagai karakteristik alur kerja yang mungkin memerlukan penyetelan khusus domain. Evaluasi ini menunjukkan kelayakan TA berbantua

Large Language Models (LLM) menawarkan kemungkinan baru untuk menskalakan analisis kualitatif, namun aplikasi yang ada sering kali memberikan transparansi metodologis yang terbatas mengenai bagaimana metode kualitatif diterjemahkan ke dalam prosedur komputasional. Makalah ini mengatasi kesenjangan tersebut dengan menyajikan operasionalisasi komputasional yang dapat diaudit dan menjaga privasi untuk Analisis Tematik (TA) induktif dan laten. Penulis berargumen bahwa menskalakan analisis kualitatif dengan LLM tidak hanya membutuhkan kinerja teknis tetapi juga akuntabilitas metodologis: peneliti harus dapat melacak bagaimana materi empiris menjadi keluaran analitis. Untuk itu, makalah ini menurunkan lima prinsip desain dari persyaratan metodologis TA dan kondisi yang diperkenalkan oleh inferensi berbasis LLM: (1) mempertahankan konteks interpretatif, (2) menjaga hubungan yang dapat dilacak antara materi empiris dan keluaran analitis, (3) merepresentasikan konstruk analitis dan penalaran secara eksplisit, (4) membatasi inferensi LLM pada tugas interpretatif, dan (5) memungkinkan penerapan lokal yang menjaga privasi. Prinsip-prinsip ini membingkai alur kerja proof-of-concept dan kerangka evaluasi selanjutnya. Studi ini diposisikan sebagai demonstrasi kelayakan daripada tolok ukur, dengan menekankan modularitas, auditabilitas, dan transferabilitas lintas domain penelitian.

Makalah ini menyajikan proof-of-concept untuk alur kerja dua fase yang mengoperasionalkan lima prinsip desain dengan menggabungkan inferensi LLM interpretatif dan kendali prosedural deterministik. Alur kerja ini menghasilkan kode, justifikasi analitis, tema, dan deskripsi tema sambil mempertahankan tautan eksplisit ke materi sumber. Fase 1 berfokus pada pembuatan kode: LLM dibatasi pada tugas interpretatif, menghasilkan kode kandidat dan justifikasi yang ditambatkan pada segmen transkrip tertentu. Fase 2 berfokus pada konstruksi tema: kendali prosedural deterministik mengagregasi dan mengorganisasi kode menjadi tema dan deskripsi tema, memastikan penalaran analitis tetap eksplisit dan dapat dilacak. Arsitekturnya dapat direpresentasikan sebagai berikut:

Mengapa penting

Pembahasan menafsirkan temuan melalui lensa lima prinsip desain. Pertama, mempertahankan konteks interpretatif dicapai dengan menambatkan kode dan justifikasi pada segmen transkrip, yang mendukung auditabilitas. Kedua, hubungan yang dapat dilacak antara materi empiris dan keluaran analitis dipertahankan melalui tautan eksplisit, memungkinkan peneliti memeriksa bagaimana tema muncul. Ketiga, merepresentasikan konstruk analitis dan penalaran secara eksplisit diwujudkan melalui justifikasi analitis dan deskripsi tema, yang dinilai tinggi oleh penilai ahli. Keempat, membatasi inferensi LLM pada tugas interpretatif dan mendelegasikan kendali prosedural kepada mekanisme deterministik mengurangi risiko penyimpangan generatif yang tidak dapat dipertanggungjawabkan. Kelima, penerapan lokal yang menjaga privasi mengatasi kekhawatiran etis dan perlindungan data yang melekat dalam penelitian kualitatif dengan materi sensitif. Struktur tematik yang lebih terkompresi—tema yang lebih sedikit dan lebih luas—menunjukkan adanya trade-off antara skalabilitas dan granularitas tematik. Penulis mengusulkan bahwa adaptasi domain terutama memerlukan penyesuaian strategi prompting, yang menurunkan hambatan untuk transfer lintas domain penelitian. Kerangka evaluasi yang menggabungkan perbandingan struktural dengan TA yang dipimpin manusia dan penilaian ahli independen menawarkan templat untuk memvalidasi alur kerja kualitatif berbantuan LLM. Makalah ini menyimpulkan bahwa TA berbantuan LLM yang dapat diaudit adalah layak, tetapi transparansi metodologis harus dirancang sejak awal daripada ditambahkan setelahnya. Alur kerja modular ini diposisikan sebagai fondasi untuk menskalakan analisis kualitatif sambil mempertahankan ketelitian interpretatif yang mendefinisikan TA.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…