Editorial ilmu komputer
Open AccessOA2026
Engine-Transfer-Bench: Tolok Ukur Berbasis Bukti untuk Pemilihan Mesin Kompilasi Dokumen
Harness yang dipin dan ditandai host untuk membandingkan backend PDF pdfLaTeX, XeLaTeX, LuaLaTeX, Tectonic, Typst, dan pandoc pada keandalan, latensi, konsistensi teks, dan mode kegagalan
Prajwal S. Venkateshmurthyยท 2026ยท DOI 10.48550/arXiv.2608.18329
Masalah inti
Memilih mesin kompilasi dokumen adalah keputusan infrastruktur yang berulang bagi peneliti, penerbit, dan pemelihara CI/CD, namun belum ada kerangka kerja bersama untuk membandingkan backend PDF pdfLaTeX, XeLaTeX, LuaLaTeX, Tectonic, Typst, dan pandoc. Makalah ini mengidentifikasi celah tersebut dan memperkenalkan **Engine-Transfer-Bench (ETB)**, tolok ukur berbasis bukti yang dibangun dari **1.784 dokumen terbuka**, empat tugas yang mencakup keandalan, latensi, konsistensi teks, dan kegagalan, harness yang dipin, serta hasil multi-OS yang ditandai host. Pertanyaan utamanya bukan sekadar mesin mana yang tercepat, melainkan mesin mana yang berperilaku dapat diprediksi ketika dokumen berpindah antar sistem operasi dan distribusi paket. ETB dirilis bersama **ETB-Porta**, sebuah pemberi rekomendasi dan gerbang portabilitas, serta harness lintas-OS publik sebagai infrastruktur bersama. Desain tolok ukur ini memperlakukan kompilasi sebagai masalah sistem yang dapat direproduksi: dokumen yang sama, harness yang sama, dan tag host yang sama seharusnya menghasilkan bukti yang sebanding. Kerangka ini penting karena pemilihan mesin sering dilakukan berdasarkan pengalaman anekdotal atau penguj
Inovasi
Hasil utamanya adalah kontras tajam antar keluarga mesin. Pada GitHub Actions, **keberhasilan Tectonic stabil dalam 0,9 poin persentase (96,3-97,2%)** di macOS, Ubuntu, dan Windows. Sebaliknya, **mesin bergaya TeX Live klasik bervariasi 12-20 poin persentase** menurut kebijakan distribusi, baik kebijakan itu Ubuntu apt, MiKTeX auto-install, maupun macOS BasicTeX. Ini berarti mesin yang sama dapat tampak andal atau tidak andal tergantung strategi penyediaan paket host. Pada **702 dokumen LaTeX portabel**, semua mesin yang diuji berhasil **100%**, sehingga latensi menjadi faktor penentu bukan keandalan. Kegagalan terkonsentrasi pada **107 templat spesifik mesin**, yang secara konstruksi tidak portabel antar mesin. Metrik konsistensi teks, yang divalidasi pada **50 pasang**, mencapai **presisi 94%** untuk divergensi konten nyata, menunjukkan bahwa S_pdf dapat membedakan perbedaan keluaran yang sesungguhnya dari variasi rendering yang wajar. Hasilnya juga menunjukkan bahwa dalam ETB, **kegagalan bersifat arsitektural**, melibatkan font, tata letak, dan aset, bukan paket yang hilang pada host yang telah disediakan. Ini adalah pergeseran diagnostik yang penting: menyediakan lebih banyak
Memilih mesin kompilasi dokumen adalah keputusan infrastruktur yang berulang bagi peneliti, penerbit, dan pemelihara CI/CD, namun belum ada kerangka kerja bersama untuk membandingkan backend PDF pdfLaTeX, XeLaTeX, LuaLaTeX, Tectonic, Typst, dan pandoc. Makalah ini mengidentifikasi celah tersebut dan memperkenalkan **Engine-Transfer-Bench (ETB)**, tolok ukur berbasis bukti yang dibangun dari **1.784 dokumen terbuka**, empat tugas yang mencakup keandalan, latensi, konsistensi teks, dan kegagalan, harness yang dipin, serta hasil multi-OS yang ditandai host. Pertanyaan utamanya bukan sekadar mesin mana yang tercepat, melainkan mesin mana yang berperilaku dapat diprediksi ketika dokumen berpindah antar sistem operasi dan distribusi paket. ETB dirilis bersama **ETB-Porta**, sebuah pemberi rekomendasi dan gerbang portabilitas, serta harness lintas-OS publik sebagai infrastruktur bersama. Desain tolok ukur ini memperlakukan kompilasi sebagai masalah sistem yang dapat direproduksi: dokumen yang sama, harness yang sama, dan tag host yang sama seharusnya menghasilkan bukti yang sebanding. Kerangka ini penting karena pemilihan mesin sering dilakukan berdasarkan pengalaman anekdotal atau pengujian satu platform, yang dapat menyembunyikan mode kegagalan spesifik distribusi. Dengan memin harness dan menandai host, ETB menjadikan transferabilitas perilaku mesin sebagai properti yang eksplisit dan terukur, bukan asumsi.
ETB mengevaluasi mesin pada host **GitHub Actions** yang menjalankan **macOS, Ubuntu, dan Windows**, dengan **N = 4.211 kompilasi per host**. Tolok ukur ini mendefinisikan empat tugas: keandalan, latensi, konsistensi teks, dan kegagalan. Keandalan diukur sebagai tingkat kompilasi berhasil; latensi menangkap waktu-ke-PDF; konsistensi teks menggunakan metrik **S_pdf** untuk mendeteksi divergensi konten nyata; dan analisis kegagalan mengklasifikasikan penyebab arsitektural dari kompilasi yang tidak berhasil. Harness dipin agar versi mesin, kumpulan paket, dan image host tetap sebanding antar proses. Pilihan metodologis kunci adalah pemisahan antara **dokumen LaTeX portabel** dan **templat spesifik mesin**. Pada **702 dokumen LaTeX portabel**, mesin yang diuji berhasil **100%**, yang mengisolasi latensi sebagai faktor pemilihan utama. Kegagalan terkonsentrasi pada **107 templat spesifik mesin**, tempat asumsi font, tata letak, dan aset berbeda. Makalah ini juga memvalidasi metrik konsistensi teks dengan **validasi 50 pasang**, mencapai **presisi 94%** untuk divergensi konten nyata. Secara formal, jika menyatakan skor konsistensi teks antara keluaran PDF dan , validasi menyasar aturan keputusan
untuk ambang , dengan presisi
pada himpunan 50 pasang. Desain multi-OS yang ditandai host dari tolok ukur ini dapat diringkas sebagai berikut:
Mengapa penting
Analisis ini membingkai ulang pemilihan mesin sebagai masalah portabilitas. Pita sempit 0,9 poin persentase milik Tectonic menunjukkan bahwa pendekatan mandiri dan dipin mengurangi varians yang bergantung pada host, sementara mesin bergaya TeX Live klasik mewarisi perilaku kebijakan dan resolusi paket dari distribusinya. Sebaran 12-20 poin persentase karena itu bukan cacat mesin melainkan efek kebijakan distribusi, dan berdampak langsung pada reproduktibilitas CI/CD. Temuan bahwa dokumen LaTeX portabel berhasil 100% di semua mesin menyiratkan bahwa untuk masukan yang berperilaku baik, latensi harus mendominasi pemilihan; perbedaan keandalan hanya muncul ketika dokumen bergantung pada templat, font, asumsi tata letak, atau aset spesifik mesin. Presisi 94% dari S_pdf mendukung penggunaan konsistensi teks sebagai gerbang untuk mendeteksi divergensi konten nyata, meskipun tingkat positif palsu yang tersisa perlu dipertimbangkan dalam pipeline penerbitan otomatis. ETB-Porta mengoperasionalkan temuan ini sebagai pemberi rekomendasi dan gerbang portabilitas, memungkinkan pemelihara memilih mesin berdasarkan tag host dan kelas portabilitas dokumen alih-alih anekdot. Implikasi yang lebih luas adalah bahwa infrastruktur tolok ukur untuk kompilasi dokumen harus dipin, ditandai host, dan multi-OS agar menghasilkan bukti yang dapat ditransfer. Kandidat taksonomi untuk karya ini adalah **Arsitektur**, **Keamanan Siber**, **Jaringan**, dan **Kriptografi**, mencerminkan kontribusinya yang berorientasi sistem dan berfokus pada reproduktibilitas. Pekerjaan selanjutnya dapat memperluas harness ke mesin dan kebijakan distribusi tambahan, serta menyempurnakan ambang S_pdf untuk mengurangi positif palsu dalam deteksi divergensi konten.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten memberโฆ