Kata pengantar#
Memprediksi masa depan – mulai dari keberuntungan dan kemalangan hingga nasib umat manusia – telah menjadi salah satu tantangan besar peradaban manusia sejak jaman dahulu. Model Bahasa Besar (LLM) kini memberi kita secercah harapan untuk mengatasi masalah ini.
Artikel ini mengeksplorasi penggunaan LLM sebagai alat terbaru, dengan Dream of the Red Chamber (紅樓夢) berfungsi sebagai kotak pasir, untuk menemukan metode memprediksi empat puluh bab terakhir novel yang hilang.
Izinkan saya menyatakan terlebih dahulu: Saya belum berhasil. Mungkin suatu hari nanti ketika seseorang melakukannya, artikel ini akan muncul di hasil pencarian mereka.
Karya ini lebih merupakan meditasi tentang hakikat teks itu sendiri. Meskipun teks kurang presisi dibandingkan rumus fisik,
sebagai alat bagi umat manusia untuk memahami realitas dan berspekulasi tentang masa depan, hal ini jauh lebih penting daripada yang kita bayangkan.
Teks bukan sekedar realitas yang “dibayangkan” – ia tidak bersifat subyektif. Ini hanya mencerminkan realitas obyektif dengan cara yang paling hemat biaya.
Dan LLM, sebagai mekanisme otomatis untuk memprediksi teks, akan secara radikal menekan biaya penggalian, pembuatan, dan pencerminan realitas objektif.
Implementasi terbaru akan diperbarui di aplikasi iOS: Dream of the Red Chamber Simulator.
APLIKASI: Tautan
Tiga penyesalan besar dalam hidup: Pertama, karena shad terlalu banyak tulangnya; kedua, bunga crabapple tidak berbau; ketiga, Mimpi Kamar Merah tidak pernah selesai.
— Eileen Chang (張愛玲)
Pola Langit: Lebih Dari Sekadar Prediksi Kata#
Memprediksi masa depan selalu menjadi hal yang sangat penting dalam masyarakat manusia. Setiap peradaban kuno memiliki pendeta atau pejabat yang berdedikasi untuk mengamati bintang.
Sistem simbol seperti astronomi dan hidrologi mengtekstualisasikan fenomena alam dan hukum fisika. Contoh yang paling penting adalah sistem koordinat lintang dan bujur — teks menjadi alat penting bagi umat manusia untuk memahami dan mempengaruhi dunia objektif.
Kekuatan praktis pemetaan antara teks dan kenyataan ini telah divalidasi dalam beberapa tahun terakhir ini dengan kemampuan LLM yang eksplosif.
Di masa lalu, bahasa sebagai alat belum cukup deterministik. Setelah Revolusi Industri, ketika sains menjadi pendorong utama produktivitas, bahasa terus-menerus diturunkan ke peringkat paling bawah dalam hierarki prestise.
Era LLM akhirnya membawa pencernaan dan produksi teks ke dalam domain milidetik, membebaskannya dari hambatan kecepatan membaca manusia, kecepatan mengetik, dan kesalahan ketik.
Pekerjaan yang dulunya menghabiskan energi mental dan waktu yang sangat besar kini berpotensi untuk dirakit dan dikonfigurasikan seperti jalur produksi.
Tapi apa yang dihasilkan lini produksi ini? Inti dari LLM adalah “memprediksi” token berikutnya. Apakah ini benar-benar produktif? Apakah model tersebut “mengerti” apa yang dikatakannya?
Ilya Sutskever (mantan salah satu pendiri dan kepala ilmuwan OpenAI) pernah memberikan contoh berikut:
Katakanlah Anda membaca novel detektif, dan di halaman terakhir, detektif tersebut berkata, “Saya akan mengungkapkan identitas penjahatnya, dan nama orang itu adalah…”
Jika sebuah LLM dapat secara konsisten dan benar menebak identitas pelakunya, maka secara tentatif kita dapat mengatakan bahwa LLM tersebut “memahami” novel tersebut - setidaknya melampaui banyak pembaca yang salah menebak.
Dan kita harus benar-benar menghayati apa yang dimaksud dengan “pemahaman”. Pemahaman pada akhirnya untuk memprediksi masa depan. Setiap peradaban kuno, tanpa kecuali, mempelajari astronomi dan hidrologi
tepatnya untuk memperkirakan pola iklim yang akan datang, perubahan aliran sungai, kekeringan dan banjir — untuk bertahan hidup lebih baik dalam lingkungan objektif.
Bahkan ada yang berpendapat bahwa memprediksi dengan benar lebih penting daripada memahami.
Humaniora: Manusia dan Agen Tetaplah Kotak Hitam#
Memprediksi masa depan adalah upaya dan prasyarat (reprodusibilitas) ilmu-ilmu alam, dan cawan suci ilmu-ilmu sosial.
Memang ini terdengar seperti fiksi ilmiah. Dalam seri Foundation karya Isaac Asimov, disiplin untuk memprediksi masa depan difiksikan sebagai “psikohistori” (心理史學).
Ekonom, sejarawan, psikolog, ilmuwan sosial – semuanya ingin mengetahui bagaimana individu dan masyarakat akan bereaksi terhadap peristiwa tertentu.
Keuangan, khususnya, mungkin merupakan bidang di luar perangkat lunak di mana AI diterapkan secara paling agresif.
Meskipun kita belum bisa melihat garis akhirnya, kelayakan upaya ini telah meningkat secara signifikan.
Peningkatannya – dan keterbatasannya – adalah kita sekarang memiliki kotak hitam yang luar biasa (agen LLM).
Untuk tugas-tugas pada tingkat yang sebanding dengan kinerja manusia, teknologi ini sangat cepat dan sangat murah, sehingga cocok untuk menggantikan tenaga manusia.
Batasannya adalah cara penggunaannya saat ini menyerupai mesin slot. Kita dapat menggunakan teknik tertentu (rekayasa cepat/konteks) untuk meningkatkan tingkat keberhasilan, tapi itu saja.
Kami berjuang untuk membuka kotak hitam. Merangkai beberapa kotak hitam menjadi satu (multi-agen) hanya menghasilkan perbaikan terbatas.
Saat ini, tugas-tugas yang dapat ditangani oleh satu agen dapat diselesaikan dengan cepat dan baik, namun tugas-tugas yang lebih abstrak sulit untuk ditingkatkan secara linier.
Diterapkan pada ilmu sosial: satu agen tidak dapat secara memadai menyimulasikan memori dan emosi satu individu, apalagi memiliki sistem multi-agen yang dapat menyimulasikan seluruh komunitas.
Di sisi optimis, hal ini lebih terasa seperti masalah kinerja — dan kinerja dalam paradigma ini akan terus meningkat.
Kotak Pasir: Jangan Mengincar Pembunuhan Sekali Pukul#
Karena kita berurusan dengan kotak hitam, pendekatan intuitifnya adalah menemukan kotak yang lebih kecil untuk dicoba dipecahkan.
Asumsikan kemampuan model dasar saat ini adalah apa yang telah dijelaskan sebelumnya: masukkan novel detektif apa pun ke dalam mesin slot LLM, dan novel tersebut dapat secara langsung (satu kali) dan menampilkan dengan benar siapa pelakunya.
Berdasarkan dasar ini, jika kita melakukan upaya ekstra - mendirikan perancah, berdiskusi dengan LLM, menemukan cara untuk mengumpulkan hasil secara linear di setiap pertukaran - secara teori kita akan mampu membuat prediksi tingkat kesulitan yang lebih tinggi.
Mimpi Kamar Merah adalah target yang sempurna. Berdasarkan isi dari delapan puluh bab pertama, kami meminta model untuk memprediksi, sampai tingkat tertentu, empat puluh bab terakhir.
Prediksi ini sangat sulit, namun tepat untuk tujuan kerja saya. Secara teoritis kemungkinannya tidak nol; secara praktis hal ini sangat kecil kemungkinannya. Hal ini menjadikannya tolok ukur ideal untuk mengamati pertumbuhan kemampuan LLM di tahun-tahun mendatang.
Setelah menulis sejauh ini, saya akhirnya dapat mengartikulasikan dua tujuan kerja:
- Bagaimana kita dapat melakukan upaya tambahan sehingga jawaban yang tidak dapat dicapai melalui one-shot prompt dapat didekati secara progresif?
- Bagaimana sebaiknya kita memilih medan pertempuran agar hasil yang kita peroleh tidak langsung menjadi usang karena adanya model yang lebih kuat — dan idealnya, agar kerangka kerja kita juga mendapat manfaat ketika model di masa depan menjadi lebih baik?
Di bawah ini, saya mulai mempertimbangkan metode penelitian berdasarkan karakteristik Mimpi Kamar Merah dan LLM.
Asumsi#
Kami berasumsi bahwa akhir dari Mimpi Kamar Merah memang pernah ada, dan delapan puluh bab pertama serta kesimpulan berikutnya ditulis sebagai sebuah karya yang organik, disengaja, dan berkesinambungan — menunjukkan koherensi internal yang sama dengan yang ditemukan dalam delapan puluh bab pertama itu sendiri.
Jika akhir cerita tidak pernah benar-benar ada, kesulitan prediksinya akan lebih tinggi lagi – mendekati prediksi alam semesta paralel. Pertanyaannya menjadi: jika Cao Xueqin yang menulis bagian akhir, seharusnya apa yang akan terjadi?
Kata “harus” inilah yang menjadi inti permasalahannya. Seseorang harus mencapai tingkat keyakinan ini untuk menghasilkan sesuatu dari ketiadaan menjadi bermakna.
Penulisan Mimpi Kamar Merah#
Novel ini disusun sekitar tahun 1750-an. Saat itu kebanyakan beredar di kalangan teman dan kerabat. Baru pada tahun 1791, ketika Cheng Weiyuan menerbitkannya dengan menggunakan jenis kayu yang dapat dipindahkan, barulah dikenal secara luas.
Redologi dan Penelitian Berbantuan AI#
Wang Guowei dan Hu Shi adalah pionir Redologi (紅學 — studi ilmiah tentang Mimpi Kamar Merah). Bidang ini terus berkembang, dan dalam beberapa tahun terakhir cenderung ke arah popularisasi dan hiburan. Perhatian yang diberikan terhadap arkeologi tekstual (探佚學) dan naskah Guiyou (癸酉本) yang kontroversial mencerminkan keingintahuan masyarakat terhadap bagian akhir.
Prestasi penelitian utama yang menggabungkan teknologi terkini meliputi:
- Pembelajaran mesin sekali lagi mengonfirmasi bahwa empat puluh bab terakhir tidak ditulis oleh penulis aslinya
- Menggunakan LLM untuk vektorisasi semantik teks yang lebih bernuansa (Word Embedding)
- Menggunakan LLM untuk membuat grafik pengetahuan khusus domain
- Model dilatih secara khusus pada delapan puluh bab pertama dan teks sejarah Dinasti Qing sebagai data masukan
Karakteristik LLM#
Karakteristik LLM yang paling relevan dengan tugas ini adalah: LLM telah dilatih berdasarkan semua data yang tersedia di internet, ditambah semua materi berharga yang dapat diperoleh laboratorium AI terdepan ini.
Untuk informasi yang sudah ada dalam data pelatihannya, kemampuan dan kecenderungan prediktif model tersebut sangat tinggi. Misalnya, jika Anda memasukkan satu bagian dari Harry Potter, paragraf berikutnya dapat dibacakan dari ingatan.
Namun empat puluh bab terakhir dari Mimpi Kamar Merah tidak pernah diwariskan kepada anak cucu. Mereka tidak ada dalam data pelatihan model. Ia tidak bisa melafalkannya.
Masalah 1: Keterbatasan Jendela Konteks#
Bisakah kita memasukkan bab satu sampai delapan puluh dan meminta LLM mengeluarkan empat puluh sisanya?
Di sisi masukan, model tingkat atas saat ini (Gemini 3.1 / GPT-5.4 / Opus 4.6) yang menggunakan mode API dapat mendukung hingga 1 juta token, dan itu sudah cukup.
Namun, dalam paradigma saat ini, jendela token keluaran jauh lebih kecil daripada jendela masukan. Outputnya dibatasi paling banyak sekitar empat hingga delapan ribu karakter China — kira-kira setara dengan satu bab konten.
Masalah 2: Prosa Lesu dan Penurunan Kualitas#
Bagaimana jika kita memodifikasi perintah untuk meminta LLM mengeluarkan konten bab delapan puluh satu saja?
Model menjadi “terkontaminasi” oleh masukan teks yang sangat besar. Gaya penulisannya sangat mirip dengan gaya Cao Xueqin, dan cukup melanjutkan alur cerita yang telah diketahui — namun hasilnya terlihat seperti kronik peristiwa yang datar.
Kemudian, mengulangi proses untuk bab delapan puluh dua, delapan puluh tiga, dan seterusnya, kualitasnya turun drastis.
Masalah 3: Kontaminasi Sebelumnya pada Model#
Masalah lainnya adalah selama pelatihan, model tersebut telah melihat kelanjutan Gao E (高鶚續書), berbagai spekulasi ilmiah, dan sumber sekunder lainnya. Jika materi ini menyimpang dari akhir aslinya, keluarannya akan menjadi bias.
Untuk Dilanjutkan#
Karena panjangnya bagian ini, saya akan menutupnya di sini dengan pratinjau tentang apa yang akan terjadi selanjutnya.
Kita tidak bisa membiarkan LLM secara langsung menghasilkan informasi yang tidak diketahui.
Jadi kita masih memerlukan metode yang lebih tradisional, mekanis, atau terprogram.
Kabar baiknya adalah: bagi para peneliti sastra, sejarah, dan filsafat yang tak kenal lelah — kini kita memiliki traktor untuk bidang ini!
Mimpi Kamar Merah memiliki sifat yang sangat terstruktur. Karakter penting memiliki 判詞 (ayat kenabian, dikenal sebagai “pànCí”) sendiri - bagian puisi yang secara samar memberi pertanda nasib setiap karakter.
Selain itu, delapan puluh bab pertama dapat divalidasi silang satu sama lain, menjadikan novel ini lebih mudah diprediksi dibandingkan banyak karya fiksi lainnya.
Meskipun pemeran karakternya banyak dan latar belakangnya rumit, apa yang pada akhirnya kami prediksi adalah visi artistik Cao Xueqin — kemauan kreatifnya meresap ke dalam keseluruhan karya. Ini adalah bantuan yang luar biasa untuk memprediksi akhir cerita.
Berikutnya: Termodinamika Mimpi Kamar Merah#
Artikel berikutnya akan memperkenalkan pendekatan eksperimental: mengekstraksi konten dari teks secara struktural, bereksperimen secara berulang untuk mengekstrak aturan yang tertanam dalam novel, dan menggunakan kode untuk menjalankan eksperimen berulang.
Skenario yang diidealkan adalah sesuatu yang mirip dengan sistem termodinamika: dengan kondisi awal (tempat — misalnya, karakter, kekayaan keluarga, status sosial ekonomi, jaringan antarpribadi…) ditambah mekanisme operasi sistem (psikologi manusia, hierarki sosial, dinamika ekonomi, norma budaya, pembalasan karma, dll.), seseorang dapat memprediksi keadaan sistem pada titik waktu berikutnya.