Model bahasa adalah sebuah model yang bisa menghasilkan teks yang koheren dan gramatikal, berdasarkan probabilitas kemunculan kata-kata dalam suatu bahasa. Model bahasa bisa digunakan untuk berbagai tujuan, seperti menerjemahkan, merangkum, mengoreksi, atau menghasilkan teks.
Teknologi ini menggunakan salah satu teknik dari model bahasa, yaitu model transformator (transformer model). Model transformator adalah sebuah model yang menggunakan mekanisme perhatian (attention mechanism) untuk mempelajari hubungan antara kata-kata dalam teks.
Mekanisme perhatian adalah sebuah teknik yang memungkinkan model untuk memfokuskan pada bagian-bagian teks yang relevan, tanpa harus memperhatikan urutan atau posisi kata-kata. Model transformator bisa digunakan untuk berbagai tujuan, seperti menerjemahkan, merangkum, mengoreksi, atau menghasilkan teks.
Teknologi ini menggunakan salah satu contoh dari model transformator, yaitu GPT-3 (Generative Pre-trained Transformer 3).
