Mengenal Dasar-Dasar Generative AI

Sebelum membangun chatbot, automation, atau aplikasi berbasis AI apa pun, ada baiknya memahami dulu cara kerja Generative AI dari akarnya. Banyak orang langsung terjun ke prompting atau membangun workflow tanpa mengerti apa yang sebenarnya terjadi di balik layar. Padahal, memahami konsep dasar ini akan membuat Anda jauh lebih efektif saat menulis prompt, mendesain sistem, maupun men-debug hasil yang tidak sesuai harapan.

1. Apa Itu Generative AI?

Generative AI adalah cabang kecerdasan buatan yang mampu menghasilkan konten baru, bukan sekadar mengklasifikasikan atau memprediksi data yang sudah ada. Konten yang dihasilkan bisa berupa teks, gambar, audio, video, maupun kode program.

Berbeda dengan AI tradisional yang biasanya dilatih untuk satu tugas spesifik seperti deteksi spam atau prediksi harga, Generative AI dilatih pada data dalam jumlah sangat besar sehingga mampu mempelajari pola bahasa, struktur, dan konteks, lalu menggunakannya untuk menghasilkan output baru yang relevan.

2. Mengenal Large Language Model (LLM)

Large Language Model atau LLM adalah jenis model AI yang dilatih khusus untuk memahami dan menghasilkan bahasa manusia. Model ini dibangun di atas arsitektur neural network berjenis transformer, yang memungkinkan AI memperhatikan hubungan antar kata dalam sebuah kalimat, bahkan dalam teks yang panjang.

Contoh LLM yang umum digunakan saat ini antara lain model dari keluarga GPT, Claude, Gemini, dan Llama. Masing-masing memiliki kekuatan berbeda tergantung ukuran model, data pelatihan, dan cara fine-tuning yang dilakukan.

3. Token: Unit Dasar yang Dipahami AI

AI tidak membaca teks seperti manusia. Teks terlebih dahulu dipecah menjadi potongan kecil yang disebut token. Satu token bisa berupa satu kata, sebagian kata, atau bahkan satu tanda baca, tergantung metode tokenisasi yang digunakan.

Sebagai gambaran kasar, satu kata dalam bahasa Indonesia sering terdiri dari satu hingga tiga token. Memahami konsep token penting karena:

• Biaya penggunaan API biasanya dihitung berdasarkan jumlah token, bukan jumlah karakter.
• Batas panjang input dan output AI diukur dalam token.
• Prompt yang terlalu panjang bisa memotong konteks penting jika melebihi batas token.

4. Context Window

Context window adalah jumlah maksimum token yang bisa "diingat" oleh model dalam satu sesi percakapan atau satu kali proses, termasuk prompt, riwayat chat, dan dokumen yang disisipkan.

Jika context window sudah penuh, informasi paling awal biasanya akan terpotong atau dilupakan oleh model. Inilah sebabnya percakapan yang sangat panjang terkadang membuat AI "lupa" instruksi di awal chat. Semakin besar context window suatu model, semakin banyak dokumen atau riwayat yang bisa diproses sekaligus.

5. Inference: Proses AI Menghasilkan Jawaban

Inference adalah proses ketika model yang sudah dilatih digunakan untuk menghasilkan output dari sebuah input. Secara sederhana, saat Anda mengirim prompt dan menerima jawaban, proses itulah yang disebut inference.

Model menghasilkan jawaban secara token per token, memprediksi token berikutnya yang paling mungkin berdasarkan seluruh konteks yang tersedia, lalu mengulangi proses ini hingga jawaban selesai atau mencapai batas panjang tertentu.

6. Embeddings

Embeddings adalah representasi numerik dari teks, gambar, atau data lain dalam bentuk vektor multidimensi. Melalui embeddings, makna dan kemiripan antar data dapat dihitung secara matematis.

Teknologi ini menjadi dasar dari berbagai fitur AI modern seperti pencarian semantik, sistem rekomendasi, dan Retrieval-Augmented Generation atau RAG, di mana AI mengambil potongan dokumen yang paling relevan berdasarkan kemiripan makna, bukan sekadar kecocokan kata kunci.

7. Hallucination pada AI

Hallucination terjadi ketika AI menghasilkan informasi yang terdengar meyakinkan namun sebenarnya salah atau tidak berdasar fakta. Hal ini bisa terjadi karena model pada dasarnya bekerja dengan memprediksi kata yang paling mungkin, bukan mengambil fakta dari database yang terverifikasi.

Beberapa cara umum untuk mengurangi risiko hallucination:

• Memberikan konteks atau dokumen referensi yang jelas dalam prompt.
• Menggunakan teknik RAG agar jawaban didasarkan pada sumber data nyata.
• Meminta model menyertakan sumber atau alasan di balik jawabannya.
• Melakukan verifikasi manual untuk informasi yang bersifat krusial.

8. Mengapa Fondasi Ini Penting?

Setiap aplikasi AI modern, mulai dari chatbot customer service, automation di n8n, hingga tools content creation berbasis AI, dibangun di atas konsep-konsep dasar ini. Memahami token dan context window membantu Anda mendesain prompt yang efisien. Memahami embeddings membantu Anda membangun sistem pencarian atau RAG yang akurat. Memahami hallucination membantu Anda membangun sistem yang lebih bisa dipercaya.

Dengan fondasi yang kuat, Anda tidak hanya menjadi pengguna AI yang pasif, tetapi juga mampu merancang workflow dan aplikasi AI yang lebih matang.