Ketika kamu mengetik "Halo AI!" — teks itu tidak langsung dimengerti. AI memecahnya jadi token, mengkonversinya ke ribuan angka, melewatkan melalui ratusan lapisan matematis, lalu memilih kata satu per satu. Simulasikan prosesnya di sini!
Warna berbeda = token berbeda. Hover untuk lihat token ID...
Bayangkan kamu menyusun puzzle. Sebelum menyusunnya, gambar harus dipotong jadi kepingan. Itulah tokenizer — memotong teks jadi kepingan yang bisa AI proses. Token bukan selalu satu kata — bisa jadi sebagian kata atau tanda baca. Misalnya "pembelajaran" → ["pembel","aj","aran"]. Ketik teks di bawah!
Digunakan GPT-2, GPT-3, GPT-4. Mulai dari karakter individual, pasangan yang sering muncul digabung berulang kali hingga vocabulary terbentuk.
Digunakan BERT, DistilBERT. Mirip BPE tapi menggunakan likelihood untuk memilih pasangan. Kata tidak dikenal ditandai "##".
Digunakan T5, LLaMA, Gemini. Bekerja dari raw Unicode — cocok untuk semua bahasa termasuk Indonesia.
*Harga estimasi dan dapat berubah. Input biasanya lebih murah dari output.
Bayangkan kamu kerja di meja yang hanya muat sekian lembar kertas. Saat meja penuh, kertas paling lama harus dibuang untuk memberi ruang baru. Ketika percakapan terlalu panjang, bagian awal akan hilang dari "meja" AI. Itulah kenapa AI kadang "lupa" hal di awal sesi panjang.
Prompt yang baik seperti memberikan instruksi lengkap kepada asisten baru. Semakin detail dan spesifik instruksimu, semakin presisi hasilnya. Ini adalah skill yang bisa dipelajari siapa saja!
❓ Tidak ada konteks: untuk siapa? berapa panjang? format apa?
✅ Ada: panjang, topik, audiens, tone, contoh, struktur
Gunakan 5 elemen ini untuk hampir semua kebutuhan prompt:
100+ istilah penting, dijelaskan dengan bahasa sederhana + analogi nyata sehari-hari