AI Agent

Pengujian AI Agent

Copy page

Mengaktifkan AI Agent tanpa mengujinya terlebih dahulu sama saja dengan melepas karyawan baru melayani pelanggan tanpa training. Chatmo menyediakan fitur simulasi chat yang memungkinkan Anda menguji setiap aspek Agent sebelum pelanggan sungguhan berinteraksi dengannya.

Fitur Simulasi Chat

Simulasi chat adalah lingkungan pengujian yang meniru percakapan pelanggan secara persis seperti yang terjadi di production. Anda bisa mengetik pesan sebagai "pelanggan" dan melihat bagaimana AI Agent merespons secara real-time.

Widget simulasi chat selalu terlihat di sidebar kanan halaman setup AI Agent pada tampilan desktop. Anda tidak perlu mengklik tombol khusus untuk membukanya — widget ini langsung tersedia saat Anda membuka halaman konfigurasi Agent. Pada tampilan mobile, widget simulasi tersedia melalui popup modal.

Untuk mengakses simulasi chat:

1. Buka halaman AI Agent dan pilih Agent yang ingin diuji.
2. Halaman setup Agent akan terbuka, dan widget simulasi chat sudah langsung terlihat di sidebar kanan.
3. Mulai ketik pesan di widget simulasi untuk menguji Agent Anda.

Simulasi ini menggunakan konfigurasi Agent yang sama persis: behavior prompt, knowledge base, tools, dan semua pengaturan lainnya. Jadi apa yang Anda lihat di simulasi adalah cerminan langsung dari pengalaman pelanggan nantinya.

Mode Debug

Widget simulasi chat memiliki toggle Debug (On/Off) yang sangat berguna untuk mengidentifikasi masalah pada AI Agent Anda.

Ketika Debug diaktifkan (ON), Anda bisa melihat informasi tambahan di dalam simulasi:

• Log tools yang dipanggil — Menampilkan tools mana saja yang dipanggil oleh Agent selama percakapan, termasuk parameter yang dikirim dan respons yang diterima.
• Respons RAG Knowledge — Menampilkan hasil pencarian dari knowledge base, sehingga Anda bisa melihat informasi apa yang ditemukan (atau tidak ditemukan) oleh Agent saat menjawab pertanyaan.
• Status pencarian knowledge — Memberitahu apakah knowledge yang relevan ditemukan atau tidak ditemukan untuk pertanyaan tertentu.

Mode Debug membantu Anda:

• Mengidentifikasi apakah knowledge base sudah mencakup pertanyaan pelanggan dengan baik
• Memverifikasi apakah tools terpanggil dengan benar dan mengembalikan data yang tepat
• Menemukan celah di knowledge base yang perlu dilengkapi
• Memahami proses pengambilan keputusan Agent secara detail

Cara Menguji Respons AI

Pengujian Dasar

Mulai dengan pertanyaan-pertanyaan sederhana untuk memastikan fondasi Agent sudah benar:

1. Kirim sapaan — Ketik "Halo" atau "Hi" dan lihat apakah Agent membalas dengan pesan selamat datang yang sudah Anda konfigurasi.
2. Tanyakan informasi umum — Ajukan pertanyaan yang jawabannya ada di knowledge base. Misalnya "Berapa jam operasional toko?"
3. Cek nada bicara — Perhatikan apakah gaya bahasa Agent sesuai dengan yang Anda harapkan. Apakah terlalu formal? Terlalu kasual?
4. Tanyakan sesuatu di luar cakupan — Ajukan pertanyaan yang jawabannya tidak ada di knowledge base. Agent seharusnya mengakui keterbatasannya, bukan mengarang jawaban.

Pengujian Knowledge Base

Pastikan Agent bisa mengakses dan menyampaikan informasi dari knowledge base dengan benar:

• Tanyakan hal yang jawabannya ada di sumber teks yang Anda tambahkan
• Tanyakan hal yang jawabannya ada di dokumen yang Anda unggah
• Tanyakan hal yang jawabannya ada di konten website yang Anda scrape
• Bandingkan jawaban Agent dengan informasi asli — apakah akurat?

Pengujian Tools

Jika Agent Anda terhubung ke tools, uji setiap tool:

• Minta Agent melakukan aksi yang memicu tool (misalnya "Cek status pesanan saya ORD-12345")
• Perhatikan apakah Agent mengumpulkan parameter yang dibutuhkan secara natural
• Cek apakah hasil tool ditampilkan dengan benar dan mudah dipahami
• Uji dengan parameter yang salah untuk melihat penanganan error

Evaluasi Kualitas Respons

Saat menguji, perhatikan aspek-aspek berikut untuk menilai kualitas respons AI Agent:

Aspek	Yang Dievaluasi	Tanda Respons Baik	Tanda Perlu Perbaikan
Akurasi	Apakah informasi yang disampaikan benar?	Jawaban sesuai dengan knowledge base	Informasi tidak akurat atau mengarang
Relevansi	Apakah jawaban sesuai dengan pertanyaan?	Langsung menjawab inti pertanyaan	Menjawab terlalu lebar atau melenceng
Kejelasan	Apakah jawaban mudah dipahami?	Bahasa sederhana, terstruktur	Berbelit-belit, terlalu teknis
Konsistensi	Apakah jawaban konsisten untuk pertanyaan serupa?	Respons seragam dengan variasi natural	Jawaban bertentangan satu sama lain
Nada bicara	Apakah sesuai dengan brand?	Sesuai system prompt yang dikonfigurasi	Terlalu kaku, terlalu santai, atau tidak sesuai

Pengujian Skenario Berbeda

Untuk memastikan Agent siap menghadapi berbagai situasi, uji skenario-skenario berikut:

Skenario 1: Sapaan dan Pembukaan

Code
Pelanggan: "Halo"
Yang diharapkan: Pesan selamat datang yang ramah, memperkenalkan diri,
                 menawarkan bantuan

Pelanggan: "Assalamualaikum"
Yang diharapkan: Respons yang sesuai, tetap ramah dan inklusif

Pelanggan: "Hi, bisa tanya-tanya?"
Yang diharapkan: Respons positif, mengajak pelanggan untuk bertanya

Skenario 2: Pertanyaan Produk

Code
Pelanggan: "Ada laptop apa aja?"
Yang diharapkan: Menyebutkan kategori atau produk laptop yang tersedia
                 berdasarkan knowledge base

Pelanggan: "Harganya berapa?"
Yang diharapkan: Memberikan rentang harga atau harga spesifik jika
                 tersedia di knowledge base

Pelanggan: "Rekomendasi laptop untuk desain grafis dong"
Yang diharapkan: Memberikan rekomendasi yang relevan berdasarkan
                 spesifikasi, bukan asal tebak

Skenario 3: Keluhan Pelanggan

Code
Pelanggan: "Pesanan saya sudah seminggu belum sampai!"
Yang diharapkan: Empati, minta nomor pesanan untuk dicek, atau
                 tawarkan handoff ke CS

Pelanggan: "Barang yang dikirim cacat, saya kecewa banget"
Yang diharapkan: Empati, menjelaskan prosedur pengembalian/garansi,
                 menawarkan bantuan langsung dari tim CS

Pelanggan: "Saya mau komplain! Layanannya buruk!"
Yang diharapkan: Tetap sopan, validasi perasaan pelanggan, segera
                 tawarkan handoff ke agen manusia

Skenario 4: Permintaan Handoff

Code
Pelanggan: "Saya mau bicara dengan manusia"
Yang diharapkan: Agent langsung memproses handoff tanpa memaksa
                 pelanggan untuk tetap dilayani AI

Pelanggan: "Bisa disambungkan ke CS?"
Yang diharapkan: Konfirmasi dan alihkan percakapan ke agen manusia

Pelanggan: "AI-nya gak ngerti pertanyaan saya"
Yang diharapkan: Minta maaf, lalu tawarkan handoff ke agen manusia

Debugging Masalah Umum

Jika menemukan masalah saat pengujian, berikut panduan troubleshooting:

Agent Tidak Menjawab dari Knowledge Base

Gejala: Agent memberikan jawaban generik padahal informasinya ada di knowledge base.

Penyebab yang mungkin:

• Knowledge base belum tersinkronisasi setelah ditambahkan — coba refresh
• Pertanyaan diajukan dengan kata-kata yang sangat berbeda dari yang ada di knowledge base
• Sumber knowledge base tidak aktif

Solusi: Periksa apakah knowledge base sudah tersimpan dengan benar. Coba ubah cara bertanya. Jika perlu, perkaya knowledge base dengan variasi kata-kata yang berbeda.

Agent Mengarang Jawaban

Gejala: Agent memberikan informasi yang kedengarannya meyakinkan tapi tidak benar.

Penyebab yang mungkin:

• System prompt tidak memiliki instruksi untuk membatasi jawaban ke knowledge base saja
• Knowledge base tidak mencukupi sehingga AI "mengisi kekosongan" sendiri

Solusi: Tambahkan instruksi eksplisit di system prompt: "Jangan memberikan informasi yang tidak ada di knowledge base. Jika kamu tidak tahu jawabannya, sampaikan dengan jujur dan tawarkan untuk menghubungkan ke tim CS."

Nada Bicara Tidak Sesuai

Gejala: Agent terlalu formal, terlalu kasual, atau tidak konsisten.

Solusi: Perjelas instruksi nada bicara di system prompt. Berikan contoh spesifik cara menjawab. Misalnya: "Sapa pelanggan dengan 'Kak'. Gunakan bahasa semi-formal. Jangan gunakan bahasa gaul berlebihan."

Tools Tidak Terpanggil

Gejala: Pelanggan bertanya sesuatu yang seharusnya memicu tool, tapi Agent menjawab tanpa menggunakan tool.

Penyebab yang mungkin:

• Deskripsi tool tidak cukup jelas tentang kapan harus digunakan
• Pertanyaan pelanggan tidak cukup spesifik untuk memicu tool

Solusi: Perbaiki deskripsi tool agar lebih jelas. Contoh: "Gunakan tool ini setiap kali pelanggan bertanya tentang status pesanan, tracking pengiriman, atau keberadaan paket mereka."

Fine-Tuning Agent

Setelah menemukan masalah melalui pengujian, berikut langkah perbaikannya:

1. Perbaiki system prompt — Tambahkan instruksi yang lebih spesifik untuk area yang bermasalah.
2. Perkaya knowledge base — Jika Agent tidak bisa menjawab pertanyaan tertentu, tambahkan informasi yang relevan.
3. Sesuaikan deskripsi tools — Jika tools tidak terpanggil dengan benar, perjelas deskripsi dan kondisi penggunaannya.
4. Uji ulang — Setiap perubahan harus diuji ulang dengan skenario yang sama.
5. Iterasi — Fine-tuning adalah proses berulang. Jangan berharap sempurna di percobaan pertama.

Checklist Go-Live

Sebelum mengaktifkan AI Agent untuk pelanggan sungguhan, pastikan semua item berikut sudah terpenuhi:

Konfigurasi Dasar

• Nama dan deskripsi Agent sudah jelas
• System prompt sudah lengkap dan teruji
• Pesan selamat datang sudah dikonfigurasi
• Bahasa dan nada respons sesuai brand
• Agent sudah terhubung ke perangkat yang benar

Knowledge Base

• Semua informasi penting sudah ditambahkan (produk, kebijakan, FAQ)
• Konten knowledge base akurat dan terkini
• Tidak ada informasi sensitif yang seharusnya tidak diakses pelanggan

Tools

• Semua tools sudah dikonfigurasi dan diuji secara mandiri
• Deskripsi tools cukup jelas untuk memicu penggunaan yang tepat
• Penanganan error sudah diuji untuk setiap tool

Pengujian

• Skenario sapaan diuji dan respons sesuai
• Pertanyaan produk/layanan dijawab dengan akurat
• Keluhan ditangani dengan empati dan diarahkan dengan benar
• Handoff ke agen manusia berfungsi dengan mulus
• Pertanyaan di luar cakupan ditangani dengan jujur
• Tools berfungsi dan menampilkan respons yang mudah dipahami

Operasional

• Tim agen manusia sudah siap menerima handoff dari AI Agent
• Ada prosedur untuk memantau performa Agent setelah go-live
• Ada rencana untuk review dan update knowledge base secara berkala

Setelah Go-Live

Pekerjaan Anda tidak berhenti setelah Agent aktif. Berikut hal yang perlu dilakukan secara berkelanjutan:

1. Pantau percakapan — Review percakapan AI Agent dengan pelanggan secara berkala. Perhatikan pola pertanyaan yang tidak bisa dijawab.
2. Perbarui knowledge base — Tambahkan informasi baru berdasarkan pertanyaan pelanggan yang masuk.
3. Cek metrik performa — Pantau tingkat resolusi, tingkat handoff, dan kepuasan pelanggan.
4. Iterasi system prompt — Perbaiki instruksi berdasarkan masalah yang ditemukan di production.
5. Minta feedback tim — Agen manusia yang menerima handoff bisa memberikan insight berharga tentang kekurangan AI Agent.

Selanjutnya

• Ringkasan AI Agent — Kembali ke overview untuk melihat gambaran besar fitur AI Agent.
• Buat AI Agent — Perlu membuat Agent baru atau mengubah konfigurasi? Kembali ke panduan pembuatan.
• Basis Pengetahuan — Perkaya pengetahuan Agent berdasarkan temuan pengujian.
• Konfigurasi Tools — Tambah atau perbaiki tools yang digunakan Agent.