Knowledge Base & RAG
Fitur ini merupakan mesin pendorong dari fungsionalitas asisten AI pada platform. Dokumen yang diunggah dikonversi menjadi representasi vektor numerik (embeddings) yang memungkinkan kecerdasan buatan mencari dan memahami konteks percakapan untuk menghasilkan jawaban yang relevan dan presisi.
1. Ikhtisar & Nilai Bisnis
Modul Knowledge Base (KB) berfungsi sebagai repositori dokumen internal milik setiap merchant (penjual/pengguna platform) yang menjadi basis pengetahuan untuk sistem percakapan pelanggan. Sistem ini didukung oleh infrastruktur Retrieval-Augmented Generation (RAG) termutakhir yang bertugas untuk mencari potongan dokumen (chunk) paling relevan terhadap pertanyaan pengguna, lalu memasukkannya ke dalam konteks (prompt) model bahasa besar (LLM) untuk sintesis jawaban akhir.
Nilai Bisnis yang Ditawarkan:
- Otomatisasi Dukungan Pelanggan (Customer Support): Merchant dapat menekan biaya operasional dengan membiarkan asisten AI menjawab pertanyaan-pertanyaan repetitif (FAQ, panduan retur, spesifikasi produk) secara instan selama 24 jam penuh tanpa henti.
- Kustomisasi dan Spesifisitas Tinggi: Jawaban yang diberikan murni bersumber dari dokumen yang diunggah oleh merchant, menjamin agar AI tidak berhalusinasi atau memberikan informasi dari kompetitor yang mungkin dipelajari saat fase pre-training.
- Peningkatan Retensi Pelanggan: Dengan balasan otomatis yang berakurasi tinggi, kepuasan pelanggan akan naik karena tidak ada lagi waktu tunggu yang lama untuk pertanyaan-pertanyaan mendasar.
Arsitektur Penyimpanan Vektor: Penyimpanan embedding menggunakan basis data dengan indeks vektor semantik canggih. Arsitektur ini memungkinkan aplikasi memfasilitasi berbagai representasi vektor secara fleksibel dan seragam melalui penyeragaman dimensi representasi secara terpusat (zero-padding) dengan algoritma pencarian kemiripan kosinus berlatensi sub-milidetik.
2. Alur Visual & Antarmuka
Antarmuka Knowledge Base dirancang sedemikian rupa untuk mempermudah administrator dan pemilik merchant dalam proses menelan (ingestion), memantau, serta menguji performa dokumen yang sudah dikonversi ke vektor. Terdapat empat komponen antarmuka esensial pada dasbor KB:

a. Tabel Inventaris Dokumen (Dashboard) Dasbor utama ini menyajikan daftar seluruh dokumen (baik yang berformat PDF, DOCX, TXT, maupun CSV) beserta sumber sinkronisasi otomatis (seperti dari tautan eksternal maupun integrasi layanan lain). Informasi status ekstraksi (seperti sedang processing, completed, atau failed) terpampang jelas di sini dengan lencana status yang menyesuaikan.
b. Jendela Unggah Dokumen (Upload Modal) Ketika pengguna ingin menambahkan dokumen baru, jendela pop-up fungsional akan tampil di layar, memberikan ruang area jatuhkan-dan-tarik (drag-and-drop) file dari komputer lokal.

c. Penyunting FAQ Terstruktur (FAQ Editor) Selain metode unggah berkas mentah, sistem juga memberikan fleksibilitas untuk menambahkan dan merevisi pasangan pertanyaan-jawaban (Q&A) secara terstruktur melalui FAQ Editor. Antarmuka ini dikhususkan bagi skenario dukungan pelanggan spesifik di mana representasi vektor dari pertanyaan dioptimalkan secara terpisah.

d. RAG Sandbox Testing Sebuah ruang uji coba isolasi yang disediakan secara natif bagi para pengelola bot (bot managers). Kotak pasir ini membantu administrator dalam memeriksa performa retrieval saat ini dengan mencoba mengeksekusi sembarang pertanyaan query, dan mengevaluasi kelima potongan konteks (top k chunks) yang ditarik oleh sistem database RAG secara visual tanpa mengirimkan tagihan biaya ke pelanggan nyata.

3. Panduan Langkah-demi-Langkah
Proses penyediaan (provisioning) dokumen menjadi knowledge chunk agar dapat diakses oleh percakapan langsung dapat dijabarkan dalam langkah-langkah di bawah ini. Pastikan Anda mengikutinya secara sekuensial.
- 1
Mempersiapkan Dokumen Standar
Pertama, pastikan berkas yang akan diunggah mematuhi batas ukuran yang direpresentasikan dalam platform default, yaitu 10 MB per dokumen (parameter konfigurasi
kb.max_upload_size_mb). Sistem hanya akan menerima ekstensi file dengan format PDF, DOCX, TXT, dan CSV sesuai konfigurasi dasarkb.allowed_file_types. Usahakan dokumen mengandung teks yang terbaca (bukan sekadar kumpulan gambar pindaian alias scanned images) karena mesin ekstraktor saat ini bergantung pada lapisan teks yang ada. - 2
Membuka Dasbor Knowledge Base
Masuk ke menu utama dasbor sistem, navigasikan penunjuk mouse Anda menuju area menu Settings (Pengaturan), lalu klik pada sub-menu Knowledge Base yang berada dalam klaster konfigurasi AI & Automations.
- 3
Mengunggah Dokumen Melalui Modal
Klik tombol sekunder yang bertuliskan Unggah Dokumen (atau ikon berbentuk awan). Pada jendela dialog unggah yang muncul, Anda dapat memilih berkas lokal. Pilih kategori klasifikasi bila diperlukan (misalnya: Kebijakan Pengembalian, Informasi Produk). Tekan Mulai Proses. Dokumen akan dimasukkan ke antrean (queue) asinkron pada lapisan pemrosesan latar belakang.
- 4
Memantau Status Ekstraksi
Pemecahan teks (text chunking) dan vektorisasi biasanya berlangsung dari hitungan detik hingga beberapa menit bergantung pada muatan worker global. Lihat pada kolom Status di tabel utama (seperti ditunjukkan pada visual
kb-dashboard.webp). Berkas akan melalui siklus Uploaded → Processing → Embedding → Active. Jangan menutup tab peramban saat proses pengunggahan ke peladen (server) belum memunculkan lencana sentang, namun ekstraksi background tidak memerlukan tab peramban terbuka. - 5
Menguji Kelayakan Retrieval di Sandbox
Setelah status menjadi aktif hijau (Active), arahkan navigasi tab ke panel RAG Sandbox. Ketikkan beberapa kata kunci acak atau pertanyaan panjang terkait isi dari dokumen yang baru saja diserap. Tekan Cari Konteks. Layar Sandbox
rag-sandbox-test.webpakan menampilkan kelima (Top 5) blok teks (chunk) yang dirasa paling memiliki nilai kesamaan kosinus (cosine similarity score) dengan pertanyaan yang diajukan. - 6
Menggunakan FAQ Editor Opsional
Bila dirasa hasil dari Sandbox kurang memuaskan akibat kurang eksplisitnya bahasa di dokumen (misalnya bahasa hukum/legal yang ambigu), Anda dapat mengkompensasi isu tersebut dengan menginput frasa exact match pertanyaan-jawaban melalui halaman FAQ Editor (
faq-editor.webp). Pasangan Q&A ini akan disimpan di basis data relasional serta diindeks ke dalam vektor pencarian RAG terpisah untuk mendongkrak performansi kueri.
4. Konfigurasi & Parameter
Operasi asimilasi dokumen dan pengaturan sensitivitas RAG dikendalikan oleh seperangkat parameter konfigurasi platform maupun pengaturan bawaan bot (bot_configs). Pengubahan parameter ini akan berimbas secara komprehensif terhadap tata laksana sistem embedding maupun keakuratan resolusi jawaban bot secara global dalam penyewa (tenant) merchant yang bersangkutan.
rag.top_k
rag.chunk_size_tokens
rag.chunk_overlap_tokens
bot_configs.cosine_threshold
kb.max_upload_size_mb
kb.allowed_file_types
Sistem secara otomatis menyeragamkan dimensi representasi vektor embedding dari berbagai mesin komputasi cerdas. Perbedaan dimensi diharmonisasikan melalui fungsi penyeragaman otomatis dengan penambahan bantalan (zero-padding) tanpa memicu anomali pada indeks pencarian semantik.
5. Penanganan Masalah
Ketika menghadapi insiden (insiden penolakan dokumen, keterlambatan antrean vektor, kegagalan pengambilan nilai RAG), Anda dapat merujuk pada taksonomi penyelesaian masalah terkurasi di bawah.
Masalah 1: Dokumen PDF dilaporkan "Processed" tetapi tidak ditarik oleh sistem ketika ditanya (Empty Retrieval).
- Diagnosis Potensial: File PDF tersebut kemungkinan besar tidak memiliki text layer sejati, melainkan kumpulan gambar hasil scan. RAG platform memprioritaskan dokumen digital murni.
- Tindakan Lanjutan: Gunakan alat uji eksternal (seperti menekan tombol Ctrl+F atau Command+F) pada pembaca PDF peramban Anda untuk menguji apakah kursor sanggup memblokir satu per satu alfabet di atas PDF. Apabila tidak, Anda perlu mengonversinya terlebih dahulu memakai Optical Character Recognition (OCR) utilitas pihak ketiga (seperti Adobe Acrobat Pro OCR atau utilitas open-source Tesseract OCR), lalu unggah ulang berkas PDF yang termutakhir (sudah ber-OCR) menuju KB platform.
Masalah 2: Sistem RAG menarik fragmen teks yang tidak lagi relevan, atau terlalu umum.
- Diagnosis Potensial: Konfigurasi ambang kesamaan
cosine_thresholdmilik merchant terlalu longgar (terlalu rendah), ataurag.chunk_size_tokensteramat masif sehingga satu chunk mengandung materi dari tiga paragraf dengan topik yang saling tumpang tindih. - Tindakan Lanjutan: Untuk memitigasi isu ini secara taktis, intervensi konfigurasi dari Sandbox. Atur
cosine_thresholddi rentang yang jauh lebih tinggi dan ketat (contoh: naikkan menjadi nilai limit konservatif0.85dari dasar0.75). Nilai tinggi ini menghambat potongan teks inferior masuk. Pada kasus strategis jangka panjang, reduksi nilairag.chunk_size_tokenspada preferensi tenant.
Masalah 3: Bot merespons dengan kendala ketidaksesuaian dimensi vektor saat inisialisasi basis data pengetahuan.
- Diagnosis Potensial: Terjadi ketidaksesuaian versi skema indeks vektor semantik lokal.
- Tindakan Lanjutan: Pastikan skema basis data toko telah diperbarui ke rilis skema basis data resmi termutakhir.
Masalah 4: Kegagalan Ingestion pada CSV dengan Pesan Error Invalid File Type.
- Diagnosis Potensial: CSV tidak memenuhi kriteria penamaan format, atau berkas disandikan selain format penulisan karakter standar UTF-8.
- Tindakan Lanjutan: Verifikasi kembali penulisan konfigurasi
kb.allowed_file_typesdengan presisi["pdf", "docx", "txt", "csv"]. Simpan ulang berkas lembar bentang (spreadsheet Excel/Google Sheets) Anda ke formatComma Separated Values (.csv)secara khusus dan secara pasti menyeleksi parameter Encoding: UTF-8 dalam menu dialog pengatur simpan berkas di perangkat lunak bawaan editor tabel Anda.
6. FAQ
Q: Mengapa sistem melakukan standardisasi dimensi vektor embedding secara terpusat?
A: Platform ini melayani arsitektur multi-tenant yang fleksibel terhadap berbagai modul komputasi cerdas (model-agnostic). Sistem merancang harmonisasi dimensi representasi terpadu dengan penambahan kompensasi dimensi (zero-padding) otomatis. Cara matematis ini menjaga keterpaduan jarak kosinus kemiripan dokumen secara akurat tanpa mendistorsi relevansi pencarian RAG.
Q: Berapa lama waktu yang dibutuhkan antrean pekerja latar belakang untuk memproses panduan PDF bervolume 5 Megabyte?
A: Waktu proses bergantung sepenuhnya pada latensi layanan ekstraksi vektor semantik yang tengah memproses antrean dokumen. Secara teoretis dengan asumsi 1 chunk 600 tokens menghabiskan 300 ms, dan sebuah PDF 5 MB menghasilkan kisaran ekuivalensi 100 chunk, proses ini lazimnya dituntaskan dalam waktu sirkulasi 30 hingga 60 detik (satu menit).
Q: Jika suatu hari saya menghapus dokumen terkait produk dari Knowledge Base, apakah sistem AI seketika itu juga melupakan informasi usang tersebut?
A: Ya, absolut. Platform mengelola dokumen secara terpadu. Ketika entitas dokumen induk dihapus, sistem secara otomatis membersihkan seluruh baris vektor semantik terkait, seketika memusnahkan jejaknya dari memori akses pencarian RAG.
Q: Mengapa saya dihadapkan pada batas rag.top_k = 5 padahal LLM termutakhir sekarang mendemonstrasikan ruang konteks (context window) luar biasa besar hingga 2 Juta tokens?
A: Keputusan merancang batasan asali pada limit 5 potongan referensi (meskipun sanggup lebih) dirancang secara spesifik dengan mengutamakan keseimbangan. Membanjiri model bahasa (LLM prompt context window) dengan belasan potong rekaman vektor semata-mata karena batas ruang masuknya yang luar biasa lapang justru sering memancing sindrom Lost in the Middle (mengabaikan
informasi esensial yang terkubur di bagian tengah korpus dokumen bertele-tele).
Hal ini berpotensi mereduksi kejelasan jawaban yang digeneralisasi model AI, sekaligus merugikan keuangan per kuota token untuk proses pembacaan input pada beban masif API vendor pihak ketiga merchant.
7. Referensi Terkait
Pemahaman yang mendalam perihal alur data Knowledge Base sangat bergantung pada relasi antara arsitektur tabel asinkron maupun layanan agen terpisah. Anda bisa mengunjungi daftar panduan resmi sekunder yang membahas ekosistem sekitar fungsi Retrieval-Augmented Generation:
