RAG

Kalau lo pernah bikin sistem RAG, lo tahu rasanya. Chunking, embedding, vector store, retriever, reranker, prompt. Semua itu ditulis di kode, tersebar di beberapa file, dan saling terikat. Mau naikkan top_k dari 5 ke 8? Ubah kode, jalanin test, deploy ulang. Mau ganti model embedding? Siapkan waktu buat rebuild index yang bisa berjam-jam. Padahal yang berubah cuma satu angka. Ada pola lain yang dipakai beberapa framework besar: definisikan flow-nya sebagai data, di file YAML. Haystack menyimpan pipeline-nya begitu. Prompt Flow dari Microsoft menyimpan satu flow sebagai satu folder berisi flow.dag.yaml. Google ADK memakai root_agent.yaml yang punya JSON Schema, sehingga editor bisa memvalidasi sambil lo menulis. Artikel ini bukan buat bilang YAML lebih baik dari kode. Gue mau nunjukin perbandingannya dengan RAG yang biasa kita tulis di kode, di mana masing-masing menang, dan jebakan yang bikin sebagian tim balik lagi ke kode. ...

“Gue mau pake AI buat bisnis. Pake GPT aja, kan?” Kalo lo pernah denger pertanyaan kayak gini di kantor, lo pasti tau masalahnya. Orang langsung loncat ke nama model, padahal pertanyaan yang lebih penting: model jenis apa, sebesar apa, dijalanin di mana, dan dibungkus arsitektur kayak gimana. ...

Lo udah deploy RAG system. Retrieval-nya jalan, generation-nya lancar, user puas. Tapi pernah mikir gak - berapa banyak pintu yang kebuka buat attacker? Vector DB yang gak diamankan. Prompt injection lewat dokumen yang di-retrieve. Data sensitif yang lolos ke output. RAG punya surface area yang lebih luas dari LLM standalone, dan banyak orang baru sadar setelah kejadian. ...