Embed both. For context, I was working on a regulatory knowledgebase. So, I chunked and embedded all the regulatory docs. I asked a question that should have been answered in a particular doc, but somehow the OpenAI model just couldn’t get it right. So, I added the question to the doc itself and re-embedded. Now, the doc comes up when that question (and similar questions) are asked. Based on that, I actually created a Q & A dataset, like yours, with the answers to questions embedded with the questions. In fact, I wrote code to prompt the LLM to create 10 questions for each document and append to that document before it is embedded. Needless to say, this has improved search results on those datasets.

RAG permet de fournir des informations en temps réel et des connaissances actualisées, ce qui est particulièrement important dans les domaines qui évoluent rapidement et pour prendre des décisions éclairées.

Le RAG se concentre sur l'amélioration du traitement du langage naturel par l'intégration d'informations externes, ce qui permet au modèle de mieux comprendre le contexte des requêtes et de générer des réponses plus précises. Le finetuning, quant à lui, vise à adapter spécifiquement un modèle de base pré-entraîné à une tâche ou un domaine particulier, en s'appuyant sur une quantité limitée de données d'entraînement.