| 12345678910111213141516171819202122232425262728293031323334353637383940414243 |
- """
- embedding_index.py
- Ce module permet de créer et utiliser un index FAISS pour rechercher rapidement des vecteurs similaires
- La fonction build_faiss_index construit un index à partir d’une liste de vecteurs (embeddings) en normalisant les vecteurs pour mesurer la similarité par cosinus
- La fonction search_faiss cherche les vecteurs les plus proches d’un vecteur donné (requête) et retourne les distances et positions des meilleurs résultats
- """
- import numpy as np
- import faiss
- """
- Construire un index FAISS à partir d'une matrice d'embeddings pour pouvoir faire des recherches rapides par similarité
- """
- def build_faiss_index(embeddings):
- try:
- dimension = embeddings.shape[1]
- index = faiss.IndexFlatL2(dimension)
- index.add(embeddings)
- return index
- except Exception as e:
- print("Erreur lors de la création de l'index FAISS :", e)
- raise
- """
- Trouver les top_k vecteurs les plus similaires à un vecteur de requête en utilisant la similarité cosinus
- """
- def search_faiss(index, query_embeddings, top_k=10):
- query_embeddings = np.asarray(query_embeddings)
- # Assurer la bonne forme
- if query_embeddings.ndim == 1:
- query_embeddings = np.expand_dims(query_embeddings, axis=0)
- faiss.normalize_L2(query_embeddings)
- distances, indices = index.search(query_embeddings, top_k)
- return distances, indices # Ne pas extraire [0] si batch
|