embedding_index.py 1.4 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243
  1. """
  2. embedding_index.py
  3. Ce module permet de créer et utiliser un index FAISS pour rechercher rapidement des vecteurs similaires
  4. La fonction build_faiss_index construit un index à partir d’une liste de vecteurs (embeddings) en normalisant les vecteurs pour mesurer la similarité par cosinus
  5. La fonction search_faiss cherche les vecteurs les plus proches d’un vecteur donné (requête) et retourne les distances et positions des meilleurs résultats
  6. """
  7. import numpy as np
  8. import faiss
  9. """
  10. Construire un index FAISS à partir d'une matrice d'embeddings pour pouvoir faire des recherches rapides par similarité
  11. """
  12. def build_faiss_index(embeddings):
  13. try:
  14. dimension = embeddings.shape[1]
  15. index = faiss.IndexFlatL2(dimension)
  16. index.add(embeddings)
  17. return index
  18. except Exception as e:
  19. print("Erreur lors de la création de l'index FAISS :", e)
  20. raise
  21. """
  22. Trouver les top_k vecteurs les plus similaires à un vecteur de requête en utilisant la similarité cosinus
  23. """
  24. def search_faiss(index, query_embeddings, top_k=10):
  25. query_embeddings = np.asarray(query_embeddings)
  26. # Assurer la bonne forme
  27. if query_embeddings.ndim == 1:
  28. query_embeddings = np.expand_dims(query_embeddings, axis=0)
  29. faiss.normalize_L2(query_embeddings)
  30. distances, indices = index.search(query_embeddings, top_k)
  31. return distances, indices # Ne pas extraire [0] si batch