embedding_index.py 1.4 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243
  1. """
  2. embedding_index.py
  3. Ce module permet de créer et utiliser un index FAISS pour rechercher rapidement des vecteurs similaires
  4. La fonction build_faiss_index construit un index à partir d’une liste de vecteurs (embeddings) en normalisant les vecteurs pour mesurer la similarité par cosinus
  5. La fonction search_faiss cherche les vecteurs les plus proches d’un vecteur donné (requête) et retourne les distances et positions des meilleurs résultats
  6. """
  7. import numpy as np
  8. import faiss
  9. import json
  10. """
  11. Construire un index FAISS à partir d'une matrice d'embeddings pour pouvoir faire des recherches rapides par similarité
  12. """
  13. def build_faiss_index(embeddings):
  14. try:
  15. dimension = embeddings.shape[1]
  16. index = faiss.IndexFlatL2(dimension)
  17. index.add(embeddings)
  18. return index
  19. except Exception as e:
  20. print("Erreur lors de la création de l'index FAISS :", e)
  21. raise
  22. """
  23. Trouver les top_k vecteurs les plus similaires à un vecteur de requête en utilisant la similarité cosinus
  24. """
  25. def search_faiss(index, query_embeddings, top_k=10):
  26. query_embeddings = np.asarray(query_embeddings)
  27. # Assurer la bonne forme
  28. if query_embeddings.ndim == 1:
  29. query_embeddings = np.expand_dims(query_embeddings, axis=0)
  30. faiss.normalize_L2(query_embeddings)
  31. distances, indices = index.search(query_embeddings, top_k)
  32. return distances, indices