embedding_index.py 956 B

1234567891011121314151617181920212223242526272829303132
  1. import numpy as np
  2. import faiss
  3. import json
  4. """
  5. Construire un index FAISS à partir d'une matrice d'embeddings pour pouvoir faire des recherches rapides par similarité
  6. """
  7. def build_faiss_index(embeddings):
  8. try:
  9. dimension = embeddings.shape[1]
  10. index = faiss.IndexFlatL2(dimension)
  11. index.add(embeddings)
  12. return index
  13. except Exception as e:
  14. print("Erreur lors de la création de l'index FAISS :", e)
  15. raise
  16. """
  17. Trouver les top_k vecteurs les plus similaires à un vecteur de requête en utilisant la similarité cosinus
  18. """
  19. def search_faiss(index, query_embeddings, top_k=10):
  20. query_embeddings = np.asarray(query_embeddings)
  21. # Assurer la bonne forme
  22. if query_embeddings.ndim == 1:
  23. query_embeddings = np.expand_dims(query_embeddings, axis=0)
  24. faiss.normalize_L2(query_embeddings)
  25. distances, indices = index.search(query_embeddings, top_k)
  26. return distances, indices