| 1234567891011121314151617181920212223242526272829303132 |
- """
- Ce module permet de créer et utiliser un index FAISS pour rechercher rapidement des vecteurs similaires
- La fonction build_faiss_index construit un index à partir d’une liste de vecteurs (embeddings) en normalisant les vecteurs pour mesurer la similarité par cosinus
- La fonction search_faiss cherche les vecteurs les plus proches d’un vecteur donné (requête) et retourne les distances et positions des meilleurs résultats
- """
- import numpy as np
- import faiss
- """
- Construire un index FAISS à partir d'une matrice d'embeddings pour pouvoir faire des recherches rapides par similarité
- """
- def build_faiss_index(embeddings):
- # Récupère la dimension des vecteurs
- dimension = embeddings.shape[1]
- # Crée un index FAISS pour recherche par produit scalaire
- index = faiss.IndexFlatIP(dimension)
- # Normalise les vecteurs pour utiliser la similarité cosinus (norme L2 = 1)
- faiss.normalize_L2(embeddings)
- index.add(embeddings)
- return index
- """
- Trouver les top_k vecteurs les plus similaires à un vecteur de requête en utilisant la similarité cosinus
- """
- def search_faiss(index, query_embedding, top_k=10):
- faiss.normalize_L2(query_embedding)
- distances, indices = index.search(query_embedding, top_k)
- return distances[0], indices[0]
|