| 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859 |
- """
- chunking.py
- Ce module permet de regrouper des phrases qui parlent de la même chose
- Il utilise un modèle pour comprendre le sens des phrases et décide quelles phrases doivent être mises ensemble
- À la fin, il crée des blocs de texte (chunks) qui sont assez longs et qui parlent d’un seul sujet
- Ça aide à organiser le texte en morceaux faciles à lire et à analyser
- """
- import nltk
- from sklearn.metrics.pairwise import cosine_similarity
- from sentence_transformers import SentenceTransformer
- # pour la tokenisation des phrases
- nltk.download('punkt')
- # model pour générer des embeddings
- model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
- MIN_WORDS_PER_CHUNK = 20
- """
- Découpe une liste de phrases en "chunks" (groupes de phrases) basés sur la similarité sémantique.
- L'idée est de regrouper ensemble des phrases qui parlent d'un même sujet ou thème.
- """
- def semantic_chunking(sentences, similarity_threshold=0.5):
- chunks = [] # Liste finale des chunks
- current_chunk = [] # Liste des phrases du chunk courant
- current_embeddings = [] # Embeddings des phrases du chunk courant pour calculer la similarité
- for sentence in sentences:
- # Générer l'embedding de la phrase actuelle
- embedding = model.encode(sentence)
- if not current_embeddings:
- current_chunk.append(sentence)
- current_embeddings.append(embedding)
- else:
- # Calculer la similarité entre la phrase actuelle et toutes les phrases déjà dans le chunk courant
- similarities = cosine_similarity([embedding], current_embeddings)[0]
- # Si la similarité max est supérieure au seuil on considère que la phrase fait partie du même sujet
- if max(similarities) > similarity_threshold:
- current_chunk.append(sentence)
- current_embeddings.append(embedding)
- else:
- # on finalise le chunk courant seulement si il est assez long
- chunk_text = " ".join(current_chunk)
- if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
- chunks.append(chunk_text)
- # on démarre un nouveau chunk
- current_chunk = [sentence]
- current_embeddings = [embedding]
- # Ajouter le dernier chunk à la fin, s'il est assez long
- if current_chunk:
- chunk_text = " ".join(current_chunk)
- if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
- chunks.append(chunk_text)
- return chunks
|