""" chunking.py Ce module permet de regrouper des phrases qui parlent de la même chose Il utilise un modèle pour comprendre le sens des phrases et décide quelles phrases doivent être mises ensemble À la fin, il crée des blocs de texte (chunks) qui sont assez longs et qui parlent d’un seul sujet Ça aide à organiser le texte en morceaux faciles à lire et à analyser """ import nltk from sklearn.metrics.pairwise import cosine_similarity from sentence_transformers import SentenceTransformer import numpy as np # pour la tokenisation des phrases nltk.download('punkt') # model pour générer des embeddings model = SentenceTransformer('all-MiniLM-L6-v2') # Fonction pour nettoyer le texte #def clean_text(text): # text = re.sub(r'\n{2,}', '\n', text) # collapse multiple newlines # text = re.sub(r'[ \t]+', ' ', text) # remove excess spaces/tabs # text = re.sub(r'\n\s*\n', '\n', text) # remove empty lines # text = text.strip() # return text MIN_WORDS_PER_CHUNK = 10 """ Découpe une liste de phrases en "chunks" (groupes de phrases) basés sur la similarité sémantique. L'idée est de regrouper ensemble des phrases qui parlent d'un même sujet ou thème. """ def semantic_chunking(sentences, similarity_threshold=0.6, max_words_per_chunk=300): chunks = [] current_chunk = [] current_embeddings = [] for sentence in sentences: embedding = model.encode(sentence) if not current_embeddings: current_chunk.append(sentence) current_embeddings.append(embedding) else: # Calculer embedding moyen du chunk actuel mean_embedding = np.mean(current_embeddings, axis=0, keepdims=True) sim = cosine_similarity([embedding], mean_embedding)[0][0] if sim > similarity_threshold and len(" ".join(current_chunk).split()) < max_words_per_chunk: current_chunk.append(sentence) current_embeddings.append(embedding) else: chunk_text = " ".join(current_chunk) if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK: chunks.append(chunk_text) current_chunk = [sentence] current_embeddings = [embedding] # Ajouter dernier chunk if current_chunk: chunk_text = " ".join(current_chunk) if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK: chunks.append(chunk_text) return chunks