""" chunking.py Ce module permet de regrouper des phrases qui parlent de la même chose Il utilise un modèle pour comprendre le sens des phrases et décide quelles phrases doivent être mises ensemble À la fin, il crée des blocs de texte (chunks) qui sont assez longs et qui parlent d’un seul sujet Ça aide à organiser le texte en morceaux faciles à lire et à analyser """ import nltk from sklearn.metrics.pairwise import cosine_similarity from sentence_transformers import SentenceTransformer # pour la tokenisation des phrases nltk.download('punkt') # model pour générer des embeddings model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2') MIN_WORDS_PER_CHUNK = 20 """ Découpe une liste de phrases en "chunks" (groupes de phrases) basés sur la similarité sémantique. L'idée est de regrouper ensemble des phrases qui parlent d'un même sujet ou thème. """ def semantic_chunking(sentences, similarity_threshold=0.5): chunks = [] # Liste finale des chunks current_chunk = [] # Liste des phrases du chunk courant current_embeddings = [] # Embeddings des phrases du chunk courant pour calculer la similarité for sentence in sentences: # Générer l'embedding de la phrase actuelle embedding = model.encode(sentence) if not current_embeddings: current_chunk.append(sentence) current_embeddings.append(embedding) else: # Calculer la similarité entre la phrase actuelle et toutes les phrases déjà dans le chunk courant similarities = cosine_similarity([embedding], current_embeddings)[0] # Si la similarité max est supérieure au seuil on considère que la phrase fait partie du même sujet if max(similarities) > similarity_threshold: current_chunk.append(sentence) current_embeddings.append(embedding) else: # on finalise le chunk courant seulement si il est assez long chunk_text = " ".join(current_chunk) if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK: chunks.append(chunk_text) # on démarre un nouveau chunk current_chunk = [sentence] current_embeddings = [embedding] # Ajouter le dernier chunk à la fin, s'il est assez long if current_chunk: chunk_text = " ".join(current_chunk) if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK: chunks.append(chunk_text) return chunks