| 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970 |
- """
- chunking.py
- Ce module permet de regrouper des phrases qui parlent de la même chose
- Il utilise un modèle pour comprendre le sens des phrases et décide quelles phrases doivent être mises ensemble
- À la fin, il crée des blocs de texte (chunks) qui sont assez longs et qui parlent d’un seul sujet
- Ça aide à organiser le texte en morceaux faciles à lire et à analyser
- """
- import nltk
- from sklearn.metrics.pairwise import cosine_similarity
- from sentence_transformers import SentenceTransformer
- import numpy as np
- # pour la tokenisation des phrases
- nltk.download('punkt')
- # model pour générer des embeddings
- model = SentenceTransformer('all-MiniLM-L6-v2')
- # Fonction pour nettoyer le texte
- #def clean_text(text):
- # text = re.sub(r'\n{2,}', '\n', text) # collapse multiple newlines
- # text = re.sub(r'[ \t]+', ' ', text) # remove excess spaces/tabs
- # text = re.sub(r'\n\s*\n', '\n', text) # remove empty lines
- # text = text.strip()
- # return text
- MIN_WORDS_PER_CHUNK = 10
- """
- Découpe une liste de phrases en "chunks" (groupes de phrases) basés sur la similarité sémantique.
- L'idée est de regrouper ensemble des phrases qui parlent d'un même sujet ou thème.
- """
- def semantic_chunking(sentences, similarity_threshold=0.6, max_words_per_chunk=300):
- chunks = []
- current_chunk = []
- current_embeddings = []
- for sentence in sentences:
- embedding = model.encode(sentence)
- if not current_embeddings:
- current_chunk.append(sentence)
- current_embeddings.append(embedding)
- else:
- # Calculer embedding moyen du chunk actuel
- mean_embedding = np.mean(current_embeddings, axis=0, keepdims=True)
- sim = cosine_similarity([embedding], mean_embedding)[0][0]
- if sim > similarity_threshold and len(" ".join(current_chunk).split()) < max_words_per_chunk:
- current_chunk.append(sentence)
- current_embeddings.append(embedding)
- else:
- chunk_text = " ".join(current_chunk)
- if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
- chunks.append(chunk_text)
- current_chunk = [sentence]
- current_embeddings = [embedding]
- # Ajouter dernier chunk
- if current_chunk:
- chunk_text = " ".join(current_chunk)
- if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
- chunks.append(chunk_text)
- return chunks
|