chunking.py 2.4 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970
  1. """
  2. chunking.py
  3. Ce module permet de regrouper des phrases qui parlent de la même chose
  4. Il utilise un modèle pour comprendre le sens des phrases et décide quelles phrases doivent être mises ensemble
  5. À la fin, il crée des blocs de texte (chunks) qui sont assez longs et qui parlent d’un seul sujet
  6. Ça aide à organiser le texte en morceaux faciles à lire et à analyser
  7. """
  8. import nltk
  9. from sklearn.metrics.pairwise import cosine_similarity
  10. from sentence_transformers import SentenceTransformer
  11. import numpy as np
  12. # pour la tokenisation des phrases
  13. nltk.download('punkt')
  14. # model pour générer des embeddings
  15. model = SentenceTransformer('all-MiniLM-L6-v2')
  16. # Fonction pour nettoyer le texte
  17. #def clean_text(text):
  18. # text = re.sub(r'\n{2,}', '\n', text) # collapse multiple newlines
  19. # text = re.sub(r'[ \t]+', ' ', text) # remove excess spaces/tabs
  20. # text = re.sub(r'\n\s*\n', '\n', text) # remove empty lines
  21. # text = text.strip()
  22. # return text
  23. MIN_WORDS_PER_CHUNK = 10
  24. """
  25. Découpe une liste de phrases en "chunks" (groupes de phrases) basés sur la similarité sémantique.
  26. L'idée est de regrouper ensemble des phrases qui parlent d'un même sujet ou thème.
  27. """
  28. def semantic_chunking(sentences, similarity_threshold=0.6, max_words_per_chunk=300):
  29. chunks = []
  30. current_chunk = []
  31. current_embeddings = []
  32. for sentence in sentences:
  33. embedding = model.encode(sentence)
  34. if not current_embeddings:
  35. current_chunk.append(sentence)
  36. current_embeddings.append(embedding)
  37. else:
  38. # Calculer embedding moyen du chunk actuel
  39. mean_embedding = np.mean(current_embeddings, axis=0, keepdims=True)
  40. sim = cosine_similarity([embedding], mean_embedding)[0][0]
  41. if sim > similarity_threshold and len(" ".join(current_chunk).split()) < max_words_per_chunk:
  42. current_chunk.append(sentence)
  43. current_embeddings.append(embedding)
  44. else:
  45. chunk_text = " ".join(current_chunk)
  46. if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
  47. chunks.append(chunk_text)
  48. current_chunk = [sentence]
  49. current_embeddings = [embedding]
  50. # Ajouter dernier chunk
  51. if current_chunk:
  52. chunk_text = " ".join(current_chunk)
  53. if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
  54. chunks.append(chunk_text)
  55. return chunks