chunking.py 2.5 KB

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859
  1. """
  2. chunking.py
  3. Ce module permet de regrouper des phrases qui parlent de la même chose
  4. Il utilise un modèle pour comprendre le sens des phrases et décide quelles phrases doivent être mises ensemble
  5. À la fin, il crée des blocs de texte (chunks) qui sont assez longs et qui parlent d’un seul sujet
  6. Ça aide à organiser le texte en morceaux faciles à lire et à analyser
  7. """
  8. import nltk
  9. from sklearn.metrics.pairwise import cosine_similarity
  10. from sentence_transformers import SentenceTransformer
  11. # pour la tokenisation des phrases
  12. nltk.download('punkt')
  13. # model pour générer des embeddings
  14. model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
  15. MIN_WORDS_PER_CHUNK = 20
  16. """
  17. Découpe une liste de phrases en "chunks" (groupes de phrases) basés sur la similarité sémantique.
  18. L'idée est de regrouper ensemble des phrases qui parlent d'un même sujet ou thème.
  19. """
  20. def semantic_chunking(sentences, similarity_threshold=0.5):
  21. chunks = [] # Liste finale des chunks
  22. current_chunk = [] # Liste des phrases du chunk courant
  23. current_embeddings = [] # Embeddings des phrases du chunk courant pour calculer la similarité
  24. for sentence in sentences:
  25. # Générer l'embedding de la phrase actuelle
  26. embedding = model.encode(sentence)
  27. if not current_embeddings:
  28. current_chunk.append(sentence)
  29. current_embeddings.append(embedding)
  30. else:
  31. # Calculer la similarité entre la phrase actuelle et toutes les phrases déjà dans le chunk courant
  32. similarities = cosine_similarity([embedding], current_embeddings)[0]
  33. # Si la similarité max est supérieure au seuil on considère que la phrase fait partie du même sujet
  34. if max(similarities) > similarity_threshold:
  35. current_chunk.append(sentence)
  36. current_embeddings.append(embedding)
  37. else:
  38. # on finalise le chunk courant seulement si il est assez long
  39. chunk_text = " ".join(current_chunk)
  40. if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
  41. chunks.append(chunk_text)
  42. # on démarre un nouveau chunk
  43. current_chunk = [sentence]
  44. current_embeddings = [embedding]
  45. # Ajouter le dernier chunk à la fin, s'il est assez long
  46. if current_chunk:
  47. chunk_text = " ".join(current_chunk)
  48. if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
  49. chunks.append(chunk_text)
  50. return chunks