test_chunking.py 1.9 KB

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647
  1. from agent_ai.chunking import semantic_chunking
  2. import pytest
  3. def test_similar_sentences_grouped():
  4. sentences = [
  5. "L'intelligence artificielle est en plein essor.",
  6. "L'IA transforme de nombreux secteurs.",
  7. "Les modèles de langage sont au cœur de cette révolution."
  8. ]
  9. chunks = semantic_chunking(sentences, similarity_threshold=0.2)
  10. assert len(chunks) == 1 # Toutes les phrases sont similaires → 1 chunk
  11. def test_dissimilar_sentences_separated():
  12. sentences = [
  13. "Paris est la capitale de la France.",
  14. "Le moteur de voiture est tombé en panne.",
  15. "Python est un langage de programmation populaire.",
  16. "La météo aujourd'hui est très ensoleillée avec peu de vent.",
  17. "Les baleines migrent chaque année vers des eaux plus chaudes.",
  18. "La cuisson du pain nécessite de la patience et une bonne température.",
  19. "Le football est l’un des sports les plus pratiqués dans le monde.",
  20. "La musique classique a une influence apaisante sur le cerveau.",
  21. "Les ordinateurs quantiques représentent l’avenir de la technologie.",
  22. "L’astronomie permet d’explorer les mystères de l’univers."
  23. ]
  24. chunks = semantic_chunking(sentences, similarity_threshold=0.7)
  25. assert len(chunks) >= 2 # Elles devraient être séparées
  26. def test_short_sentences_ignored():
  27. sentences = [
  28. "Ok.",
  29. "Bonjour.",
  30. "Merci.",
  31. "Très bien.",
  32. "Ça va."
  33. ]
  34. chunks = semantic_chunking(sentences)
  35. assert len(chunks) == 0 # Trop courtes -> ignorées
  36. def test_min_words_per_chunk_respected():
  37. sentences = ["Ceci est une phrase pertinente."] * 20 # Répétition pour atteindre 20+ mots
  38. chunks = semantic_chunking(sentences)
  39. assert all(len(c.split()) >= 20 for c in chunks)
  40. def test_empty_input():
  41. chunks = semantic_chunking([])
  42. assert chunks == []