| 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647 |
- from agent_ai.chunking import semantic_chunking
- import pytest
- def test_similar_sentences_grouped():
- sentences = [
- "L'intelligence artificielle est en plein essor.",
- "L'IA transforme de nombreux secteurs.",
- "Les modèles de langage sont au cœur de cette révolution."
- ]
- chunks = semantic_chunking(sentences, similarity_threshold=0.2)
- assert len(chunks) == 1 # Toutes les phrases sont similaires → 1 chunk
- def test_dissimilar_sentences_separated():
- sentences = [
- "Paris est la capitale de la France.",
- "Le moteur de voiture est tombé en panne.",
- "Python est un langage de programmation populaire.",
- "La météo aujourd'hui est très ensoleillée avec peu de vent.",
- "Les baleines migrent chaque année vers des eaux plus chaudes.",
- "La cuisson du pain nécessite de la patience et une bonne température.",
- "Le football est l’un des sports les plus pratiqués dans le monde.",
- "La musique classique a une influence apaisante sur le cerveau.",
- "Les ordinateurs quantiques représentent l’avenir de la technologie.",
- "L’astronomie permet d’explorer les mystères de l’univers."
- ]
- chunks = semantic_chunking(sentences, similarity_threshold=0.7)
- assert len(chunks) >= 2 # Elles devraient être séparées
- def test_short_sentences_ignored():
- sentences = [
- "Ok.",
- "Bonjour.",
- "Merci.",
- "Très bien.",
- "Ça va."
- ]
- chunks = semantic_chunking(sentences)
- assert len(chunks) == 0 # Trop courtes -> ignorées
- def test_min_words_per_chunk_respected():
- sentences = ["Ceci est une phrase pertinente."] * 20 # Répétition pour atteindre 20+ mots
- chunks = semantic_chunking(sentences)
- assert all(len(c.split()) >= 20 for c in chunks)
- def test_empty_input():
- chunks = semantic_chunking([])
- assert chunks == []
|