Selaa lähdekoodia

Initial commit

augustin.podvin 1 vuosi sitten
commit
b3a247274d
12 muutettua tiedostoa jossa 1237 lisäystä ja 0 poistoa
  1. 3 0
      .gitignore
  2. 1 0
      README.md
  3. 0 0
      __init__.py
  4. 572 0
      agent_ai/ai.py
  5. 43 0
      agent_ai/auth.py
  6. 59 0
      agent_ai/chunking.py
  7. 32 0
      agent_ai/embedding_index.py
  8. 135 0
      agent_ai/main.py
  9. 30 0
      agent_ai/qa_chain.py
  10. 36 0
      agent_ai/scraping.py
  11. 326 0
      agent_ai/wiki.py
  12. 0 0
      requirements.txt

+ 3 - 0
.gitignore

@@ -0,0 +1,3 @@
+".venv/" 
+"__pycache__/" 
+.venv/

+ 1 - 0
README.md

@@ -0,0 +1 @@
+"# Agent AI" 

+ 0 - 0
__init__.py


+ 572 - 0
agent_ai/ai.py

@@ -0,0 +1,572 @@
+import gradio as gr
+import pdfplumber
+import pandas as pd
+import faiss
+from sentence_transformers import SentenceTransformer
+from langchain_community.llms import Ollama
+import pytesseract
+from PIL import Image
+import requests
+from bs4 import BeautifulSoup
+import json
+from serpapi import GoogleSearch
+
+# --- Initialisation des modèles ---
+embedding_model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
+llm = Ollama(model="mistral")
+
+# --- Variables globales ---
+text_chunks = []
+Livinweb_chunks = []
+faiss_index = None
+chat_history = []
+
+session = requests.Session()
+
+# --- serpAPI ---
+SERPAPI_API_KEY = ""  
+
+def serpapi_search(query, num_results=3):
+    try:
+        params = {
+            "q": query,
+            "api_key": SERPAPI_API_KEY,
+            "num": num_results
+        }
+        search = GoogleSearch(params)
+        results = search.get_dict()
+        snippets = []
+        if "organic_results" in results:
+            for item in results["organic_results"][:num_results]:
+                title = item.get("title", "")
+                snippet = item.get("snippet", "")
+                link = item.get("link", "")
+                snippets.append(f"{title}\n{snippet}\n{link}")
+        return "\n\n".join(snippets)
+    except Exception as e:
+        return f"❌ Erreur SerpApi: {e}"
+
+
+# --- Fonctions Wiki ---
+def extract_wiki_pages(urls):
+    wiki_texts = []
+    for url in urls:
+        try:
+            r = session.get(url)
+            soup = BeautifulSoup(r.text, "html.parser")
+            div = soup.find("div", {"class": "page"})
+            if div:
+                wiki_texts.append(div.get_text(separator="\n", strip=True))
+        except Exception as e:
+            print(f"Erreur extraction wiki {url}: {e}")
+    return wiki_texts
+
+# --- Fonctions d'extraction ---
+def extract_text_from_pdfs(files):
+    texts = []
+    for file in files:
+        try:
+            with pdfplumber.open(file.name) as pdf:
+                for page in pdf.pages:
+                    text = page.extract_text()
+                    if text:
+                        texts.append(text)
+        except Exception as e:
+            print(f"Erreur lecture PDF {file.name}: {e}")
+    return texts
+
+def extract_text_from_txt(files):
+    texts = []
+    for file in files:
+        try:
+            with open(file.name, "r", encoding="utf-8") as f:
+                texts.append(f.read())
+        except Exception as e:
+            print(f"Erreur lecture TXT {file.name}: {e}")
+    return texts
+
+def extract_text_from_csv(files):
+    texts = []
+    for file in files:
+        try:
+            df = pd.read_csv(file.name, encoding="utf-8")
+            content = df.astype(str).apply(lambda row: ' '.join(row.values), axis=1).str.cat(sep=' ')
+            texts.append(content)
+        except Exception as e:
+            print(f"Erreur lecture CSV {file.name}: {e}")
+    return texts
+
+def extract_text_from_images(files):
+    texts = []
+    for file in files:
+        try:
+            image = Image.open(file.name)
+            text = pytesseract.image_to_string(image, lang='fra')
+            if text:
+                texts.append(text)
+        except Exception as e:
+            print(f"Erreur OCR pour l'image {file.name} : {e}")
+    return texts
+
+def extract_text(files):
+    all_texts = []
+    for file in files:
+        name = file.name.lower()
+        if name.endswith(".pdf"):
+            all_texts.extend(extract_text_from_pdfs([file]))
+        elif name.endswith(".txt"):
+            all_texts.extend(extract_text_from_txt([file]))
+        elif name.endswith(".csv"):
+            all_texts.extend(extract_text_from_csv([file]))
+        elif name.endswith((".png", ".jpg", ".jpeg")):
+            all_texts.extend(extract_text_from_images([file]))
+        else:
+            print(f"Extension non prise en charge : {file.name}")
+    return all_texts
+
+# --- Analyse et indexation ---
+def contains_Livinweb(text):
+    text_clean = text.lower()
+    keywords = ["livinweb", "intersel"]
+    return any(keyword in text_clean for keyword in keywords)
+
+def create_faiss_index(texts):
+    global faiss_index
+    embeddings = embedding_model.encode(texts, convert_to_numpy=True)
+    dim = embeddings.shape[1]
+    index = faiss.IndexFlatL2(dim)
+    index.add(embeddings)
+    faiss_index = index
+    return index
+
+def load_documents(files):
+    global text_chunks, Livinweb_chunks, faiss_index
+
+    if not files:
+        return "⚠️ Aucun fichier fourni. Le chargement est facultatif, mais au moins un fichier ou le Wiki est requis pour interroger l'assistant."
+
+    texts = extract_text(files)
+    if not texts:
+        return "⚠️ Aucun texte extrait des fichiers fournis."
+
+    chunks = texts
+    Livinweb_chunks_local = [c for c in chunks if contains_Livinweb(c)]
+    
+    if Livinweb_chunks_local:
+        Livinweb_chunks.extend(Livinweb_chunks_local)
+        create_faiss_index(Livinweb_chunks)
+        return f"📄 {len(Livinweb_chunks_local)} chunks Livinweb chargés (total {len(Livinweb_chunks)})."
+    else:
+        return "⚠️ Aucun contenu Livinweb détecté dans les fichiers."
+
+# --- Fonctions Wiki ---
+def login_to_wiki(username, password):
+    url = "https://wiki.intersel.fr/doku.php?id=start&do=login"
+    data = {'u': username, 'p': password, 'do': 'login'}
+    resp = session.post(url, data=data)
+    print("Status:", resp.status_code)
+    print("Response snippet:", resp.text[:500])
+    return 'logout' in resp.text.lower()
+
+def load_wiki_content(url_str):
+    global Livinweb_chunks, faiss_index
+    urls = [u.strip() for u in url_str.split(",") if u.strip()]
+    pages = extract_wiki_pages(urls)
+    if not pages:
+        return "⚠️ Aucune page wiki récupérée."
+    Livinweb_chunks.extend(pages)
+    create_faiss_index(Livinweb_chunks)
+    return f"🌐 {len(pages)} pages du wiki indexées (total {len(Livinweb_chunks)})."
+
+def reset_chat():
+    global chat_history
+    chat_history = []
+    return [], "", ""
+
+
+def generate_answer(question, history):
+    global faiss_index, Livinweb_chunks, chat_history
+
+    PHRASES_VAGUES = [
+        "peut être trouvée", "vous pouvez consulter", "chercher dans la section",
+        "voir la page", "trouver les informations", "informations pertinentes",
+        "vous trouverez", "naviguer vers", "consulter", "je ne sais pas", "je ne suis pas sûr"
+    ]
+
+    def is_response_useful(text):
+        """Retourne False si la réponse est vague ou trop courte."""
+        if not text or len(text.strip()) < 30:
+            return False
+        text = text.lower()
+        return not any(phrase in text for phrase in PHRASES_VAGUES)
+
+    def search_web(question):
+        print("🔍 Utilisation de SerpAPI...")
+        google_results = serpapi_search(question)
+        if not google_results or google_results.startswith("❌ Erreur"):
+            return ("⚠️ Je n'ai pas trouvé de résultats pertinents sur le web actuellement. "
+                    "Pouvez-vous reformuler ou poser une autre question ?")
+        try:
+            prompt = f"Voici des résultats de recherche web pertinents :\n{google_results}\n\nQuestion: {question}\nRéponse:"
+            response = llm.invoke(prompt).strip()
+            return response.split("Réponse:")[-1].strip()
+        except Exception as e:
+            return f"❌ Erreur génération depuis le web : {e}"
+
+    def answer_from_documents(question, top_k=2):
+        if not faiss_index or not Livinweb_chunks:
+            return None
+
+        q_emb = embedding_model.encode([question], convert_to_numpy=True)
+        D, I = faiss_index.search(q_emb, top_k)
+        print(f"📥 Résultats FAISS récupérés (sans utiliser la distance).")
+
+        context = "\n\n".join(
+            Livinweb_chunks[i][:500] for i in I[0] if i < len(Livinweb_chunks)
+        )
+        prompt = f"Contexte:\n{context}\n\nQuestion: {question}\nRéponse:"
+        try:
+            response = llm.invoke(prompt).strip()
+            return response.split("Réponse:")[-1].strip()
+        except Exception as e:
+            return f"❌ Erreur génération depuis les documents : {e}"
+
+    answer = answer_from_documents(question)
+
+# 2. Si réponse vague → on passe à SerpAPI
+    if answer is None or not is_response_useful(answer):
+        print("⚠️ Réponse document jugée insuffisante. Passage au web.")
+        answer = search_web(question)
+
+    chat_history.append([question, answer])
+    return chat_history, "", ""
+
+def is_response_useful(text):
+    """Retourne False si la réponse est vague, générique ou indique l'absence d'info."""
+    if not text or len(text.strip()) < 30:
+        return False
+
+    text = text.lower()
+
+    PHRASES_VAGUES = [
+        "je ne sais pas", "je ne suis pas sûr", "aucune information", 
+        "il serait utile", "référez-vous", "veuillez consulter",
+        "non spécifié", "n'est pas mentionné", "pas indiqué",
+        "je ne peux pas", "vous pouvez chercher", "informations non disponibles"
+    ]
+
+    for phrase in PHRASES_VAGUES:
+        if phrase in text:
+            return False
+
+    return True
+
+
+
+# --- Initial login and wiki loading ---
+login_page_url = "https://wiki.intersel.fr/doku.php?id=start&do=login"
+resp = session.get(login_page_url)
+soup = BeautifulSoup(resp.text, "html.parser")
+
+csrf_token = None
+token_input = soup.find("input", {"name": "token"})
+if token_input:
+    csrf_token = token_input.get("value")
+
+login_data = {
+    "u": "",
+    "p": "",
+    "do": "login"
+}
+if csrf_token:
+    login_data["token"] = csrf_token
+
+headers = {
+    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0 Safari/537.36",
+    "Referer": login_page_url
+}
+
+login_resp = session.post(login_page_url, data=login_data, headers=headers)
+
+if "logout" in login_resp.text.lower():
+    print("✅ Login successful!")
+
+    default_wiki_urls = [
+        "https://wiki.intersel.fr/doku.php?id=start",
+        "https://wiki.intersel.fr/doku.php?id=projets:samsic:anticipia:start",
+        "https://wiki.intersel.fr/doku.php?id=projets:samsic:start",
+        "https://wiki.intersel.fr/doku.php?id=projets:samsic:agentai:start",
+        "https://wiki.intersel.fr/doku.php?id=intersel:presentation_equipe",
+        "https://wiki.intersel.fr/doku.php?id=intersel:presentation",
+        "https://wiki.intersel.fr/doku.php?id=intersel:resume_annuaire",
+        "https://wiki.intersel.fr/doku.php?id=intersel:resume_viadeo",
+        "https://wiki.intersel.fr/doku.php?id=intersel:resume_clients",
+        "https://wiki.intersel.fr/doku.php?id=intersel:rh:guide_pour_les_nouveaux_arrivants",
+        "https://wiki.intersel.fr/doku.php?id=intersel:technique",
+        "https://wiki.intersel.fr/doku.php?id=intersel:rh:formulaires",
+        "https://wiki.intersel.fr/doku.php?id=intersel:frontend_des_applications_de_suivi_et_de_gestion_des_projet",
+        "https://wiki.intersel.fr/doku.php?id=intersel:reunions_internes:reunion_20131210",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:campagne_no_stress:reunions:reunion_20130405",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:campagne_no_stress:reunions:reunion_20130307", 
+        "https://wiki.intersel.fr/doku.php?id=intersel:reunions_internes:reunion_20121112",
+        "https://wiki.intersel.fr/doku.php?id=intersel:reunions_internes:reunion_20111010",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:entretiens:stagiaires",
+        "https://wiki.intersel.fr/doku.php?id=intersel",
+        "https://wiki.intersel.fr/doku.php?id=intersel:rh",
+        "https://wiki.intersel.fr/doku.php?id=intersel:rh:inboarding",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:liste_de_selection_intersel_de_modeles_de_sites_web",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:aide_integration_fckeditor",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:tutorials",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:tutorials:git",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:aide_commande_mysql",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:tutoriaux",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:securite",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:securite:cloud",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:securite:cloud:securite",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:securite:site_hacke",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:securite:site_hacke:antivirus_site",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:securite:site_hacke:surveillance_site",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:exchange",
+        "https://wiki.intersel.fr/doku.php?id=intersel:aides:exchange:win_seven_pro_outlook_2010",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:demos",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:demos:skydocks",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:demos:skydocks:cdc",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:demos:skydocks:cdc:sso_saml",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:demos:skydocks:specs",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:demos:skydocks:specs:sso_openid_connect",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:demos:skydocks:specs:crud_compte",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:demos:skydocks:specs:crud_compte:realisation",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:skydocks",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:skydocks:guides",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:skydocks:guides:administrateur",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:skydocks:guides:developpeur",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:skydocks:marketing",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:skydocks:installation_configuration",
+        "https://wiki.intersel.fr/doku.php?id=intersel:produits:skydocks:evolutions",
+        "https://wiki.intersel.fr/doku.php?id=intersel:prestataires",
+        "https://wiki.intersel.fr/doku.php?id=intersel:prestataires:amazili",
+        "https://wiki.intersel.fr/doku.php?id=intersel:prestataires:lets_encrypt",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:microsoft_iis",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:ultravnc",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:microsoft_sql_server_express",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:pagemodele",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:gimp",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:phpunit",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:unbound",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:html5",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:html5:scss",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:faire_presentation_en_ligne",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:kaspersky",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:browser-sync",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:word",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:git",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:git:github",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:git:gogs",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:tightvnc",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:virtualbox",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:mantis",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:mantis:plugins",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:thunderbird",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:browser",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:sugarcrm",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:typekit",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:syncbackpro",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:adminer",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:vim",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:baikal",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:joe",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:eclipse",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:eclipse:svn",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:libreoffice",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:jwplayer",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:mailjet",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:atom",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:dolibarr",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:guide_de_developpement_intersel:les_logiciels:bouml",
+        "https://wiki.intersel.fr/doku.php?id=intersel:guides:entretiens",
+        "https://wiki.intersel.fr/doku.php?id=intersel:marketing",
+        "https://wiki.intersel.fr/doku.php?id=intersel:marketing:arguments",
+        "https://wiki.intersel.fr/doku.php?id=intersel:marketing:reflexions",
+        "https://wiki.intersel.fr/doku.php?id=intersel:marketing:presentations",
+        "https://wiki.intersel.fr/doku.php?id=intersel:marketing:modx",
+        "https://wiki.intersel.fr/doku.php?id=intersel:marketing:automatisation",
+        "https://wiki.intersel.fr/doku.php?id=intersel:marketing:david_edny",
+        "https://wiki.intersel.fr/doku.php?id=intersel:divers",
+        "https://wiki.intersel.fr/doku.php?id=intersel:divers:repas_noel",
+        "https://wiki.intersel.fr/doku.php?id=intersel:divers:exemples_courriers",
+        "https://wiki.intersel.fr/doku.php?id=intersel:reunions_internes",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite:procedures",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite:guides",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite:ressources",
+        "https://wiki.intersel.fr/doku.php?id=intersel:archives",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite:cdc",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite:gestion_demandes_client",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite:modeles_des_documents",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite:modeles_des_documents:bureaucracy_forms",
+        "https://wiki.intersel.fr/doku.php?id=intersel:le_referentiel_qualite:accessibilite",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:campagne_no_stress",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:campagne_no_stress:reunions",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:slc_suivi_livrables_client",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:site_intersel",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:mep_dolibarr",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:sas",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:afp",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:librairies",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:librairies:upi",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:librairies:uji",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:psi",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:psi:sbl",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:psi:sbl:aa",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:psi:prototype",
+        "https://wiki.intersel.fr/doku.php?id=intersel:projets_internes:psi:documentation",
+        "https://wiki.intersel.fr/doku.php?id=intersel:securite",
+        "https://wiki.intersel.fr/doku.php?id=bpmcompany",
+        "https://wiki.intersel.fr/doku.php?id=bpmcompany:hebergement_bonita",
+        "https://wiki.intersel.fr/doku.php?id=bpmcompany:hebergement_bonita:installations",
+        "https://wiki.intersel.fr/doku.php?id=bpmcompany:hebergement_bonita:installations:ubuntu",
+        "https://wiki.intersel.fr/doku.php?id=bpmcompany:hebergement_bonita:installations:debian",
+        "https://wiki.intersel.fr/doku.php?id=technique",
+        "https://wiki.intersel.fr/doku.php?id=technique:openconcerto",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:dedies",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:dedies:91.121.147.29",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:mails",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:mails:aides_powermail",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:archinet",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:comparatif_prix",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:online",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:architecture_intersel_2014",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:ikoula",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:backups",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:backups:scripts",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:interne",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:mutualise",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:mutualise:haysoft",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:mutualise:ovh",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:mutualise:ovh:720gp",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:scaleway",
+        "https://wiki.intersel.fr/doku.php?id=technique:hebergement:ovh",
+        "https://wiki.intersel.fr/doku.php?id=technique:reseau",
+        "https://wiki.intersel.fr/doku.php?id=technique:reseau:switch",
+        "https://wiki.intersel.fr/doku.php?id=technique:matomo",
+        "https://wiki.intersel.fr/doku.php?id=technique:mysql",
+        "https://wiki.intersel.fr/doku.php?id=technique:svn",
+        "https://wiki.intersel.fr/doku.php?id=technique:marketing-automation",
+        "https://wiki.intersel.fr/doku.php?id=technique:marketing-automation:pardot",
+        "https://wiki.intersel.fr/doku.php?id=technique:marketing-automation:email",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:start",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:start:codes_source_utiles",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:start:codes_source_utiles:javascript",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:start:codes_source_utiles:javascript:framework",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:start:codes_source_utiles:javascript:dg-spinner",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:start:cdc",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:start:aides_hebergement",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:start:aides_hebergement:copie_vm_mutu",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:docker",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:zabbix",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:containerisation",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:nas",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:postfix",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:tomcat",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:tomcat:debian",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:java",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:serveur_nginx",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:template",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:template:git",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:proxmox",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:proxmox2",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:serveur_dedie_linux:postfixadmin",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:linux_serveur_dedie_linux_template",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:linux_serveur_dedie_linux_template:postfix",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:fichiers_linux",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:fichiers_linux:htaccess",
+        "https://wiki.intersel.fr/doku.php?id=technique:linux:memcached",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:traductions",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:google_translate",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:selenium",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:postman",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:git",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:gitlab",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:configuration",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:pipelines",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:plugin",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:sonar",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:slave",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:slave:windows",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:slave:linux",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:master_slave",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:pr",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example2",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example3",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example4",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example5",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example6",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example7",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example8",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example9",
+        "https://wiki.intersel.fr/doku.php?id=technique:outils:jenkins:multibranch_pipelines:example10"
+
+
+    ]
+
+    wiki_texts = extract_wiki_pages(default_wiki_urls)
+    if wiki_texts:
+        Livinweb_chunks.extend(wiki_texts)
+        create_faiss_index(Livinweb_chunks)
+        print("Nombre d'éléments dans l'index FAISS :", faiss_index.ntotal)
+
+        print("Index FAISS créé avec", len(Livinweb_chunks), "chunks")
+
+        print(f"🌐 {len(wiki_texts)} pages wiki chargées et indexées.")
+    else:
+        print("⚠️ Impossible de récupérer les pages wiki.")
+
+else:
+    print("❌ Échec du login wiki.")
+
+# --- Interface Gradio ---
+with gr.Blocks() as demo:
+    gr.Markdown("# Assistant Livinweb")
+
+    with gr.Row():
+        file_input = gr.File(label="Téléversez vos documents (PDF, TXT, CSV, Images)", 
+                             file_types=[".pdf", ".txt", ".csv", ".png", ".jpg", ".jpeg"], 
+                             file_count="multiple")
+        load_files_btn = gr.Button("Charger les documents")
+
+    chatbox = gr.Chatbot(label="Assistant Livinweb")
+    question_input = gr.Textbox(label="Posez votre question ici")
+    send_btn = gr.Button("Envoyer")
+    reset_btn = gr.Button("Réinitialiser la conversation")
+    status_output = gr.Textbox(label="Statut", interactive=False)
+
+    def on_load_files(files):
+        msg = load_documents(files)
+        return msg
+
+    def on_reset():
+        history, q, a = reset_chat()
+        return history, q, a, "✅ Conversation réinitialisée."
+
+    def on_send(question, chat_history):
+        chat_history, _, _ = generate_answer(question, chat_history)
+        return chat_history, "", ""
+
+    load_files_btn.click(on_load_files, inputs=[file_input], outputs=[status_output])
+    reset_btn.click(on_reset, outputs=[chatbox, question_input, status_output])
+    send_btn.click(on_send, inputs=[question_input, chatbox], outputs=[chatbox, question_input, status_output])
+
+demo.launch()

+ 43 - 0
agent_ai/auth.py

@@ -0,0 +1,43 @@
+"""
+auth.py 
+
+Gestion de l’authentification sur le wiki Intersel
+
+Ce module permet de se connecter au wiki en utilisant une session HTTP persistante et il récupère tout seul un code spécial (le token CSRF) nécessaire pour se connecter en toute sécurité
+"""
+
+import requests
+from bs4 import BeautifulSoup
+
+session = requests.Session()
+
+def login_to_wiki(username, password):
+    login_url = "https://wiki.intersel.fr/doku.php?id=start&do=login"
+    resp = session.get(login_url)
+    soup = BeautifulSoup(resp.text, "html.parser")
+    sectok_input = soup.find("input", {"name": "sectok"})
+
+    if not sectok_input:
+        print("❌ Impossible de trouver le token CSRF.")
+        return False
+
+    login_data = {
+        "u": username,
+        "p": password,
+        "do": "login",
+        "sectok": sectok_input.get("value")
+    }
+
+    headers = {
+        "User-Agent": "Mozilla/5.0",
+        "Referer": login_url
+    }
+
+    login_resp = session.post(login_url, data=login_data, headers=headers)
+
+    if "logout" in login_resp.text.lower():
+        print("✅ Connexion réussie.")
+        return True
+    else:
+        print("❌ Échec de la connexion.")
+        return False

+ 59 - 0
agent_ai/chunking.py

@@ -0,0 +1,59 @@
+"""
+chunking.py 
+
+Ce module permet de regrouper des phrases qui parlent de la même chose
+Il utilise un modèle pour comprendre le sens des phrases et décide quelles phrases doivent être mises ensemble
+À la fin, il crée des blocs de texte (chunks) qui sont assez longs et qui parlent d’un seul sujet
+Ça aide à organiser le texte en morceaux faciles à lire et à analyser
+"""
+
+import nltk
+from sklearn.metrics.pairwise import cosine_similarity
+from sentence_transformers import SentenceTransformer
+
+# pour la tokenisation des phrases
+nltk.download('punkt')
+
+# model pour générer des embeddings
+model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
+
+MIN_WORDS_PER_CHUNK = 20
+
+"""
+Découpe une liste de phrases en "chunks" (groupes de phrases) basés sur la similarité sémantique.
+L'idée est de regrouper ensemble des phrases qui parlent d'un même sujet ou thème.
+"""
+def semantic_chunking(sentences, similarity_threshold=0.5):
+    chunks = []            # Liste finale des chunks
+    current_chunk = []     # Liste des phrases du chunk courant
+    current_embeddings = [] # Embeddings des phrases du chunk courant pour calculer la similarité
+
+    for sentence in sentences:
+        # Générer l'embedding de la phrase actuelle
+        embedding = model.encode(sentence)
+        if not current_embeddings:
+            current_chunk.append(sentence)
+            current_embeddings.append(embedding)
+        else:
+            # Calculer la similarité entre la phrase actuelle et toutes les phrases déjà dans le chunk courant
+            similarities = cosine_similarity([embedding], current_embeddings)[0]
+            # Si la similarité max est supérieure au seuil on considère que la phrase fait partie du même sujet
+            if max(similarities) > similarity_threshold:
+                current_chunk.append(sentence)
+                current_embeddings.append(embedding)
+            else:
+                # on finalise le chunk courant seulement si il est assez long
+                chunk_text = " ".join(current_chunk)
+                if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
+                    chunks.append(chunk_text)
+                # on démarre un nouveau chunk
+                current_chunk = [sentence]
+                current_embeddings = [embedding]
+
+    # Ajouter le dernier chunk à la fin, s'il est assez long
+    if current_chunk:
+        chunk_text = " ".join(current_chunk)
+        if len(chunk_text.split()) >= MIN_WORDS_PER_CHUNK:
+            chunks.append(chunk_text)
+
+    return chunks

+ 32 - 0
agent_ai/embedding_index.py

@@ -0,0 +1,32 @@
+"""
+Ce module permet de créer et utiliser un index FAISS pour rechercher rapidement des vecteurs similaires
+
+La fonction build_faiss_index construit un index à partir d’une liste de vecteurs (embeddings) en normalisant les vecteurs pour mesurer la similarité par cosinus
+
+La fonction search_faiss cherche les vecteurs les plus proches d’un vecteur donné (requête) et retourne les distances et positions des meilleurs résultats
+
+"""
+
+import numpy as np
+import faiss
+
+"""
+Construire un index FAISS à partir d'une matrice d'embeddings pour pouvoir faire des recherches rapides par similarité
+"""
+def build_faiss_index(embeddings):
+    # Récupère la dimension des vecteurs
+    dimension = embeddings.shape[1]
+    # Crée un index FAISS pour recherche par produit scalaire
+    index = faiss.IndexFlatIP(dimension)
+    # Normalise les vecteurs pour utiliser la similarité cosinus (norme L2 = 1)
+    faiss.normalize_L2(embeddings)
+    index.add(embeddings)
+    return index
+
+"""
+Trouver les top_k vecteurs les plus similaires à un vecteur de requête en utilisant la similarité cosinus
+"""
+def search_faiss(index, query_embedding, top_k=10):
+    faiss.normalize_L2(query_embedding)
+    distances, indices = index.search(query_embedding, top_k)
+    return distances[0], indices[0]

+ 135 - 0
agent_ai/main.py

@@ -0,0 +1,135 @@
+"""
+Programme principal
+"""
+
+import nltk
+import numpy as np
+import pandas as pd
+from sentence_transformers import SentenceTransformer, CrossEncoder
+from auth import login_to_wiki
+from scraping import fetch_all_pages_content
+from chunking import semantic_chunking, model
+from embedding_index import build_faiss_index, search_faiss
+from qa_chain import get_qa_chain
+import getpass
+import warnings 
+warnings.filterwarnings("ignore")
+
+def get_relevance_label(score):
+    if score >= 2.5:
+        return "✅ bon"
+    elif score >= 0:
+        return "⚠️ moyen"
+    else:
+        return "❌ faible"
+
+
+def ask_question_with_reranking(question, model, cross_encoder, index, chunks, chunk_urls, qa_chain, faiss_top_k=30, rerank_top_k=10):
+    question_embedding = model.encode([question], convert_to_tensor=False)
+    question_embedding = np.array(question_embedding).astype('float32')
+    if question_embedding.ndim == 1:
+        question_embedding = np.expand_dims(question_embedding, axis=0)
+
+    distances, indices = search_faiss(index, question_embedding, top_k=faiss_top_k)
+
+    candidates = []
+    for idx, dist in zip(indices, distances):
+        candidates.append({
+            "chunk": chunks[idx],
+            "url": chunk_urls[idx],
+            "index": idx,
+            "faiss_score": float(dist)
+        })
+
+    # Reranking
+    pairs = [[question, c["chunk"]] for c in candidates]
+    rerank_scores = cross_encoder.predict(pairs)
+    for i in range(len(candidates)):
+        candidates[i]["rerank_score"] = float(rerank_scores[i])
+
+    reranked = sorted(candidates, key=lambda x: x["rerank_score"], reverse=True)[:rerank_top_k]
+
+    print("\n🔍 Résultats re-rankés :")
+    df = pd.DataFrame([{
+        "Index": r["index"],
+        "URL": r["url"],
+        "Score CrossEncoder": round(r["rerank_score"], 4),
+        "Chunk": r["chunk"][:100] + "..." if len(r["chunk"]) > 100 else r["chunk"]
+    } for r in reranked])
+    df["Pertinence"] = df["Score CrossEncoder"].apply(get_relevance_label)
+    pd.set_option('display.max_colwidth', None)
+
+    df_reranked = df.copy()  
+
+    # Tableau propre
+    colonnes_a_afficher = ['Index', 'URL', 'Score CrossEncoder', 'Pertinence', 'Chunk']
+    df_affichage = df_reranked[colonnes_a_afficher].copy()
+    df_affichage.reset_index(drop=True, inplace=True)
+
+    print("\n🎯 Résultats re-rankés (top 10) :")
+    print(df_affichage.head(10).to_string(index=True))
+
+    # Si tous les top chunks viennent d'une seule page
+    top_urls = [r["url"] for r in reranked]
+    unique_top_urls = list(set(top_urls))
+
+    if len(unique_top_urls) == 1:
+        print("ℹ️ Tous les meilleurs chunks viennent de la même page. Utilisation de l'ensemble de la page.")
+        full_context = "\n\n".join([
+            chunks[i] for i in range(len(chunks)) if chunk_urls[i] == unique_top_urls[0]
+        ])
+    else:
+        full_context = "\n\n".join([r["chunk"] for r in reranked])
+
+    result = qa_chain.run(context=full_context, question=question)
+    print(f"\n🤖 Réponse :\n{result}\n")
+
+
+
+if __name__ == "__main__":
+    nltk.download('punkt')
+    user = input("Entrez votre nom d'utilisateur : ")
+    pwd = getpass.getpass("Entrez votre mot de passe (entrée masquée) : ")
+    success = login_to_wiki(user, pwd)
+    if success:
+        wiki_urls = [
+            "https://wiki.intersel.fr/doku.php?id=intersel:presentation_equipe",
+            "https://wiki.intersel.fr/doku.php?id=intersel:presentation",
+            "https://wiki.intersel.fr/doku.php?id=intersel:guides:entretiens:stagiaires",
+            "https://wiki.intersel.fr/doku.php?id=projets:samsic:anticipia:start"
+        ]
+
+        url_texts = fetch_all_pages_content(wiki_urls)
+
+        all_chunks = []
+        chunk_urls = []
+
+        for url, text in url_texts.items():
+            print(f"\n--- Traitement de la page {url} ---")
+            sentences = nltk.sent_tokenize(text, language='french')
+            chunks = semantic_chunking(sentences)
+            print(f"Nombre de chunks : {len(chunks)}")
+            for i, chunk in enumerate(chunks):
+                print(f"Chunk {i+1} ({len(chunk.split())} mots): {chunk[:100]}{'...' if len(chunk) > 100 else ''}")
+                all_chunks.append(chunk)
+                chunk_urls.append(url)
+
+        print("\n✅ Génération des embeddings des chunks...")
+        chunk_embeddings = model.encode(all_chunks, convert_to_tensor=False, show_progress_bar=True)
+        chunk_embeddings = np.array(chunk_embeddings).astype('float32')
+
+        print("\n✅ Construction de l'index FAISS...")
+        index = build_faiss_index(chunk_embeddings)
+        print("✅ Index FAISS construit avec succès.")
+
+        cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
+        qa_chain = get_qa_chain()
+
+        while True:
+            question = input("❓ Posez votre question sur le Wiki ('exit' pour quitter) :\n> ")
+            if question.lower() in ["exit", "quit"]:
+                break
+            ask_question_with_reranking(
+                question, model, cross_encoder, index,
+                all_chunks, chunk_urls, qa_chain
+            )

+ 30 - 0
agent_ai/qa_chain.py

@@ -0,0 +1,30 @@
+"""
+Ce module crée une chaîne de questions-réponses (Q&A) basée sur un modèle d'IA (llama3)
+Il définit un modèle de question (prompt) que le modèle doit suivre :
+→ Il doit répondre uniquement avec les informations fournies dans le contexte
+→ S’il ne sait pas, il doit dire "Je ne sais pas." et ne rien inventer
+"""
+
+from langchain_community.llms import Ollama
+from langchain.prompts import PromptTemplate
+from langchain.chains import LLMChain
+
+prompt_template = PromptTemplate(
+    input_variables=["context", "question"],
+    template="""
+Tu es un assistant expert du wiki interne d'Intersel. Réponds uniquement à partir du CONTEXTE donné. 
+Si aucune information pertinente n'est disponible, dis "Je ne sais pas." sans inventer.
+
+CONTEXTE :
+{context}
+
+QUESTION :
+{question}
+
+RÉPONSE :
+"""
+)
+
+def get_qa_chain():
+    llm = Ollama(model="llama3")
+    return LLMChain(llm=llm, prompt=prompt_template)

+ 36 - 0
agent_ai/scraping.py

@@ -0,0 +1,36 @@
+"""
+scraping.py
+
+Récupération du contenu de plusieurs pages web en accédant à leur mode édition
+
+"""
+
+from bs4 import BeautifulSoup
+from auth import session
+
+"""
+Récupère le contenu de plusieurs pages web en accédant à leur mode édition
+"""
+def fetch_all_pages_content(urls):
+    url_texts = {}
+    for url in urls:
+        try:
+            # modifier l'url pour accéder à la version édition de la page 
+            edit_url = url + "&do=edit" if "?" in url else url + "?do=edit"
+            response = session.get(edit_url)
+            if response.status_code == 200:
+                soup = BeautifulSoup(response.text, "html.parser")
+                # Trouver la balise <textarea name="wikitext">
+                textarea = soup.find("textarea", {"name": "wikitext"})
+                if textarea:
+                    raw_text = textarea.text  # Extraire le contenu texte brut
+                    url_texts[url] = raw_text  # Enregistrer dans le dictionnaire
+                else:
+                    print(f"⚠️ Pas de balise <textarea> trouvée pour {edit_url}.")
+            else:
+                print(f"⚠️ Erreur d'accès à {edit_url} : code {response.status_code}")
+        except Exception as e:
+            print(f"❌ Exception pour {url}: {e}")
+    return url_texts
+
+

+ 326 - 0
agent_ai/wiki.py

@@ -0,0 +1,326 @@
+import requests
+from bs4 import BeautifulSoup
+from langchain_community.llms import Ollama
+from langchain.prompts import PromptTemplate
+from langchain.chains import LLMChain
+import warnings
+import nltk
+import spacy
+from nltk.corpus import stopwords
+from sentence_transformers import SentenceTransformer, CrossEncoder
+import torch
+import pandas as pd
+import faiss
+import numpy as np
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+import json
+from urllib.parse import urljoin, urlparse
+from bs4 import SoupStrainer
+from sklearn.metrics.pairwise import cosine_similarity
+import getpass
+
+#username = input("Nom d'utilisateur : ")
+#password = getpass.getpass("Mot de passe : ")
+#login_to_wiki(username, password)
+
+warnings.filterwarnings("ignore")
+
+nltk.download('punkt')
+nltk.download('stopwords')
+
+stop_words = set(stopwords.words('french'))
+nlp = spacy.load('fr_core_news_sm')
+
+session = requests.Session()
+
+def login_to_wiki(username, password):
+    login_url = "https://wiki.intersel.fr/doku.php?id=start&do=login"
+    resp = session.get(login_url)
+    soup = BeautifulSoup(resp.text, "html.parser")
+    sectok_input = soup.find("input", {"name": "sectok"})
+
+    if not sectok_input:
+        print("❌ Impossible de trouver le token CSRF.")
+        return False
+
+    login_data = {
+        "u": username,
+        "p": password,
+        "do": "login",
+        "sectok": sectok_input.get("value")
+    }
+
+    headers = {
+        "User-Agent": "Mozilla/5.0",
+        "Referer": login_url
+    }
+
+    login_resp = session.post(login_url, data=login_data, headers=headers)
+
+    if "logout" in login_resp.text.lower():
+        print("✅ Connexion réussie.")
+        return True
+    else:
+        print("❌ Échec de la connexion.")
+        return False
+
+def extract_visible_text(html):
+    soup = BeautifulSoup(html, "html.parser")
+    for tag in soup(["script", "style", "header", "footer", "nav"]):
+        tag.decompose()
+    text = soup.get_text(separator="\n")
+    lines = [line.strip() for line in text.splitlines() if line.strip()]
+    return "\n".join(lines)
+
+#def clean_text(text):
+ #   doc = nlp(text)
+  #  tokens = [token.text for token in doc if token.text.lower() not in stop_words and token.text.strip() != ""]
+   # return ' '.join(tokens)
+
+def chunk_by_titles(text):
+    """
+    Découpe le texte en chunks basés sur les titres DokuWiki (=, ==, === etc).
+    Chaque chunk correspond à une section commençant par un titre.
+    """
+    chunks = []
+    current_chunk = []
+
+    lines = text.split('\n')
+    for line in lines:
+        # Si la ligne commence par un signe '=' => début d'un nouveau chunk
+        if line.strip().startswith('='):
+            # Si on a déjà un chunk en cours, on l'ajoute à la liste
+            if current_chunk:
+                chunks.append('\n'.join(current_chunk).strip())
+                current_chunk = []
+            current_chunk.append(line)
+        else:
+            current_chunk.append(line)
+
+    # Ajouter le dernier chunk
+    if current_chunk:
+        chunks.append('\n'.join(current_chunk).strip())
+
+    return chunks
+
+def fetch_all_pages_content(urls):
+    url_texts = {}
+    for url in urls:
+        try:
+            edit_url = url + "&do=edit" if "?" in url else url + "?do=edit"
+            response = session.get(edit_url)
+            if response.status_code == 200:
+                soup = BeautifulSoup(response.text, "html.parser")
+                textarea = soup.find("textarea", {"name": "wikitext"})
+                if textarea:
+                    raw_text = textarea.text
+                    url_texts[url] = raw_text
+                else:
+                    print(f"⚠️ Pas de balise <textarea> trouvée pour {edit_url}.")
+            else:
+                print(f"⚠️ Erreur d'accès à {edit_url} : code {response.status_code}")
+        except Exception as e:
+            print(f"❌ Exception pour {url}: {e}")
+    return url_texts
+
+
+def build_faiss_index(embeddings):
+    dimension = embeddings.shape[1]
+    index = faiss.IndexFlatIP(dimension)
+    faiss.normalize_L2(embeddings)
+    index.add(embeddings)
+    return index
+
+def search_faiss(index, query_embedding, top_k=10):
+    faiss.normalize_L2(query_embedding)
+    distances, indices = index.search(query_embedding, top_k)
+    return distances[0], indices[0]
+
+
+def get_relevance_label(score):
+    if score >= 2.5:
+        return "✅ bon"
+    elif score >= 0:
+        return "⚠️ moyen"
+    else:
+        return "❌ faible"
+
+
+def ask_question_with_reranking(question, model, cross_encoder, index, chunks, chunk_urls, qa_chain, faiss_top_k=30, rerank_top_k=10):
+    question_embedding = model.encode([question], convert_to_tensor=False)
+    question_embedding = np.array(question_embedding).astype('float32')
+    if question_embedding.ndim == 1:
+        question_embedding = np.expand_dims(question_embedding, axis=0)
+
+    distances, indices = search_faiss(index, question_embedding, top_k=faiss_top_k)
+
+    candidates = []
+    for idx, dist in zip(indices, distances):
+        candidates.append({
+            "chunk": chunks[idx],
+            "url": chunk_urls[idx],
+            "index": idx,
+            "faiss_score": float(dist)
+        })
+
+    # Reranking
+    pairs = [[question, c["chunk"]] for c in candidates]
+    rerank_scores = cross_encoder.predict(pairs)
+    for i in range(len(candidates)):
+        candidates[i]["rerank_score"] = float(rerank_scores[i])
+
+    reranked = sorted(candidates, key=lambda x: x["rerank_score"], reverse=True)[:rerank_top_k]
+
+    print("\n🔍 Résultats re-rankés :")
+    df = pd.DataFrame([{
+        "Index": r["index"],
+        "URL": r["url"],
+        "Score CrossEncoder": round(r["rerank_score"], 4),
+        "Chunk": r["chunk"][:100] + "..." if len(r["chunk"]) > 100 else r["chunk"]
+    } for r in reranked])
+    df["Pertinence"] = df["Score CrossEncoder"].apply(get_relevance_label)
+    pd.set_option('display.max_colwidth', None)
+
+    df_reranked = df.copy()  
+
+    # Affichage formaté ligne par ligne
+    for i, row in df_reranked.iterrows():
+        print(f"{i:>3}  {row['URL']:<70}  {row['Score CrossEncoder']:.4f}  {row['Pertinence']}")
+        print(f"{row['Chunk'][:150]}...\n")
+
+    # Tableau propre
+    colonnes_a_afficher = ['Index', 'URL', 'Score CrossEncoder', 'Pertinence', 'Chunk']
+    df_affichage = df_reranked[colonnes_a_afficher].copy()
+    df_affichage.reset_index(drop=True, inplace=True)
+
+    print("\n🎯 Résultats re-rankés (top 10) :")
+    print(df_affichage.head(10).to_string(index=True))
+
+    # Si tous les top chunks viennent d'une seule page
+    top_urls = [r["url"] for r in reranked]
+    unique_top_urls = list(set(top_urls))
+
+    if len(unique_top_urls) == 1:
+        print("ℹ️ Tous les meilleurs chunks viennent de la même page. Utilisation de l'ensemble de la page.")
+        full_context = "\n\n".join([
+            chunks[i] for i in range(len(chunks)) if chunk_urls[i] == unique_top_urls[0]
+        ])
+    else:
+        full_context = "\n\n".join([r["chunk"] for r in reranked])
+
+    result = qa_chain.run(context=full_context, question=question)
+    print(f"\n🤖 Réponse :\n{result}\n")
+
+
+
+def semantic_chunking(sentences, similarity_threshold=0.5):
+    chunks = []
+    current_chunk = []
+    current_embeddings = []
+    
+    for sentence in sentences:
+        embedding = model.encode(sentence)
+        if not current_embeddings:
+            current_chunk.append(sentence)
+            current_embeddings.append(embedding)
+        else:
+            similarities = cosine_similarity([embedding], current_embeddings)[0]
+            if max(similarities) > similarity_threshold:
+                current_chunk.append(sentence)
+                current_embeddings.append(embedding)
+            else:
+                chunks.append(" ".join(current_chunk))
+                current_chunk = [sentence]
+                current_embeddings = [embedding]
+
+    if current_chunk:
+        chunks.append(" ".join(current_chunk))
+
+    return chunks
+
+
+
+if __name__ == "__main__":
+    model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
+
+    if login_to_wiki("nadine.elleuch", "witpowgeu!75"):
+        wiki_urls = [
+            "https://wiki.intersel.fr/doku.php?id=intersel:presentation_equipe",
+            "https://wiki.intersel.fr/doku.php?id=intersel:presentation",
+            "https://wiki.intersel.fr/doku.php?id=intersel:guides:entretiens:stagiaires",
+            "https://wiki.intersel.fr/doku.php?id=projets:samsic:anticipia:start"
+        ]
+
+        url_texts = fetch_all_pages_content(wiki_urls)
+
+        all_chunks = []
+        chunk_urls = []
+
+        for url, text in url_texts.items():
+            print(f"\n--- Traitement de la page {url} ---")
+
+            # Split the text into sentences
+            sentences = nltk.sent_tokenize(text, language='french')
+
+            # Semantic chunking using similarity
+            chunks = semantic_chunking(sentences)
+
+            print(f"Nombre de chunks : {len(chunks)}")
+
+            for i, chunk in enumerate(chunks):
+                print(f"Chunk {i+1} ({len(chunk.split())} mots): {chunk[:100]}{'...' if len(chunk) > 100 else ''}")
+                all_chunks.append(chunk)
+                chunk_urls.append(url)
+
+        # Prepare chunk metadata
+        chunk_data = [
+            {"url": url_, "chunk_index": i + 1, "chunk": chunk}
+            for i, (url_, chunk) in enumerate(zip(chunk_urls, all_chunks))
+        ]
+
+        with open("chunks_pretty.json", "w", encoding="utf-8") as f:
+            json.dump(chunk_data, f, ensure_ascii=False, indent=2)
+
+        print("📁 Chunks enregistrés dans 'chunks_pretty.json'")
+
+        # Load reranker
+        cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
+
+        # Encode the chunks
+        print("\n✅ Génération des embeddings des chunks...")
+        chunk_embeddings = model.encode(all_chunks, convert_to_tensor=False, show_progress_bar=True)
+        chunk_embeddings = np.array(chunk_embeddings).astype('float32')
+
+        # Build FAISS index
+        print("\n✅ Construction de l'index FAISS...")
+        index = build_faiss_index(chunk_embeddings)
+        print("✅ Index FAISS construit avec succès.")
+
+        # Define prompt
+        prompt_template = PromptTemplate(
+            input_variables=["context", "question"],
+            template="""
+Tu es un assistant expert du wiki interne d'Intersel. Réponds uniquement à partir du CONTEXTE donné. 
+Si aucune information pertinente n'est disponible, dis "Je ne sais pas." sans inventer.
+
+CONTEXTE :
+{context}
+
+QUESTION :
+{question}
+
+RÉPONSE :
+"""
+        )
+
+        llm = Ollama(model="llama3")
+        qa_chain = LLMChain(llm=llm, prompt=prompt_template)
+
+        while True:
+            question = input("❓ Posez votre question sur le Wiki ('exit' pour quitter) :\n> ")
+            if question.lower() in ["exit", "quit"]:
+                break
+            ask_question_with_reranking(
+                question, model, cross_encoder, index,
+                all_chunks, chunk_urls, qa_chain
+            )

+ 0 - 0
requirements.txt