| 123456789101112131415161718192021222324252627282930313233343536 |
- """
- scraping.py
- Récupération du contenu de plusieurs pages web en accédant à leur mode édition
- """
- from bs4 import BeautifulSoup
- from agent_ai.auth import session
- """
- Récupère le contenu de plusieurs pages web en accédant à leur mode édition
- """
- def fetch_all_pages_content(urls):
- url_texts = {}
- for url in urls:
- try:
- # modifier l'url pour accéder à la version édition de la page
- edit_url = url + "&do=edit" if "?" in url else url + "?do=edit"
- response = session.get(edit_url)
- if response.status_code == 200:
- soup = BeautifulSoup(response.text, "html.parser")
- # Trouver la balise <textarea name="wikitext">
- textarea = soup.find("textarea", {"name": "wikitext"})
- if textarea:
- raw_text = textarea.text # Extraire le contenu texte brut
- url_texts[url] = raw_text # Enregistrer dans le dictionnaire
- else:
- print(f"⚠️ Pas de balise <textarea> trouvée pour {edit_url}.")
- else:
- print(f"⚠️ Erreur d'accès à {edit_url} : code {response.status_code}")
- except Exception as e:
- print(f"❌ Exception pour {url}: {e}")
- return url_texts
|