scraping.py 1.3 KB

123456789101112131415161718192021222324252627282930313233343536
  1. """
  2. scraping.py
  3. Récupération du contenu de plusieurs pages web en accédant à leur mode édition
  4. """
  5. from bs4 import BeautifulSoup
  6. from auth import session
  7. """
  8. Récupère le contenu de plusieurs pages web en accédant à leur mode édition
  9. """
  10. def fetch_all_pages_content(urls):
  11. url_texts = {}
  12. for url in urls:
  13. try:
  14. # modifier l'url pour accéder à la version édition de la page
  15. edit_url = url + "&do=edit" if "?" in url else url + "?do=edit"
  16. response = session.get(edit_url)
  17. if response.status_code == 200:
  18. soup = BeautifulSoup(response.text, "html.parser")
  19. # Trouver la balise <textarea name="wikitext">
  20. textarea = soup.find("textarea", {"name": "wikitext"})
  21. if textarea:
  22. raw_text = textarea.text # Extraire le contenu texte brut
  23. url_texts[url] = raw_text # Enregistrer dans le dictionnaire
  24. else:
  25. print(f"⚠️ Pas de balise <textarea> trouvée pour {edit_url}.")
  26. else:
  27. print(f"⚠️ Erreur d'accès à {edit_url} : code {response.status_code}")
  28. except Exception as e:
  29. print(f"❌ Exception pour {url}: {e}")
  30. return url_texts