run_scraping.py 1.7 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546
  1. """Lance le scraping du wiki à la main. Depuis agent_docker : py .\test-to-delete\run_scraping.py"""
  2. import sys
  3. import os
  4. import traceback
  5. # Pour que "src" soit trouvé même quand le script est dans test-to-delete/
  6. agent_docker_root = os.path.abspath(os.path.join(os.path.dirname(__file__), ".."))
  7. if agent_docker_root not in sys.path:
  8. sys.path.insert(0, agent_docker_root)
  9. os.chdir(agent_docker_root) # .env et src/data sont ici
  10. from dotenv import load_dotenv
  11. load_dotenv()
  12. if __name__ == "__main__":
  13. print("🚀 Démarrage du test de scraping...")
  14. print(f" CWD: {os.getcwd()}")
  15. print(f" DEBUG: {os.getenv('DEBUG', '0')}")
  16. print(f" WIKI_USERNAME défini: {'oui' if os.getenv('WIKI_USERNAME') else 'NON'}")
  17. try:
  18. from src.service.auth_service import auto_login
  19. from src.agent_ai.scraping import scrape_pages
  20. auto_login() # Obligatoire : le scraping utilise la session authentifiée
  21. pages, stats = scrape_pages()
  22. print(f"\n✅ Résultat: {len(pages)} pages récupérées")
  23. print(f"📊 Stats: {stats}")
  24. if pages:
  25. print(f"📄 Première page: {pages[0]['url'][:60]}...")
  26. txt = pages[0].get('text', '')
  27. print(f"📝 Contenu ({len(txt)} chars): {txt[:80]}...")
  28. else:
  29. print("⚠️ Aucune page récupérée !")
  30. if stats.get("failed_urls"):
  31. print(f" URLs en échec: {len(stats['failed_urls'])}")
  32. print(f"\n📁 Fichiers: src/data/urls.json, raw_pages.json, page_hashes.json")
  33. except Exception as e:
  34. print(f"\n❌ ERREUR: {e}")
  35. traceback.print_exc()
  36. sys.exit(1)