| 12345678910111213141516171819202122232425262728293031323334353637383940414243444546 |
- """Lance le scraping du wiki à la main. Depuis agent_docker : py .\test-to-delete\run_scraping.py"""
- import sys
- import os
- import traceback
- # Pour que "src" soit trouvé même quand le script est dans test-to-delete/
- agent_docker_root = os.path.abspath(os.path.join(os.path.dirname(__file__), ".."))
- if agent_docker_root not in sys.path:
- sys.path.insert(0, agent_docker_root)
- os.chdir(agent_docker_root) # .env et src/data sont ici
- from dotenv import load_dotenv
- load_dotenv()
- if __name__ == "__main__":
- print("🚀 Démarrage du test de scraping...")
- print(f" CWD: {os.getcwd()}")
- print(f" DEBUG: {os.getenv('DEBUG', '0')}")
- print(f" WIKI_USERNAME défini: {'oui' if os.getenv('WIKI_USERNAME') else 'NON'}")
-
- try:
- from src.service.auth_service import auto_login
- from src.agent_ai.scraping import scrape_pages
-
- auto_login() # Obligatoire : le scraping utilise la session authentifiée
- pages, stats = scrape_pages()
-
- print(f"\n✅ Résultat: {len(pages)} pages récupérées")
- print(f"📊 Stats: {stats}")
-
- if pages:
- print(f"📄 Première page: {pages[0]['url'][:60]}...")
- txt = pages[0].get('text', '')
- print(f"📝 Contenu ({len(txt)} chars): {txt[:80]}...")
- else:
- print("⚠️ Aucune page récupérée !")
- if stats.get("failed_urls"):
- print(f" URLs en échec: {len(stats['failed_urls'])}")
-
- print(f"\n📁 Fichiers: src/data/urls.json, raw_pages.json, page_hashes.json")
-
- except Exception as e:
- print(f"\n❌ ERREUR: {e}")
- traceback.print_exc()
- sys.exit(1)
|