"""Lance le scraping du wiki à la main. Depuis agent_docker : py .\test-to-delete\run_scraping.py""" import sys import os import traceback # Pour que "src" soit trouvé même quand le script est dans test-to-delete/ agent_docker_root = os.path.abspath(os.path.join(os.path.dirname(__file__), "..")) if agent_docker_root not in sys.path: sys.path.insert(0, agent_docker_root) os.chdir(agent_docker_root) # .env et src/data sont ici from dotenv import load_dotenv load_dotenv() if __name__ == "__main__": print("🚀 Démarrage du test de scraping...") print(f" CWD: {os.getcwd()}") print(f" DEBUG: {os.getenv('DEBUG', '0')}") print(f" WIKI_USERNAME défini: {'oui' if os.getenv('WIKI_USERNAME') else 'NON'}") try: from src.service.auth_service import auto_login from src.agent_ai.scraping import scrape_pages auto_login() # Obligatoire : le scraping utilise la session authentifiée pages, stats = scrape_pages() print(f"\n✅ Résultat: {len(pages)} pages récupérées") print(f"📊 Stats: {stats}") if pages: print(f"📄 Première page: {pages[0]['url'][:60]}...") txt = pages[0].get('text', '') print(f"📝 Contenu ({len(txt)} chars): {txt[:80]}...") else: print("⚠️ Aucune page récupérée !") if stats.get("failed_urls"): print(f" URLs en échec: {len(stats['failed_urls'])}") print(f"\n📁 Fichiers: src/data/urls.json, raw_pages.json, page_hashes.json") except Exception as e: print(f"\n❌ ERREUR: {e}") traceback.print_exc() sys.exit(1)