code_ partie1_prediction.py 71 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701170217031704170517061707170817091710171117121713171417151716171717181719172017211722172317241725172617271728172917301731173217331734173517361737173817391740174117421743174417451746174717481749175017511752175317541755175617571758175917601761176217631764176517661767176817691770177117721773177417751776177717781779178017811782178317841785178617871788178917901791179217931794179517961797179817991800180118021803180418051806180718081809181018111812181318141815181618171818181918201821182218231824182518261827182818291830183118321833183418351836183718381839184018411842184318441845184618471848184918501851185218531854185518561857185818591860186118621863186418651866186718681869187018711872187318741875187618771878187918801881188218831884188518861887188818891890189118921893189418951896189718981899190019011902190319041905190619071908190919101911191219131914191519161917191819191920192119221923192419251926192719281929193019311932193319341935193619371938193919401941194219431944194519461947194819491950195119521953195419551956195719581959196019611962196319641965196619671968196919701971197219731974197519761977197819791980198119821983198419851986198719881989199019911992199319941995199619971998199920002001200220032004200520062007200820092010201120122013201420152016201720182019202020212022202320242025202620272028202920302031203220332034203520362037203820392040204120422043204420452046204720482049205020512052205320542055205620572058205920602061206220632064206520662067
  1. import pandas as pd
  2. import numpy as np
  3. import seaborn as sns
  4. import matplotlib.pyplot as plt
  5. from scipy import stats
  6. import statsmodels.api as sm
  7. from statsmodels.formula.api import ols
  8. from scipy.stats import chi2_contingency
  9. import requests
  10. import pandas as pd
  11. from datetime import datetime, timedelta, date
  12. import json
  13. import os
  14. import statsmodels.api as sm
  15. from statsmodels.formula.api import ols
  16. from statsmodels.stats.multicomp import pairwise_tukeyhsd
  17. import statsmodels.formula.api as smf
  18. import matplotlib.patheffects as path_effects
  19. import matplotlib.dates as mdates
  20. from sklearn.ensemble import RandomForestRegressor
  21. from sklearn.model_selection import train_test_split
  22. from sklearn.metrics import mean_absolute_error, mean_squared_error
  23. pd.set_option('display.max_columns', None)
  24. dataset = 'export_des_missions_2025-06-13_100933-8546-653608357.csv'
  25. df = pd.read_csv(dataset, sep=';')
  26. df
  27. df.describe(include='all')
  28. df1=df.copy()
  29. df1
  30. airports = 'airports.csv'
  31. airports = pd.read_csv(airports)
  32. airports
  33. df_iata_pays = airports[['iata_code', 'iso_country']]
  34. # Supprimer les lignes sans code IATA
  35. df_iata_pays = df_iata_pays.dropna(subset=['iata_code'])
  36. df_iata_pays
  37. # Renommer les colonnes avant la jointure pour éviter conflits
  38. df_iata_pays_origin = df_iata_pays.rename(columns={'iata_code': 'Origine', 'iso_country': 'pays_origine'})
  39. df_iata_pays_dest = df_iata_pays.rename(columns={'iata_code': 'Destination', 'iso_country': 'pays_destination'})
  40. # Merge origine
  41. df1 = df1.merge(df_iata_pays_origin, on='Origine', how='left')
  42. # Merge destination
  43. df1 = df1.merge(df_iata_pays_dest, on='Destination', how='left')
  44. df1
  45. !pip install pycountry
  46. import pycountry
  47. def iso_to_country_name(code):
  48. try:
  49. return pycountry.countries.get(alpha_2=code).name
  50. except:
  51. return code
  52. df1['Origine'] = df1['pays_origine'].apply(iso_to_country_name)
  53. df1['Destination'] = df1['pays_destination'].apply(iso_to_country_name)
  54. df1['code_pays_origine'] = df1['pays_origine']
  55. df1['code_pays_Destination'] = df1['pays_destination']
  56. df1 = df1.drop(columns=['pays_origine', 'pays_destination'])
  57. df1.head(40)
  58. API_KEY = 'NNPh5mZBBbBTNm6qnvvzI56gY1P339NZ'
  59. BASE_URL = 'https://calendarific.com/api/v2/holidays'
  60. CACHE_FILE = 'cache_feries.json'
  61. df1['date_arrivee'] = pd.to_datetime(df1['ST arrivée'], format='%d/%m/%Y %H:%M', errors='coerce').dt.date
  62. df1['date_depart'] = pd.to_datetime(df1['ST départ'], format='%d/%m/%Y %H:%M', errors='coerce').dt.date
  63. # Extraction des couples (pays, année) uniques dans origine et destination
  64. def extract_pays_annee(df1, col_pays, col_date):
  65. subset = df1[[col_pays, col_date]].dropna()
  66. subset['annee'] = subset[col_date].apply(lambda x: x.year)
  67. return set(zip(subset[col_pays], subset['annee']))
  68. pays_annees_origine = extract_pays_annee(df1, 'code_pays_origine', 'date_arrivee')
  69. pays_annees_destination = extract_pays_annee(df1, 'code_pays_Destination', 'date_depart')
  70. pays_annees = pays_annees_origine.union(pays_annees_destination)
  71. # Charger le cache depuis fichier JSON
  72. if os.path.exists(CACHE_FILE):
  73. with open(CACHE_FILE, 'r') as f:
  74. cache_feries = json.load(f)
  75. # Conversion des clés de string à tuple
  76. cache_feries = {tuple(k.split(',')): v for k, v in cache_feries.items()}
  77. print(f"Cache chargé, {len(cache_feries)} entrées")
  78. else:
  79. cache_feries = {}
  80. print("Pas de cache trouvé, nouvelle création")
  81. def save_cache():
  82. with open(CACHE_FILE, 'w') as f:
  83. json.dump({','.join(k): v for k, v in cache_feries.items()}, f, indent=2)
  84. def fetch_holidays(country_code, year):
  85. key = (country_code, str(year))
  86. if key in cache_feries:
  87. return cache_feries[key]
  88. print(f"Appel API pour {country_code} {year}...")
  89. params = {
  90. 'api_key': API_KEY,
  91. 'country': country_code,
  92. 'year': year,
  93. 'type': 'national,religious'
  94. }
  95. try:
  96. response = requests.get(BASE_URL, params=params)
  97. response.raise_for_status()
  98. holidays = response.json()['response']['holidays']
  99. data = [
  100. {
  101. 'date': h['date']['iso'],
  102. 'name': h['name'],
  103. 'type': ','.join(h.get('type', []))
  104. } for h in holidays
  105. ]
  106. cache_feries[key] = data
  107. save_cache()
  108. return data
  109. except Exception as e:
  110. print(f"Erreur API pour {country_code} {year} : {e}")
  111. return []
  112. # Remplissage complet du cache (pour les pays/années manquants)
  113. for (pays, annee) in pays_annees:
  114. fetch_holidays(pays, annee)
  115. def check_holiday(date, country_code):
  116. if pd.isna(date) or pd.isna(country_code):
  117. return False, None, None
  118. key = (country_code, str(date.year))
  119. holidays = cache_feries.get(key, [])
  120. for h in holidays:
  121. if h['date'] == date.isoformat():
  122. return True, h['name'], h['type']
  123. return False, None, None
  124. df1[['ferie_origine', 'fete_origine', 'type_fete_origine']] = df1.apply(
  125. lambda row: pd.Series(check_holiday(row['date_arrivee'], row['code_pays_origine'])),
  126. axis=1
  127. )
  128. df1[['ferie_destination', 'fete_destination', 'type_fete_destination']] = df1.apply(
  129. lambda row: pd.Series(check_holiday(row['date_depart'], row['code_pays_Destination'])),
  130. axis=1
  131. )
  132. df1.head(30)
  133. # Fonction d'alerte popup dans Jupyter
  134. def notify_jupyter(message):
  135. from IPython.display import display, Javascript
  136. js_code = f'alert("{message}");'
  137. display(Javascript(js_code))
  138. def check_tomorrow_feries(df):
  139. demain = datetime.now().date() + timedelta(days=1)
  140. # Extraire tous les codes pays à vérifier (origine + destination)
  141. pays_origine = df['code_pays_origine'].dropna().unique()
  142. pays_destination = df['code_pays_Destination'].dropna().unique()
  143. pays_a_verifier = set(pays_origine).union(pays_destination)
  144. alerts = []
  145. for pays in pays_a_verifier:
  146. is_ferie, nom, type_fete = check_holiday(demain, pays)
  147. if is_ferie:
  148. alerts.append(f"{demain.isoformat()} - {pays} : {nom} ({type_fete})")
  149. if alerts:
  150. message = "Jour(s) férié(s) demain :\n" + "\n".join(alerts)
  151. print(message)
  152. notify_jupyter(message)
  153. else:
  154. print(f"Aucun jour férié demain ({demain.isoformat()}) pour les pays dans le dataframe.")
  155. check_tomorrow_feries(df1)
  156. #planifier tache : cron job(linux) / task scheduler(windows)
  157. def check_holiday_for_date(check_date, country_code):
  158. if not check_date or not country_code:
  159. return False, None, None
  160. key = (country_code, str(check_date.year))
  161. holidays = cache_feries.get(key, [])
  162. if not holidays:
  163. holidays = fetch_holidays(country_code, check_date.year)
  164. for h in holidays:
  165. if h['date'] == check_date.isoformat():
  166. return True, h['name'], h['type']
  167. return False, None, None
  168. date_test = date(2025, 6, 6)
  169. pays_origine = 'DE'
  170. pays_destination = 'TN'
  171. ferie_origine, nom_origine, type_origine = check_holiday_for_date(date_test, pays_origine)
  172. ferie_destination, nom_destination, type_destination = check_holiday_for_date(date_test, pays_destination)
  173. print(f"Date : {date_test}")
  174. print(f"Pays origine ({pays_origine}) : {'Férié' if ferie_origine else 'Non férié'} - {nom_origine} ({type_origine})")
  175. print(f"Pays destination ({pays_destination}) : {'Férié' if ferie_destination else 'Non férié'} - {nom_destination} ({type_destination})")
  176. # Nombre de PMR par Origine
  177. pmr_par_origine = df1.groupby('Origine').size().reset_index(name='Nombre_PMR')
  178. print(pmr_par_origine)
  179. pmr_par_origine_sorted = pmr_par_origine.sort_values(by='Nombre_PMR', ascending=False)
  180. data_to_plot = pmr_par_origine_sorted.copy()
  181. # barplot
  182. plt.figure(figsize=(max(20, len(data_to_plot) * 0.25), 10)) # ajuster automatiquement la largeur
  183. sns.barplot(data=data_to_plot, x='Origine', y='Nombre_PMR', palette='Blues_d')
  184. plt.title("Nombre de PMR par origine", fontsize=18)
  185. plt.xlabel("origine", fontsize=14)
  186. plt.ylabel("Nombre de PMR", fontsize=14)
  187. plt.xticks(rotation=90, fontsize=9)
  188. plt.yticks(fontsize=12)
  189. plt.grid(axis='y', linestyle='--', alpha=0.7)
  190. plt.tight_layout()
  191. plt.show()
  192. # Nombre de PMR par Origine
  193. pmr_par_destination = df1.groupby('Destination').size().reset_index(name='Nombre_PMR')
  194. print(pmr_par_destination)
  195. pmr_par_destination_sorted = pmr_par_destination.sort_values(by='Nombre_PMR', ascending=False)
  196. data_to_plot = pmr_par_destination_sorted.copy()
  197. # barplot
  198. plt.figure(figsize=(max(20, len(data_to_plot) * 0.25), 10))
  199. sns.barplot(data=data_to_plot, x='Destination', y='Nombre_PMR', palette='Blues_d')
  200. plt.title("Nombre de PMR par Destination", fontsize=18)
  201. plt.xlabel("Destination", fontsize=14)
  202. plt.ylabel("Nombre de PMR", fontsize=14)
  203. plt.xticks(rotation=90, fontsize=9)
  204. plt.yticks(fontsize=12)
  205. plt.grid(axis='y', linestyle='--', alpha=0.7)
  206. plt.tight_layout()
  207. plt.show()
  208. # test ANOVA (Analyse de la Variance)
  209. # une ligne = un pmr
  210. df1['PMR'] = 1
  211. # Tester si l'Origine est significative
  212. model_origine = ols('PMR ~ C(Origine)', data=df1).fit()
  213. anova_origine = sm.stats.anova_lm(model_origine, typ=2)
  214. print("ANOVA pour Origine :")
  215. print(anova_origine)
  216. # Tester si la Destination est significative
  217. model_destination = ols('PMR ~ C(Destination)', data=df1).fit()
  218. anova_destination = sm.stats.anova_lm(model_destination, typ=2)
  219. print("\nANOVA pour Destination :")
  220. print(anova_destination)
  221. # tester la dépendance entre Origine et Destination
  222. contingency_table = pd.crosstab(df1['Origine'], df1['Destination'])
  223. # Test du Chi²
  224. chi2, p, dof, expected = chi2_contingency(contingency_table)
  225. print("Chi² :", chi2)
  226. print("Degrés de liberté :", dof)
  227. print("P-value :", p)
  228. import seaborn as sns
  229. import matplotlib.pyplot as plt
  230. plt.figure(figsize=(20, 10))
  231. sns.heatmap(contingency_table, cmap='Blues')
  232. plt.title('Heatmap Origine vs Destination')
  233. plt.xlabel('Destination')
  234. plt.ylabel('Origine')
  235. plt.show()
  236. df1['Origine'] = df1['Origine'].fillna('').str.strip()
  237. df1['Destination'] = df1['Destination'].fillna('').str.strip()
  238. # Détection des cas
  239. entree_et_reste = df1[(df1['Origine'] != '') & (df1['Destination'] == '')]
  240. sortie_seulement = df1[(df1['Origine'] == '') & (df1['Destination'] != '')]
  241. escale = df1[(df1['Origine'] != '') & (df1['Destination'] != '')]
  242. # Labels et valeurs
  243. labels = ['Entrée et restée en France', 'Sortie uniquement de France', 'Escale']
  244. counts = [len(entree_et_reste), len(sortie_seulement), len(escale)]
  245. total = len(df1)
  246. percentages = [round(c / total * 100, 2) for c in counts]
  247. # graphe
  248. plt.figure(figsize=(9, 6))
  249. bars = plt.bar(labels, counts, color=['#b0e0e6', '#add8e6', '#aec6cf'])
  250. plt.title('Répartition des passagers via la France')
  251. plt.ylabel('Nombre de passagers')
  252. plt.xticks(rotation=15)
  253. plt.grid(axis='y', linestyle='', alpha=0.7)
  254. # Ajout des valeurs + %
  255. for bar, count, perc in zip(bars, counts, percentages):
  256. plt.text(bar.get_x() + bar.get_width()/2,
  257. bar.get_height() + total*0.001, # un peu au-dessus
  258. f'{count} ({perc}%)',
  259. ha='center', va='bottom', fontsize=10, fontweight='bold')
  260. plt.tight_layout()
  261. plt.show()
  262. # Création de la variable 'org_dest'
  263. def type_passage(row):
  264. if row['Origine'] != '' and row['Destination'] == '':
  265. return '0' # entrée en France
  266. elif row['Origine'] == '' and row['Destination'] != '':
  267. return '1' # sortie de France
  268. elif row['Origine'].upper() != 'FRANCE' and row['Destination'].upper() != 'FRANCE':
  269. return '2' #escaleF
  270. df1['org_dest'] = df1.apply(type_passage, axis=1)
  271. df1 = df1.drop(columns=['PMR'])
  272. df1.head(40)
  273. contingency_table = df1['org_dest'].value_counts().sort_index()
  274. print(contingency_table)
  275. table = pd.DataFrame({'PMR_count': contingency_table})
  276. chi2, p, dof, expected = chi2_contingency([table['PMR_count'], expected := [table['PMR_count'].sum() / 3] * 3])
  277. print(f"\nChi2 = {chi2:.2f}, p-value = {p:.4f}")
  278. # Conversion en datetime avec dayfirst=True (car format jour/mois/année)
  279. df1['ST arrivée'] = pd.to_datetime(df1['ST arrivée'], dayfirst=True)
  280. df1['ST départ'] = pd.to_datetime(df1['ST départ'], dayfirst=True)
  281. # Extraction jour de la semaine (0=lundi, 6=dimanche)
  282. df1['jour_semaine_entree'] = df1['ST arrivée'].dt.dayofweek
  283. df1['jour_semaine_depart'] = df1['ST départ'].dt.dayofweek
  284. # Format HH:MM
  285. df1['heure_entree'] = df1['ST arrivée'].dt.strftime('%H:%M')
  286. df1['heure_depart'] = df1['ST départ'].dt.strftime('%H:%M')
  287. # Mois : Janvier, Février, etc.
  288. df1['mois_entree'] = df1['ST arrivée'].dt.month_name()
  289. df1['mois_depart'] = df1['ST départ'].dt.month_name()
  290. df1.head()
  291. # Mapper les numéros de jours (0 à 6) en noms
  292. jours = ['Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi', 'Dimanche']
  293. df1['jour_nom_entree'] = df1['jour_semaine_entree'].map(dict(enumerate(jours)))
  294. df1['jour_nom_depart'] = df1['jour_semaine_depart'].map(dict(enumerate(jours)))
  295. def countplot_avec_valeurs(data, colonne, ordre, titre, xlabel, ylabel):
  296. plt.figure(figsize=(10, 4))
  297. ax = sns.countplot(data=data, x=colonne, order=ordre)
  298. plt.title(titre)
  299. plt.xlabel(xlabel)
  300. plt.ylabel(ylabel)
  301. plt.xticks(rotation=45)
  302. # Ajouter les valeurs au-dessus des barres
  303. for p in ax.patches:
  304. hauteur = p.get_height()
  305. ax.text(p.get_x() + p.get_width() / 2., hauteur + 3, # +3 pour décoller un peu du sommet
  306. int(hauteur), ha='center', fontsize=10)
  307. plt.tight_layout()
  308. plt.show()
  309. countplot_avec_valeurs(df1, 'jour_nom_entree', jours,
  310. 'Répartition des entrées par jour de la semaine',
  311. 'Jour de la semaine', 'Nombre d\'entrées')
  312. countplot_avec_valeurs(df1, 'jour_nom_depart', jours,
  313. 'Répartition des départs par jour de la semaine',
  314. 'Jour de la semaine', 'Nombre de départs')
  315. mois_ordre = ['January', 'February', 'March', 'April', 'May', 'June',
  316. 'July', 'August', 'September', 'October', 'November', 'December']
  317. # Filtrer les mois présents dans la colonne 'mois_entree' et 'mois_depart'
  318. mois_ordre_entree = [m for m in mois_ordre if m in df1['mois_entree'].unique()]
  319. mois_ordre_depart = [m for m in mois_ordre if m in df1['mois_depart'].unique()]
  320. def countplot_avec_valeurs(data, colonne, ordre, titre, xlabel, ylabel):
  321. plt.figure(figsize=(10, 4))
  322. ax = sns.countplot(data=data, x=colonne, order=ordre)
  323. plt.title(titre)
  324. plt.xlabel(xlabel)
  325. plt.ylabel(ylabel)
  326. plt.xticks(rotation=45)
  327. for p in ax.patches:
  328. hauteur = p.get_height()
  329. ax.text(p.get_x() + p.get_width() / 2., hauteur + 3,
  330. int(hauteur), ha='center', fontsize=10)
  331. plt.tight_layout()
  332. plt.show()
  333. # Répartition par mois d'entrée
  334. countplot_avec_valeurs(df1, 'mois_entree', mois_ordre_entree,
  335. 'Répartition des entrées par mois',
  336. 'Mois', 'Nombre d\'entrées')
  337. # Répartition par mois de départ
  338. countplot_avec_valeurs(df1, 'mois_depart', mois_ordre_depart,
  339. 'Répartition des départs par mois',
  340. 'Mois', 'Nombre de départs')
  341. API_URL = "https://iata-and-icao-codes.p.rapidapi.com/airlines"
  342. HEADERS = {
  343. "x-rapidapi-key": "9bd1fe1013mshfef01143800e2cbp18a39ejsnfa4b363d6392",
  344. "x-rapidapi-host": "iata-and-icao-codes.p.rapidapi.com"
  345. }
  346. response = requests.get(API_URL, headers=HEADERS)
  347. if response.status_code == 200:
  348. data = response.json()
  349. airlines_df = pd.DataFrame(data)
  350. # Renommer les colonnes pour faciliter la fusion
  351. airlines_arr = airlines_df.rename(columns={'iata_code': 'Code Cie arrivée', 'name': 'nom_compagnie_arr'})
  352. airlines_dest = airlines_df.rename(columns={'iata_code': 'Code Cie départ', 'name': 'nom_compagnie_dest'})
  353. df1 = df1.merge(airlines_arr[['Code Cie arrivée', 'nom_compagnie_arr']], on='Code Cie arrivée', how='left')
  354. df1 = df1.merge(airlines_dest[['Code Cie départ', 'nom_compagnie_dest']], on='Code Cie départ', how='left')
  355. # Dictionnaire de corrections manuelles si certaines compagnies manquent dans l'API
  356. corrections = {
  357. 'EZY': 'easyJet',
  358. 'EJU': 'easyJet Europe',
  359. 'VF': 'Volotea',
  360. 'ENT': 'Enter Air',
  361. 'N0': 'Norwegian Air Sweden'
  362. }
  363. for code, name in corrections.items():
  364. df1.loc[df1['Code Cie arrivée'] == code, 'nom_compagnie_arr'] = name
  365. df1.loc[df1['Code Cie départ'] == code, 'nom_compagnie_dest'] = name
  366. # Formatage final : Nom (Code)
  367. df1['nom_compagnie_arr'] = df1.apply(
  368. lambda row: f"{row['nom_compagnie_arr']} ({row['Code Cie arrivée']})"
  369. if pd.notna(row['nom_compagnie_arr']) else row['Code Cie arrivée'],
  370. axis=1
  371. )
  372. df1['nom_compagnie_dest'] = df1.apply(
  373. lambda row: f"{row['nom_compagnie_dest']} ({row['Code Cie départ']})"
  374. if pd.notna(row['nom_compagnie_dest']) else row['Code Cie départ'],
  375. axis=1
  376. )
  377. df1[['Code Cie arrivée', 'nom_compagnie_arr', 'Code Cie départ', 'nom_compagnie_dest']].head(40)
  378. else:
  379. print(f"Erreur API: code {response.status_code}")
  380. # Associer chaque vol à sa compagnie
  381. compagnie_par_vol_arr = df1.groupby(['Num Vol arrivée'])['nom_compagnie_arr'].first()
  382. compagnie_par_vol_dep = df1.groupby(['Num Vol départ'])['nom_compagnie_dest'].first()
  383. # Compter le nombre de vols uniques par compagnie (arrivée et départ)
  384. nb_vols_uniques_arr = compagnie_par_vol_arr.value_counts().sort_values(ascending=False)
  385. nb_vols_uniques_dep = compagnie_par_vol_dep.value_counts().sort_values(ascending=False)
  386. fig, axes = plt.subplots(1, 2, figsize=(18, 6))
  387. # ARRIVÉE
  388. sns.barplot(x=nb_vols_uniques_arr.index, y=nb_vols_uniques_arr.values,
  389. palette="Blues_d", ax=axes[0])
  390. axes[0].set_title("Vols uniques par compagnie (arrivée)")
  391. axes[0].set_xlabel("Compagnie")
  392. axes[0].set_ylabel("Nombre de vols uniques")
  393. axes[0].tick_params(axis='x', rotation=90)
  394. for i, v in enumerate(nb_vols_uniques_arr.values):
  395. axes[0].text(i, v + 0.5, str(v), ha='center', fontsize=8)
  396. # DÉPART
  397. sns.barplot(x=nb_vols_uniques_dep.index, y=nb_vols_uniques_dep.values,
  398. palette="Greens_d", ax=axes[1])
  399. axes[1].set_title("Vols uniques par compagnie (départ)")
  400. axes[1].set_xlabel("Compagnie")
  401. axes[1].set_ylabel("Nombre de vols uniques")
  402. axes[1].tick_params(axis='x', rotation=90)
  403. for i, v in enumerate(nb_vols_uniques_dep.values):
  404. axes[1].text(i, v + 0.5, str(v), ha='center', fontsize=8)
  405. plt.tight_layout()
  406. plt.show()
  407. # Comptage des compagnies à l’arrivée
  408. compte_arr = df1['nom_compagnie_arr'].value_counts()
  409. # Comptage des compagnies au départ
  410. compte_dep = df1['nom_compagnie_dest'].value_counts()
  411. def ajouter_valeurs_barres(ax, valeurs):
  412. for i, v in enumerate(valeurs):
  413. ax.text(i, v + max(valeurs)*0.01, str(v), ha='center', va='bottom', fontsize=9)
  414. # ARRIVÉE
  415. plt.figure(figsize=(15, 6))
  416. ax1 = sns.barplot(x=compte_arr.index, y=compte_arr.values, palette='Blues_d')
  417. plt.title("Nombre de PMR par compagnie aérienne à l’arrivée")
  418. plt.xlabel("Compagnie")
  419. plt.ylabel("Nombre total PMR par compagnie")
  420. plt.xticks(rotation=90)
  421. ajouter_valeurs_barres(ax1, compte_arr.values)
  422. plt.tight_layout()
  423. plt.show()
  424. # DÉPART
  425. plt.figure(figsize=(15, 6))
  426. ax2 = sns.barplot(x=compte_dep.index, y=compte_dep.values, palette='Greens_d')
  427. plt.title("Nombre de PMR par compagnie aérienne départ")
  428. plt.xlabel("Compagnie")
  429. plt.ylabel("Nombre Total PMR")
  430. plt.xticks(rotation=90)
  431. ajouter_valeurs_barres(ax2, compte_dep.values)
  432. plt.tight_layout()
  433. plt.show()
  434. # Nombre de PMR par vol arrivée
  435. pmr_par_vol_arrivee = df1.groupby('Num Vol arrivée').size().sort_values(ascending=False)
  436. # Compagnie associée à chaque vol arrivée
  437. compagnie_par_vol_arrivee = df1.groupby('Num Vol arrivée')['nom_compagnie_arr'].first()
  438. df_vols_arrivee = pd.DataFrame({
  439. 'nombre_pmr': pmr_par_vol_arrivee,
  440. 'compagnie': compagnie_par_vol_arrivee
  441. }).dropna() # <-- Important pour éviter NaN
  442. # Moyenne PMR par vol par compagnie arrivée
  443. moyenne_pmr_par_compagnie_arrivee = (
  444. df_vols_arrivee.groupby('compagnie')['nombre_pmr']
  445. .mean()
  446. .sort_values(ascending=False)
  447. )
  448. # Nombre de PMR par vol arrivée
  449. plt.figure(figsize=(18, 6))
  450. sns.barplot(x=pmr_par_vol_arrivee.index.astype(str), y=pmr_par_vol_arrivee.values, palette='Blues_d')
  451. plt.title("Nombre de PMR par vol arrivée")
  452. plt.xlabel("Vol arrivée (CodeCie_NumVol)")
  453. plt.ylabel("Nombre de PMR")
  454. plt.xticks(rotation=90)
  455. for i, v in enumerate(pmr_par_vol_arrivee.values):
  456. if pd.notna(v) and pd.notnull(v): # Vérification
  457. plt.text(i, v + 0.5, str(int(v)), ha='center', fontsize=8)
  458. plt.tight_layout()
  459. plt.show()
  460. # Moyenne PMR par vol par compagnie arrivée
  461. plt.figure(figsize=(15, 6))
  462. sns.barplot(x=moyenne_pmr_par_compagnie_arrivee.index, y=moyenne_pmr_par_compagnie_arrivee.values, palette='coolwarm')
  463. plt.title("Moyenne de PMR par vol par compagnie (arrivée)")
  464. plt.xlabel("Compagnie")
  465. plt.ylabel("Moyenne PMR par vol")
  466. plt.xticks(rotation=90)
  467. for i, v in enumerate(moyenne_pmr_par_compagnie_arrivee.values):
  468. if pd.notna(v) and pd.notnull(v): # Vérification
  469. plt.text(i, v + 0.05, f"{v:.2f}", ha='center', fontsize=10)
  470. plt.tight_layout()
  471. plt.show()
  472. # Nombre de PMR par vol départ
  473. pmr_par_vol_depart = df1.groupby([ 'Num Vol départ']).size().sort_values(ascending=False)
  474. compagnie_par_vol_depart = df1.groupby([ 'Num Vol départ'])['nom_compagnie_dest'].first()
  475. df_vols_depart = pd.DataFrame({
  476. 'nombre_pmr': pmr_par_vol_depart,
  477. 'compagnie': compagnie_par_vol_depart
  478. })
  479. # Calcul moyenne PMR par vol par compagnie départ
  480. moyenne_pmr_par_compagnie_depart = df_vols_depart.groupby('compagnie')['nombre_pmr'].mean().sort_values(ascending=False)
  481. # Nombre PMR par vol départ
  482. plt.figure(figsize=(18, 6))
  483. sns.barplot(x=pmr_par_vol_depart.index, y=pmr_par_vol_depart.values, palette='Greens_d')
  484. plt.title("Nombre de PMR par vol départ")
  485. plt.xlabel("Vol départ (CodeCie_NumVol)")
  486. plt.ylabel("Nombre de PMR")
  487. plt.xticks(rotation=90)
  488. for i, v in enumerate(pmr_par_vol_depart.values):
  489. plt.text(i, v + 0.5, str(v), ha='center', fontsize=8)
  490. plt.tight_layout()
  491. plt.show()
  492. # Moyenne PMR par vol par compagnie départ
  493. plt.figure(figsize=(15, 6))
  494. sns.barplot(x=moyenne_pmr_par_compagnie_depart.index, y=moyenne_pmr_par_compagnie_depart.values, palette='coolwarm')
  495. plt.title("Moyenne de PMR par vol par compagnie (départ)")
  496. plt.xlabel("Compagnie")
  497. plt.ylabel("Moyenne PMR par vol")
  498. plt.xticks(rotation=90)
  499. for i, v in enumerate(moyenne_pmr_par_compagnie_depart.values):
  500. plt.text(i, v + 0.05, f"{v:.2f}", ha='center', fontsize=10)
  501. plt.tight_layout()
  502. plt.show()
  503. # Calcul PMR par vol arrivée
  504. pmr_par_vol_arrivee = df1.groupby('Num Vol arrivée').size().reset_index(name='nombre_pmr')
  505. compagnie_arr = df1.groupby('Num Vol arrivée')['nom_compagnie_arr'].first().reset_index()
  506. df_vols_arrivee = pmr_par_vol_arrivee.merge(compagnie_arr, on='Num Vol arrivée')
  507. # Calcul PMR par vol départ
  508. pmr_par_vol_depart = df1.groupby('Num Vol départ').size().reset_index(name='nombre_pmr')
  509. compagnie_dep = df1.groupby('Num Vol départ')['nom_compagnie_dest'].first().reset_index()
  510. df_vols_depart = pmr_par_vol_depart.merge(compagnie_dep, on='Num Vol départ')
  511. # ANOVA arrivée
  512. modele_arr = ols('nombre_pmr ~ C(nom_compagnie_arr)', data=df_vols_arrivee).fit()
  513. anova_arr = sm.stats.anova_lm(modele_arr, typ=2)
  514. print("ANOVA - nombre PMR par compagnie (arrivée) :")
  515. print(anova_arr)
  516. # Tukey HSD arrivée
  517. tukey_arr = pairwise_tukeyhsd(endog=df_vols_arrivee['nombre_pmr'],
  518. groups=df_vols_arrivee['nom_compagnie_arr'],
  519. alpha=0.05)
  520. print(tukey_arr.summary())
  521. tukey_arr.plot_simultaneous()
  522. plt.title('Tukey HSD - PMR par compagnie (arrivée)')
  523. plt.show()
  524. # --- ANOVA départ ---
  525. modele_dep = ols('nombre_pmr ~ C(nom_compagnie_dest)', data=df_vols_depart).fit()
  526. anova_dep = sm.stats.anova_lm(modele_dep, typ=2)
  527. print("ANOVA - nombre PMR par compagnie (départ) :")
  528. print(anova_dep)
  529. # Tukey HSD départ
  530. tukey_dep = pairwise_tukeyhsd(endog=df_vols_depart['nombre_pmr'],
  531. groups=df_vols_depart['nom_compagnie_dest'],
  532. alpha=0.05)
  533. print(tukey_dep.summary())
  534. tukey_dep.plot_simultaneous()
  535. plt.title('Tukey HSD - PMR par compagnie (départ)')
  536. plt.show()
  537. # Calcul du nombre de PMR par compagnie à l'arrivée
  538. pmr_arr = df1['nom_compagnie_arr'].value_counts(dropna=False).reset_index()
  539. pmr_arr.columns = ['compagnie', 'total_pmr']
  540. # Calcul de la distribution cumulée (en excluant NaN dans le calcul)
  541. pmr_arr_nonan = pmr_arr[pmr_arr['compagnie'].notna()].copy()
  542. pmr_arr_nonan['cumsum'] = pmr_arr_nonan['total_pmr'].cumsum() / pmr_arr_nonan['total_pmr'].sum()
  543. # Identifier les compagnies représentant 80% des PMR
  544. top_80_arr = pmr_arr_nonan[pmr_arr_nonan['cumsum'] <= 0.8]['compagnie'].tolist()
  545. # Créer une nouvelle colonne dans df1 avec regroupement
  546. def simplify_compagnie(x):
  547. if pd.isna(x):
  548. return x # garder NaN tel quel
  549. elif x in top_80_arr:
  550. return x
  551. else:
  552. return 'Other'
  553. df1['compagnie_arr_simplifiée'] = df1['nom_compagnie_arr'].apply(simplify_compagnie)
  554. # Recompter les PMR par compagnie simplifiée (y compris NaN)
  555. pmr_arr_grouped = df1['compagnie_arr_simplifiée'].value_counts(dropna=False).reset_index()
  556. pmr_arr_grouped.columns = ['compagnie', 'total_pmr']
  557. # Nettoyer pour le graphique : enlever NaN
  558. pmr_arr_grouped_clean = pmr_arr_grouped[pmr_arr_grouped['compagnie'].notna()]
  559. # Garder seulement le top 80, exclure 'Other'
  560. pmr_arr_top = pmr_arr_grouped_clean[pmr_arr_grouped_clean['compagnie'] != 'Other']
  561. # Tracer la courbe avec uniquement le top 80, sans 'Other'
  562. plt.figure(figsize=(12, 6))
  563. plt.bar(pmr_arr_top['compagnie'], pmr_arr_top['total_pmr'], color='steelblue')
  564. plt.title("Top compagnies représentant 80% des PMR à l'arrivée")
  565. plt.xlabel("Compagnie aérienne")
  566. plt.ylabel("Nombre de PMR")
  567. plt.xticks(rotation=90)
  568. plt.tight_layout()
  569. plt.show()
  570. # Calcul du nombre de PMR par compagnie à la destination (en comptant aussi les NaN)
  571. pmr_dest = df1['nom_compagnie_dest'].value_counts(dropna=False).reset_index()
  572. pmr_dest.columns = ['compagnie', 'total_pmr']
  573. # Calcul de la distribution cumulée (sur les compagnies non NaN)
  574. pmr_dest_nonan = pmr_dest[pmr_dest['compagnie'].notna()]
  575. pmr_dest_nonan.loc[:, 'cumsum'] = pmr_dest_nonan['total_pmr'].cumsum() / pmr_dest_nonan['total_pmr'].sum()
  576. # Identifier les compagnies représentant 80% des PMR à la destination
  577. top_80_dest = pmr_dest_nonan[pmr_dest_nonan['cumsum'] <= 0.8]['compagnie'].tolist()
  578. # Fonction pour simplifier la colonne des compagnies à la destination
  579. def simplify_compagnie_dest(x):
  580. if pd.isna(x):
  581. return x # garder NaN tel quel
  582. elif x in top_80_dest:
  583. return x
  584. else:
  585. return 'Other'
  586. df1['compagnie_dest_simplifiée'] = df1['nom_compagnie_dest'].apply(simplify_compagnie_dest)
  587. # Recompter les PMR par compagnie simplifiée à la destination (avec NaN)
  588. pmr_dest_grouped = df1['compagnie_dest_simplifiée'].value_counts(dropna=False).reset_index()
  589. pmr_dest_grouped.columns = ['compagnie', 'total_pmr']
  590. # Filtrer pour le graphique : garder seulement le top 80, exclure 'Other' et NaN
  591. pmr_dest_top = pmr_dest_grouped[
  592. (pmr_dest_grouped['compagnie'] != 'Other') &
  593. (pmr_dest_grouped['compagnie'].notna())
  594. ]
  595. # Tracer la courbe avec uniquement le top 80, sans 'Other'
  596. plt.figure(figsize=(12, 6))
  597. plt.bar(pmr_dest_top['compagnie'], pmr_dest_top['total_pmr'], color='steelblue')
  598. plt.title("Top compagnies représentant 80% des PMR à la destination")
  599. plt.xlabel("Compagnie aérienne")
  600. plt.ylabel("Nombre de PMR")
  601. plt.xticks(rotation=90)
  602. plt.tight_layout()
  603. plt.show()
  604. df1
  605. def time_to_minutes(t):
  606. try:
  607. if pd.isna(t):
  608. return np.nan
  609. h, m = map(int, t.split(':'))
  610. return h * 60 + m
  611. except Exception:
  612. return np.nan
  613. # encodage cyclique (sin/cos)
  614. def encode_cyclic_period(period_idx, total_periods=58):
  615. if np.isnan(period_idx):
  616. return np.nan, np.nan
  617. angle = 2 * np.pi * period_idx / total_periods
  618. return np.sin(angle), np.cos(angle)
  619. # Conversion heures vers minutes
  620. df1['minutes_entree'] = df1['heure_entree'].apply(time_to_minutes)
  621. df1['minutes_depart'] = df1['heure_depart'].apply(time_to_minutes)
  622. # Calcul des périodes entières (58 périodes de 24.83 minutes environ)
  623. periode_duration = 1440 / 58 # ≈ 24.8276 min
  624. df1['periode_entree'] = df1['minutes_entree'].apply(
  625. lambda x: int(x // periode_duration) if not np.isnan(x) else np.nan)
  626. df1['periode_depart'] = df1['minutes_depart'].apply(
  627. lambda x: int(x // periode_duration) if not np.isnan(x) else np.nan)
  628. # Encodage cyclique
  629. df1[['periode_entree_sin', 'periode_entree_cos']] = df1['periode_entree'].apply(
  630. lambda x: pd.Series(encode_cyclic_period(x)))
  631. df1[['periode_depart_sin', 'periode_depart_cos']] = df1['periode_depart'].apply(
  632. lambda x: pd.Series(encode_cyclic_period(x)))
  633. df1
  634. plt.figure(figsize=(8, 8))
  635. plt.title("Visualisation encodage cyclique des heures (arrivée et départ)")
  636. # Scatter points
  637. plt.scatter(df1['periode_entree_cos'], df1['periode_entree_sin'], color='blue', label='Heure Arrivée', alpha=0.6)
  638. plt.scatter(df1['periode_depart_cos'], df1['periode_depart_sin'], color='red', label='Heure Départ', alpha=0.6)
  639. # Circle
  640. circle = plt.Circle((0, 0), 1, color='grey', fill=False, linestyle='--')
  641. plt.gca().add_artist(circle)
  642. def annotated_text(x, y, text, color):
  643. txt = plt.text(x, y, text, fontsize=10, color=color, fontweight='bold')
  644. txt.set_path_effects([path_effects.Stroke(linewidth=2, foreground='white'), path_effects.Normal()])
  645. # periodes Unique entrée
  646. unique_entree_periods = df1['periode_entree'].dropna().unique()
  647. for periode in unique_entree_periods:
  648. periode = int(periode)
  649. minutes = periode * 25
  650. h = minutes // 60
  651. m = minutes % 60
  652. # Calculate cos and sin for the label position (radius a bit > 1 for visibility)
  653. angle = 2 * np.pi * (periode / 58)
  654. x = 1.1 * np.cos(angle)
  655. y = 1.1 * np.sin(angle)
  656. annotated_text(x, y, f"{h:02d}h{m:02d}", 'blue')
  657. # periodes Unique départ
  658. unique_depart_periods = df1['periode_depart'].dropna().unique()
  659. for periode in unique_depart_periods:
  660. periode = int(periode)
  661. minutes = periode * 25
  662. h = minutes // 60
  663. m = minutes % 60
  664. angle = 2 * np.pi * (periode / 58)
  665. x = 1.2 * np.cos(angle) # Slightly farther out to not overlap entrée labels
  666. y = 1.2 * np.sin(angle)
  667. annotated_text(x, y, f"{h:02d}h{m:02d}", 'red')
  668. plt.xlabel('Cosinus')
  669. plt.ylabel('Sinus')
  670. plt.legend()
  671. plt.grid(True)
  672. plt.axis('equal')
  673. plt.tight_layout()
  674. plt.show()
  675. entree_counts = df1['periode_entree'].dropna().astype(int).value_counts().sort_index()
  676. depart_counts = df1['periode_depart'].dropna().astype(int).value_counts().sort_index()
  677. # Fusionner dans un même index
  678. all_indices = sorted(set(entree_counts.index).union(depart_counts.index))
  679. entree = [entree_counts.get(i, 0) for i in all_indices]
  680. depart = [depart_counts.get(i, 0) for i in all_indices]
  681. # Créer les labels combinés (indice + heure)
  682. def indice_to_hour_str(indice):
  683. total_minutes = indice * 25
  684. h = total_minutes // 60
  685. m = total_minutes % 60
  686. return f"{indice:02d} ({h:02d}h{m:02d})"
  687. horaire_labels = [indice_to_hour_str(i) for i in all_indices]
  688. # Positions des barres
  689. x = np.arange(len(all_indices))
  690. width = 0.4
  691. # Barplot
  692. plt.figure(figsize=(14, 6))
  693. plt.bar(x - width/2, entree, width=width, label='Arrivée', color='blue')
  694. plt.bar(x + width/2, depart, width=width, label='Départ', color='red')
  695. plt.xlabel("Indice de période (tranche de 25 minutes)")
  696. plt.ylabel("Nombre de PMR")
  697. plt.title("Nombre d'arrivées et de départs par tranche horaire")
  698. plt.xticks(x, horaire_labels, rotation=90)
  699. plt.legend()
  700. plt.grid(True, axis='y', linestyle='--', alpha=0.7)
  701. plt.tight_layout()
  702. plt.show()
  703. # Extraire le jour de la semaine pour arrivée et départ
  704. df1['jour_semaine_arrivee'] = df1['ST arrivée'].dt.day_name()
  705. df1['jour_semaine_depart'] = df1['ST départ'].dt.day_name()
  706. # Compter le nombre de PMR par jour de la semaine (arrivée)
  707. pmr_arrivee_sem = df1.groupby('jour_semaine_arrivee').size().reindex(
  708. ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']
  709. )
  710. # Compter le nombre de PMR par jour de la semaine (départ)
  711. pmr_depart_sem = df1.groupby('jour_semaine_depart').size().reindex(
  712. ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']
  713. )
  714. # Créer un DataFrame pour faciliter le tracé
  715. df_sem = pd.DataFrame({
  716. 'Arrivées': pmr_arrivee_sem,
  717. 'Départs': pmr_depart_sem
  718. })
  719. df_sem.plot(kind='bar', figsize=(10,5), color=['skyblue', 'salmon'])
  720. plt.title("Nombre total de PMR par jour de la semaine (Arrivées vs Départs)")
  721. plt.ylabel("Nombre de PMR")
  722. plt.xlabel("Jour de la semaine")
  723. plt.xticks(rotation=45)
  724. plt.grid(axis='y')
  725. plt.tight_layout()
  726. plt.show()
  727. # Grouper par date uniquement
  728. pmr_par_jour_arrivee = df1.groupby(df1['ST arrivée'].dt.date).size()
  729. pmr_par_jour_depart = df1.groupby(df1['ST départ'].dt.date).size()
  730. # Tracer les courbes
  731. plt.figure(figsize=(12, 6))
  732. plt.plot(pmr_par_jour_arrivee.index, pmr_par_jour_arrivee.values, marker='o', linestyle='-', color='blue', label='Arrivées')
  733. plt.plot(pmr_par_jour_depart.index, pmr_par_jour_depart.values, marker='o', linestyle='-', color='red', label='Départs')
  734. plt.title("Évolution du nombre de PMR par jour (Arrivées vs Départs)")
  735. plt.xlabel("Date")
  736. plt.ylabel("Nombre de PMR")
  737. plt.legend()
  738. plt.grid(True)
  739. # Rendre l'axe X plus clair avec format date
  740. ax = plt.gca()
  741. ax.xaxis.set_major_formatter(mdates.DateFormatter('%Y-%m-%d'))
  742. plt.xticks(rotation=45)
  743. plt.tight_layout()
  744. plt.show()
  745. df1['ST arrivée arrondie'] = df1['ST arrivée'].dt.floor('25min')
  746. df1['ST départ arrondie'] = df1['ST départ'].dt.floor('25min')
  747. pmr_par_25min_arrivee = df1.groupby('ST arrivée arrondie').size()
  748. pmr_par_25min_depart = df1.groupby('ST départ arrondie').size()
  749. plt.figure(figsize=(14, 6))
  750. plt.plot(pmr_par_25min_arrivee.index, pmr_par_25min_arrivee.values, label='Arrivées', marker='o')
  751. plt.plot(pmr_par_25min_depart.index, pmr_par_25min_depart.values, label='Départs', marker='o')
  752. plt.title("Nombre de PMR par tranche de 25 minutes")
  753. plt.xlabel("Date et heure")
  754. plt.ylabel("Nombre de PMR")
  755. ax = plt.gca()
  756. ax.xaxis.set_major_formatter(mdates.DateFormatter('%Y-%m-%d %H:%M'))
  757. ax.xaxis.set_major_locator(mdates.HourLocator(interval=1)) # tick every 1 hour
  758. plt.xticks(rotation=45)
  759. plt.grid(True)
  760. plt.legend()
  761. plt.tight_layout()
  762. plt.show()
  763. df1 = df1.drop(columns=['jour_nom_entree', 'jour_nom_depart', 'minutes_entree' ,'minutes_depart' ,'periode_entree', 'periode_depart','jour_semaine_arrivee','ST arrivée arrondie', 'ST départ arrondie'])
  764. df1
  765. colonnes_details = [
  766. 'Detail SORTI', 'Detail MEET-RPI', 'Detail ELB', 'Detail MEETR-A',
  767. 'Detail MEETL-A', 'Detail MEET-LIEU', 'Detail MEET-BNQ', 'Detail MEET-ACC',
  768. 'Detail PEMB', 'Detail MEET-EMB', 'Detail MEETR-D', 'Detail MEETL-D', 'Detail MEET-COR'
  769. ]
  770. for col in colonnes_details:
  771. print(f"\n--- {col} ---")
  772. print(df1[col].value_counts(dropna=False)) # dropna=False pour aussi voir les NaN
  773. print(df1[col].value_counts(dropna=False, normalize=True).round(3) * 100) # pourcentage
  774. # nouvelle colonne binaire : 1 si "NO SHOW", 0 sinon
  775. df1['no_show'] = df1[['Detail SORTI', 'Detail MEETR-A', 'Detail MEETL-A','Detail MEET-ACC']].apply(
  776. lambda row: 'NO SHOW' in row.values, axis=1).astype(int)
  777. # compagnie à l'arrivée
  778. no_show_by_company = df1.groupby('nom_compagnie_arr')['no_show'].agg(['count', 'sum'])
  779. no_show_by_company['taux_no_show'] = no_show_by_company['sum'] / no_show_by_company['count']
  780. no_show_by_company = no_show_by_company.sort_values('taux_no_show', ascending=False)
  781. plt.figure(figsize=(12, 6))
  782. plt.bar(no_show_by_company.index[:20], no_show_by_company['taux_no_show'][:20], color='tomato')
  783. plt.xticks(rotation=90)
  784. plt.title("Taux de NO SHOW par compagnie (Top 20)")
  785. plt.ylabel("Taux de NO SHOW")
  786. plt.xlabel("Compagnie aérienne")
  787. plt.tight_layout()
  788. plt.show()
  789. # Table de contingence entre compagnie et no_show
  790. contingency_table = pd.crosstab(df1['nom_compagnie_arr'], df1['no_show'])
  791. chi2, p, dof, expected = chi2_contingency(contingency_table)
  792. print(f"Chi² statistic : {chi2:.2f}")
  793. print(f"Degrees of freedom : {dof}")
  794. print(f"P-value : {p:.5f}")
  795. if p < 0.05:
  796. print("✅ Il existe une relation significative entre la compagnie aérienne et le NO SHOW (on rejette H0).")
  797. else:
  798. print("❌ Aucune relation significative détectée (on ne peut pas rejeter H0).")
  799. # nouvelle colonne binaire : 1 si "NO SHOW" dans l'une des colonnes sélectionnées, 0 sinon
  800. df1['no_show'] = df1[['Detail SORTI', 'Detail MEETR-A', 'Detail MEETL-A', 'Detail MEET-ACC']].apply(
  801. lambda row: 'NO SHOW' in row.values, axis=1).astype(int)
  802. # compagnie à la destination
  803. no_show_by_company_dest = df1.groupby('nom_compagnie_dest')['no_show'].agg(['count', 'sum'])
  804. no_show_by_company_dest['taux_no_show'] = no_show_by_company_dest['sum'] / no_show_by_company_dest['count']
  805. no_show_by_company_dest = no_show_by_company_dest.sort_values('taux_no_show', ascending=False)
  806. plt.figure(figsize=(12, 6))
  807. plt.bar(no_show_by_company_dest.index[:20], no_show_by_company_dest['taux_no_show'][:20], color='tomato')
  808. plt.xticks(rotation=90)
  809. plt.title("Taux de NO SHOW par compagnie à la destination (Top 20)")
  810. plt.ylabel("Taux de NO SHOW")
  811. plt.xlabel("Compagnie aérienne")
  812. plt.tight_layout()
  813. plt.show()
  814. signal_counts = df['Statut signalement arrivée'].value_counts()
  815. plt.figure(figsize=(10,6))
  816. ax = signal_counts.plot(kind='bar', color='skyblue')
  817. plt.title("Répartition des demandes d'assistance par délai de signalement")
  818. plt.ylabel("Nombre de demandes")
  819. plt.xlabel("Statut signalement arrivée")
  820. plt.xticks(rotation=45, ha='right')
  821. # Ajouter les nombres au-dessus des barres
  822. for p in ax.patches:
  823. height = p.get_height()
  824. ax.text(p.get_x() + p.get_width() / 2, height + 5, # 5 = décalage vertical au-dessus
  825. f'{int(height)}', ha='center')
  826. plt.tight_layout()
  827. plt.show()
  828. df1['Statut signalement arrivée'] = df['Statut signalement arrivée'].fillna('Non précisé')
  829. # Grouper par signalement et calculer le taux moyen de no-show
  830. no_show_by_signal = df1.groupby('Statut signalement arrivée')['no_show'].mean().sort_values()
  831. plt.figure(figsize=(10, 6))
  832. no_show_by_signal.plot(kind='bar', color='salmon')
  833. plt.ylabel("Taux de no-show")
  834. plt.title("Taux de no-show selon le moment du signalement de l’assistance")
  835. plt.xticks(rotation=45)
  836. plt.grid(axis='y')
  837. plt.tight_layout()
  838. plt.show()
  839. print(df1['Statut signalement arrivée'].unique())
  840. # Nettoyage des valeurs
  841. df1['Statut signalement arrivée'] = df1['Statut signalement arrivée'].replace({
  842. '<1h': '<6h',
  843. '<2h': '<6h',
  844. '<6h': '<6h',
  845. 'N.A': 'Non précisé',
  846. np.nan: 'Non précisé'
  847. })
  848. from pandas.api.types import CategoricalDtype
  849. ordre = CategoricalDtype(
  850. categories=['<6h', '<12h', '<24h', '<36h', '>36h'],
  851. ordered=True
  852. )
  853. df1['Statut signalement arrivée'] = df1['Statut signalement arrivée'].astype(ordre)
  854. df1['Signalement_encoded'] = df1['Statut signalement arrivée'].cat.codes
  855. df1
  856. # Trier par nombre de passagers
  857. passagers_par_vol_date = df1.groupby(['Code Cie arrivée', 'ST arrivée']).size().reset_index(name='nb_passagers')
  858. top_vols = passagers_par_vol_date.sort_values(by='nb_passagers', ascending=False).head(10)
  859. plt.figure(figsize=(12, 6))
  860. bars = plt.barh(
  861. top_vols['Code Cie arrivée'] + ' - ' + top_vols['ST arrivée'].astype(str),
  862. top_vols['nb_passagers'],
  863. color='skyblue'
  864. )
  865. plt.xlabel("Nombre de passagers")
  866. plt.title("Top 10 des vols avec le plus de passagers")
  867. for bar in bars:
  868. width = bar.get_width()
  869. plt.text(width + 1, bar.get_y() + bar.get_height()/2, str(int(width)), va='center')
  870. plt.gca().invert_yaxis()
  871. plt.tight_layout()
  872. plt.show()
  873. df1['ST arrivée'] = pd.to_datetime(df1['ST arrivée'], errors='coerce')
  874. df1['tranche_25min_arr'] = df1['ST arrivée'].dt.floor('25min')
  875. pmr_arrivee_25min = df1.groupby(['tranche_25min_arr']).size().reset_index(name='pmr_total')
  876. df1['ST départ'] = pd.to_datetime(df1['ST départ'], errors='coerce')
  877. # Arrondir à la tranche de 25 minutes
  878. df1['tranche_25min_depart'] = df1['ST départ'].dt.floor('25min')
  879. # Grouper par tranche et compter les PMR
  880. pmr_depart_25min = df1.groupby(['tranche_25min_depart']).size().reset_index(name='pmr_total')
  881. pmr_arrivee_25min = pmr_arrivee_25min.rename(columns={'tranche_25min_arr': 'tranche_25min'})
  882. pmr_depart_25min = pmr_depart_25min.rename(columns={'tranche_25min_depart': 'tranche_25min'})
  883. pmr_merged = pd.merge(
  884. pmr_arrivee_25min,
  885. pmr_depart_25min,
  886. on='tranche_25min',
  887. how='outer',
  888. suffixes=('_arrivee', '_depart')
  889. )
  890. # Remplacer les NaN par 0
  891. pmr_merged['pmr_total_arrivee'] = pmr_merged['pmr_total_arrivee'].fillna(0).astype(int)
  892. pmr_merged['pmr_total_depart'] = pmr_merged['pmr_total_depart'].fillna(0).astype(int)
  893. pmr_merged['total'] = pmr_merged['pmr_total_arrivee'] + pmr_merged['pmr_total_depart']
  894. pmr_merged = pmr_merged.sort_values('tranche_25min').reset_index(drop=True)
  895. pmr_merged[['tranche_25min', 'pmr_total_arrivee', 'pmr_total_depart', 'total']]
  896. pmr_merged = pmr_merged.rename(columns={'total': 'pmr_total'})
  897. pmr_merged
  898. #df1=df1[['org_dest', 'ST arrivée', 'ST départ','mois_entree' ,'mois_depart','periode_entree_sin', 'periode_entree_cos' ,'periode_depart_sin', 'periode_depart_cos','no_show','compagnie_arr_encoded','compagnie_dest_encoded']]
  899. df1
  900. df1['jour_semaine_entree'] = df1['ST arrivée'].dt.weekday
  901. df1['jour_semaine_entree_sin'] = np.sin(2 * np.pi * df1['jour_semaine_entree'] / 7)
  902. df1['jour_semaine_entree_cos'] = np.cos(2 * np.pi * df1['jour_semaine_entree'] / 7)
  903. df1['jour_semaine_depart'] = df1['ST départ'].dt.weekday
  904. df1['jour_semaine_depart_sin'] = np.sin(2 * np.pi * df1['jour_semaine_depart'] / 7)
  905. df1['jour_semaine_depart_cos'] = np.cos(2 * np.pi * df1['jour_semaine_depart'] / 7)
  906. print(df1[pd.to_numeric(df1['mois_entree'], errors='coerce').isna()]['mois_entree'].unique())
  907. print(df1[pd.to_numeric(df1['mois_depart'], errors='coerce').isna()]['mois_depart'].unique())
  908. mois_map = {
  909. 'janvier': 1, 'février': 2, 'mars': 3, 'avril': 4,
  910. 'mai': 5, 'juin': 6, 'juillet': 7, 'août': 8,
  911. 'septembre': 9, 'octobre': 10, 'novembre': 11, 'décembre': 12
  912. }
  913. df1['mois_entree'] = df1['mois_entree'].str.lower().str.strip().map(mois_map)
  914. df1['mois_depart'] = df1['mois_depart'].str.lower().str.strip().map(mois_map)
  915. df1
  916. df1['mois_entree_sin'] = np.sin(2 * np.pi * df1['mois_entree'] / 12)
  917. df1['mois_entree_cos'] = np.cos(2 * np.pi * df1['mois_entree'] / 12)
  918. df1['mois_depart_sin'] = np.sin(2 * np.pi * df1['mois_depart'] / 12)
  919. df1['mois_depart_cos'] = np.cos(2 * np.pi * df1['mois_depart'] / 12)
  920. #df1 = df1.drop(columns=['mois_entree', 'mois_depart' ,'ST arrivée','ST départ','mois_entree','mois_depart','jour_semaine_entree', 'jour_semaine_depart','mois_entree_sin', 'mois_entree_cos' ,'mois_depart_sin' ,'mois_depart_cos'], errors='ignore')
  921. df1
  922. df1['tranche_arrivee'] = df1['ST arrivée'].dt.floor('25T')
  923. df1['tranche_depart'] = df1['ST départ'].dt.floor('25T')
  924. # Nombre de vols uniques par compagnie à l’arrivée par tranche
  925. arrivee_grouped = (
  926. df1.groupby(['tranche_arrivee', 'compagnie_arr_simplifiée'])['Code Cie arrivée']
  927. .nunique()
  928. .unstack(fill_value=0)
  929. .reset_index()
  930. )
  931. arrivee_grouped.rename(columns={'tranche_arrivee': 'tranche_25min'}, inplace=True)
  932. arrivee_grouped.columns = ['tranche_25min'] + [f"arrivee_{col}" for col in arrivee_grouped.columns[1:]]
  933. # Nombre de vols uniques par compagnie au départ par tranche
  934. depart_grouped = (
  935. df1.groupby(['tranche_depart', 'compagnie_dest_simplifiée'])['Code Cie départ']
  936. .nunique()
  937. .unstack(fill_value=0)
  938. .reset_index()
  939. )
  940. depart_grouped.rename(columns={'tranche_depart': 'tranche_25min'}, inplace=True)
  941. depart_grouped.columns = ['tranche_25min'] + [f"depart_{col}" for col in depart_grouped.columns[1:]]
  942. pmr_merged['tranche_25min'] = pd.to_datetime(pmr_merged['tranche_25min'])
  943. # Fusion avec les données arrivées et départs
  944. df_final = pmr_merged.merge(arrivee_grouped, on='tranche_25min', how='left')
  945. df_final = df_final.merge(depart_grouped, on='tranche_25min', how='left')
  946. df_final.fillna(0, inplace=True)
  947. # Nombre total de vols uniques (arrivée + départ) par tranche
  948. arrivee_total = (
  949. df1.groupby('tranche_arrivee')['Code Cie arrivée']
  950. .nunique()
  951. .reset_index(name='nb_vols_arrivee')
  952. .rename(columns={'tranche_arrivee': 'tranche_25min'})
  953. )
  954. depart_total = (
  955. df1.groupby('tranche_depart')['Code Cie départ']
  956. .nunique()
  957. .reset_index(name='nb_vols_depart')
  958. .rename(columns={'tranche_depart': 'tranche_25min'})
  959. )
  960. vols_total = pd.merge(arrivee_total, depart_total, on='tranche_25min', how='outer').fillna(0)
  961. vols_total['nb_vols_total'] = vols_total['nb_vols_arrivee'] + vols_total['nb_vols_depart']
  962. # Fusion avec le total des vols
  963. df_final = df_final.merge(vols_total[['tranche_25min', 'nb_vols_total']], on='tranche_25min', how='left')
  964. df_final['nb_vols_total'] = df_final['nb_vols_total'].fillna(0).astype(int)
  965. df_final['jourSemaine'] = df_final['tranche_25min'].dt.dayofweek
  966. df_final['is_weekend'] = df_final['jourSemaine'].isin([5,6]).astype(int)
  967. df_final = df_final.drop(columns=['pmr_total_arrivee', 'pmr_total_depart'], errors='ignore')
  968. cols = df_final.columns.tolist()
  969. for col in ['tranche_25min', 'nb_vols_total', 'pmr_total', 'jourSemaine', 'is_weekend']:
  970. if col in cols:
  971. cols.remove(col)
  972. new_cols_order = ['tranche_25min', 'jourSemaine', 'is_weekend', 'nb_vols_total'] + cols + ['pmr_total']
  973. df_final = df_final[new_cols_order]
  974. df_final.head(10)
  975. df1['tranche_arrivee'] = df1['ST arrivée'].dt.floor('25T')
  976. df1['tranche_depart'] = df1['ST départ'].dt.floor('25T')
  977. # Nombre de vols uniques par compagnie à l’arrivée par tranche
  978. arrivee_grouped = (
  979. df1.groupby(['tranche_arrivee', 'compagnie_arr_simplifiée'])['Num Vol arrivée']
  980. .nunique()
  981. .unstack(fill_value=0)
  982. .reset_index()
  983. )
  984. arrivee_grouped.rename(columns={'tranche_arrivee': 'tranche_25min'}, inplace=True)
  985. arrivee_grouped.columns = ['tranche_25min'] + [f"arrivee_{col}" for col in arrivee_grouped.columns[1:]]
  986. # Nombre de vols uniques par compagnie au départ par tranche
  987. depart_grouped = (
  988. df1.groupby(['tranche_depart', 'compagnie_dest_simplifiée'])['Num Vol départ']
  989. .nunique()
  990. .unstack(fill_value=0)
  991. .reset_index()
  992. )
  993. depart_grouped.rename(columns={'tranche_depart': 'tranche_25min'}, inplace=True)
  994. depart_grouped.columns = ['tranche_25min'] + [f"depart_{col}" for col in depart_grouped.columns[1:]]
  995. # PMR à l’arrivée par tranche et compagnie (nombre d'occurrences)
  996. pmr_arrivee = (
  997. df1.groupby(['tranche_arrivee', 'compagnie_arr_simplifiée'])
  998. .size()
  999. .unstack(fill_value=0)
  1000. .reset_index()
  1001. )
  1002. pmr_arrivee.rename(columns={'tranche_arrivee': 'tranche_25min'}, inplace=True)
  1003. pmr_arrivee.columns = ['tranche_25min'] + [f"pmr_arrivee_{col}" for col in pmr_arrivee.columns[1:]]
  1004. # PMR au départ par tranche et compagnie
  1005. pmr_depart = (
  1006. df1.groupby(['tranche_depart', 'compagnie_dest_simplifiée'])
  1007. .size()
  1008. .unstack(fill_value=0)
  1009. .reset_index()
  1010. )
  1011. pmr_depart.rename(columns={'tranche_depart': 'tranche_25min'}, inplace=True)
  1012. pmr_depart.columns = ['tranche_25min'] + [f"pmr_depart_{col}" for col in pmr_depart.columns[1:]]
  1013. pmr_merged = pd.merge(pmr_arrivee, pmr_depart, on='tranche_25min', how='outer').fillna(0)
  1014. pmr_merged['tranche_25min'] = pd.to_datetime(pmr_merged['tranche_25min'])
  1015. df_final = pmr_merged.merge(arrivee_grouped, on='tranche_25min', how='left')
  1016. df_final = df_final.merge(depart_grouped, on='tranche_25min', how='left')
  1017. df_final.fillna(0, inplace=True)
  1018. arrivee_total = (
  1019. df1.groupby('tranche_arrivee')['Num Vol arrivée']
  1020. .nunique()
  1021. .reset_index(name='nb_vols_arrivee')
  1022. .rename(columns={'tranche_arrivee': 'tranche_25min'})
  1023. )
  1024. depart_total = (
  1025. df1.groupby('tranche_depart')['Num Vol départ']
  1026. .nunique()
  1027. .reset_index(name='nb_vols_depart')
  1028. .rename(columns={'tranche_depart': 'tranche_25min'})
  1029. )
  1030. vols_total = pd.merge(arrivee_total, depart_total, on='tranche_25min', how='outer').fillna(0)
  1031. vols_total['nb_vols_total'] = vols_total['nb_vols_arrivee'] + vols_total['nb_vols_depart']
  1032. df_final = df_final.merge(vols_total[['tranche_25min', 'nb_vols_total']], on='tranche_25min', how='left')
  1033. df_final['nb_vols_total'] = df_final['nb_vols_total'].fillna(0).astype(int)
  1034. pmr_cols = [col for col in df_final.columns if col.startswith('pmr_arrivee_') or col.startswith('pmr_depart_')]
  1035. df_final['pmr_total'] = df_final[pmr_cols].sum(axis=1)
  1036. df_final['jourSemaine'] = df_final['tranche_25min'].dt.dayofweek
  1037. df_final = df_final.drop(columns=['pmr_total_arrivee', 'pmr_total_depart'], errors='ignore')
  1038. cols = df_final.columns.tolist()
  1039. for col in ['tranche_25min', 'nb_vols_total', 'pmr_total', 'jourSemaine']:
  1040. if col in cols:
  1041. cols.remove(col)
  1042. new_cols_order = ['tranche_25min', 'jourSemaine', 'nb_vols_total'] + cols + ['pmr_total']
  1043. df_final = df_final[new_cols_order]
  1044. df_final.head(10)
  1045. import requests
  1046. import pandas as pd
  1047. API_KEY = 'NNPh5mZBBbBTNm6qnvvzI56gY1P339NZ'
  1048. BASE_URL = 'https://calendarific.com/api/v2/holidays'
  1049. def get_holidays_for_year_with_names(year, country='FR'):
  1050. params = {
  1051. 'api_key': API_KEY,
  1052. 'country': country,
  1053. 'year': year
  1054. }
  1055. response = requests.get(BASE_URL, params=params)
  1056. data = response.json()
  1057. holidays = {}
  1058. if data['meta']['code'] == 200:
  1059. for holiday in data['response']['holidays']:
  1060. date_iso = holiday['date']['iso'] # format yyyy-mm-dd
  1061. name = holiday['name']
  1062. holidays[date_iso] = name
  1063. else:
  1064. print(f"Erreur API pour l'année {year}:", data['meta'].get('error_detail', 'Erreur inconnue'))
  1065. return holidays
  1066. # Préparation des tranches 25 minutes dans df1 (exemple avec tes colonnes)
  1067. df1['tranche_arrivee'] = df1['ST arrivée'].dt.floor('25T')
  1068. df1['tranche_depart'] = df1['ST départ'].dt.floor('25T')
  1069. # Nombre de vols uniques par compagnie à l’arrivée par tranche
  1070. arrivee_grouped = (
  1071. df1.groupby(['tranche_arrivee', 'compagnie_arr_simplifiée'])['Num Vol arrivée']
  1072. .nunique()
  1073. .unstack(fill_value=0)
  1074. .reset_index()
  1075. )
  1076. arrivee_grouped.rename(columns={'tranche_arrivee': 'tranche_25min'}, inplace=True)
  1077. arrivee_grouped.columns = ['tranche_25min'] + [f"arrivee_{col}" for col in arrivee_grouped.columns[1:]]
  1078. # Nombre de vols uniques par compagnie au départ par tranche
  1079. depart_grouped = (
  1080. df1.groupby(['tranche_depart', 'compagnie_dest_simplifiée'])['Num Vol départ']
  1081. .nunique()
  1082. .unstack(fill_value=0)
  1083. .reset_index()
  1084. )
  1085. depart_grouped.rename(columns={'tranche_depart': 'tranche_25min'}, inplace=True)
  1086. depart_grouped.columns = ['tranche_25min'] + [f"depart_{col}" for col in depart_grouped.columns[1:]]
  1087. # PMR à l’arrivée par tranche et compagnie
  1088. pmr_arrivee = (
  1089. df1.groupby(['tranche_arrivee', 'compagnie_arr_simplifiée'])
  1090. .size()
  1091. .unstack(fill_value=0)
  1092. .reset_index()
  1093. )
  1094. pmr_arrivee.rename(columns={'tranche_arrivee': 'tranche_25min'}, inplace=True)
  1095. pmr_arrivee.columns = ['tranche_25min'] + [f"pmr_arrivee_{col}" for col in pmr_arrivee.columns[1:]]
  1096. # PMR au départ par tranche et compagnie
  1097. pmr_depart = (
  1098. df1.groupby(['tranche_depart', 'compagnie_dest_simplifiée'])
  1099. .size()
  1100. .unstack(fill_value=0)
  1101. .reset_index()
  1102. )
  1103. pmr_depart.rename(columns={'tranche_depart': 'tranche_25min'}, inplace=True)
  1104. pmr_depart.columns = ['tranche_25min'] + [f"pmr_depart_{col}" for col in pmr_depart.columns[1:]]
  1105. # Fusion des PMR arrivee et depart
  1106. pmr_merged = pd.merge(pmr_arrivee, pmr_depart, on='tranche_25min', how='outer').fillna(0)
  1107. pmr_merged['tranche_25min'] = pd.to_datetime(pmr_merged['tranche_25min'])
  1108. # Fusion des données vols et pmr
  1109. df_final = pmr_merged.merge(arrivee_grouped, on='tranche_25min', how='left')
  1110. df_final = df_final.merge(depart_grouped, on='tranche_25min', how='left')
  1111. df_final.fillna(0, inplace=True)
  1112. # Calcul du nombre total de vols par tranche
  1113. arrivee_total = (
  1114. df1.groupby('tranche_arrivee')['Num Vol arrivée']
  1115. .nunique()
  1116. .reset_index(name='nb_vols_arrivee')
  1117. .rename(columns={'tranche_arrivee': 'tranche_25min'})
  1118. )
  1119. depart_total = (
  1120. df1.groupby('tranche_depart')['Num Vol départ']
  1121. .nunique()
  1122. .reset_index(name='nb_vols_depart')
  1123. .rename(columns={'tranche_depart': 'tranche_25min'})
  1124. )
  1125. vols_total = pd.merge(arrivee_total, depart_total, on='tranche_25min', how='outer').fillna(0)
  1126. vols_total['nb_vols_total'] = vols_total['nb_vols_arrivee'] + vols_total['nb_vols_depart']
  1127. df_final = df_final.merge(vols_total[['tranche_25min', 'nb_vols_total']], on='tranche_25min', how='left')
  1128. df_final['nb_vols_total'] = df_final['nb_vols_total'].fillna(0).astype(int)
  1129. pmr_cols = [col for col in df_final.columns if col.startswith('pmr_arrivee_') or col.startswith('pmr_depart_')]
  1130. df_final['pmr_total'] = df_final[pmr_cols].sum(axis=1)
  1131. df_final['jourSemaine'] = df_final['tranche_25min'].dt.dayofweek
  1132. cols = df_final.columns.tolist()
  1133. for col in ['tranche_25min', 'nb_vols_total', 'pmr_total', 'jourSemaine']:
  1134. if col in cols:
  1135. cols.remove(col)
  1136. new_cols_order = ['tranche_25min', 'jourSemaine', 'nb_vols_total'] + cols + ['pmr_total']
  1137. df_final = df_final[new_cols_order]
  1138. # holiday_name
  1139. years = df_final['tranche_25min'].dt.year.unique()
  1140. all_holidays = {}
  1141. for year in years:
  1142. holidays_for_year = get_holidays_for_year_with_names(year, country='FR')
  1143. all_holidays.update(holidays_for_year)
  1144. df_final['date_str'] = df_final['tranche_25min'].dt.strftime('%Y-%m-%d')
  1145. df_final['holiday_name'] = df_final['date_str'].map(all_holidays).fillna('')
  1146. df_final.drop(columns=['date_str'], inplace=True)
  1147. df_final.head(10)
  1148. df_final
  1149. df_final['minutes'] = df_final['tranche_25min'].dt.hour * 60 + df_final['tranche_25min'].dt.minute
  1150. df_final['tranche_num'] = df_final['minutes'] // 25
  1151. max_tranche = 24 * 60 // 25
  1152. df_final['tranche_sin'] = np.sin(2 * np.pi * df_final['tranche_num'] / max_tranche)
  1153. df_final['tranche_cos'] = np.cos(2 * np.pi * df_final['tranche_num'] / max_tranche)
  1154. max_jour = 7
  1155. df_final['jour_sin'] = np.sin(2 * np.pi * df_final['jourSemaine'] / max_jour)
  1156. df_final['jour_cos'] = np.cos(2 * np.pi * df_final['jourSemaine'] / max_jour)
  1157. # Supprime les colonnes originales si nécessaire
  1158. df_final = df_final.drop(columns=['tranche_25min', 'jourSemaine'])
  1159. df_final
  1160. X = df_final.drop(columns=['pmr_total'])
  1161. y = df_final['pmr_total']
  1162. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  1163. rf = RandomForestRegressor(n_estimators=100, random_state=42)
  1164. rf.fit(X_train, y_train)
  1165. y_pred = rf.predict(X_test)
  1166. mae = mean_absolute_error(y_test, y_pred)
  1167. rmse = mean_squared_error(y_test, y_pred, squared=False)
  1168. print(f"MAE: {mae:.2f}")
  1169. print(f"RMSE: {rmse:.2f}")
  1170. ordered_columns = [
  1171. "nb_vols_total",
  1172. "pmr_arrivee_Aer Lingus (EI)",
  1173. "pmr_arrivee_Air Algerie (AH)",
  1174. "pmr_arrivee_Air Canada (AC)",
  1175. "pmr_arrivee_Air China (CA)",
  1176. "pmr_arrivee_Air France (AF)",
  1177. "pmr_arrivee_Air India (AI)",
  1178. "pmr_arrivee_Air Senegal (HC)",
  1179. "pmr_arrivee_Air Tahiti Nui (TN)",
  1180. "pmr_arrivee_American Airlines (AA)",
  1181. "pmr_arrivee_Asiana Airlines (OZ)",
  1182. "pmr_arrivee_Avianca (AV)",
  1183. "pmr_arrivee_Brussels Airlines (SN)",
  1184. "pmr_arrivee_Cathay Pacific (CX)",
  1185. "pmr_arrivee_EL AL (LY)",
  1186. "pmr_arrivee_Emirates (EK)",
  1187. "pmr_arrivee_Etihad Airways (EY)",
  1188. "pmr_arrivee_LATAM Chile (LA)",
  1189. "pmr_arrivee_Lufthansa (LH)",
  1190. "pmr_arrivee_Norwegian Air Sweden (N0)",
  1191. "pmr_arrivee_Nouvelair (BJ)",
  1192. "pmr_arrivee_Other",
  1193. "pmr_arrivee_PIA (PK)",
  1194. "pmr_arrivee_Qatar Airways (QR)",
  1195. "pmr_arrivee_SAS Scandinavian (SK)",
  1196. "pmr_arrivee_Singapore Airlines (SQ)",
  1197. "pmr_arrivee_SunExpress (XQ)",
  1198. "pmr_arrivee_Turkish Airlines (TK)",
  1199. "pmr_arrivee_United Airlines (UA)",
  1200. "pmr_arrivee_Volotea (VF)",
  1201. "pmr_arrivee_easyJet (EZY)",
  1202. "pmr_arrivee_easyJet Europe (EJU)",
  1203. "pmr_depart_Air Algerie (AH)",
  1204. "pmr_depart_Air Canada (AC)",
  1205. "pmr_depart_Air France (AF)",
  1206. "pmr_depart_Air India (AI)",
  1207. "pmr_depart_Air Senegal (HC)",
  1208. "pmr_depart_Alitalia (AZ)",
  1209. "pmr_depart_American Airlines (AA)",
  1210. "pmr_depart_Avianca (AV)",
  1211. "pmr_depart_British Airways (BA)",
  1212. "pmr_depart_Brussels Airlines (SN)",
  1213. "pmr_depart_EL AL (LY)",
  1214. "pmr_depart_Emirates (EK)",
  1215. "pmr_depart_Ethiopian Airlines (ET)",
  1216. "pmr_depart_Jet2.com (LS)",
  1217. "pmr_depart_Lufthansa (LH)",
  1218. "pmr_depart_Nouvelair (BJ)",
  1219. "pmr_depart_Other",
  1220. "pmr_depart_Qatar Airways (QR)",
  1221. "pmr_depart_Royal Air Maroc (AT)",
  1222. "pmr_depart_SunExpress (XQ)",
  1223. "pmr_depart_Turkish Airlines (TK)",
  1224. "pmr_depart_United Airlines (UA)",
  1225. "pmr_depart_Volotea (VF)",
  1226. "pmr_depart_easyJet (EZY)",
  1227. "pmr_depart_easyJet Europe (EJU)",
  1228. "arrivee_Aer Lingus (EI)",
  1229. "arrivee_Air Algerie (AH)",
  1230. "arrivee_Air Canada (AC)",
  1231. "arrivee_Air China (CA)",
  1232. "arrivee_Air France (AF)",
  1233. "arrivee_Air India (AI)",
  1234. "arrivee_Air Senegal (HC)",
  1235. "arrivee_Air Tahiti Nui (TN)",
  1236. "arrivee_American Airlines (AA)",
  1237. "arrivee_Asiana Airlines (OZ)",
  1238. "arrivee_Avianca (AV)",
  1239. "arrivee_Brussels Airlines (SN)",
  1240. "arrivee_Cathay Pacific (CX)",
  1241. "arrivee_EL AL (LY)",
  1242. "arrivee_Emirates (EK)",
  1243. "arrivee_Etihad Airways (EY)",
  1244. "arrivee_LATAM Chile (LA)",
  1245. "arrivee_Lufthansa (LH)",
  1246. "arrivee_Norwegian Air Sweden (N0)",
  1247. "arrivee_Nouvelair (BJ)",
  1248. "arrivee_Other",
  1249. "arrivee_PIA (PK)",
  1250. "arrivee_Qatar Airways (QR)",
  1251. "arrivee_SAS Scandinavian (SK)",
  1252. "arrivee_Singapore Airlines (SQ)",
  1253. "arrivee_SunExpress (XQ)",
  1254. "arrivee_Turkish Airlines (TK)",
  1255. "arrivee_United Airlines (UA)",
  1256. "arrivee_Volotea (VF)",
  1257. "arrivee_easyJet (EZY)",
  1258. "arrivee_easyJet Europe (EJU)",
  1259. "depart_Air Algerie (AH)",
  1260. "depart_Air Canada (AC)",
  1261. "depart_Air France (AF)",
  1262. "depart_Air India (AI)",
  1263. "depart_Air Senegal (HC)",
  1264. "depart_Alitalia (AZ)",
  1265. "depart_American Airlines (AA)",
  1266. "depart_Avianca (AV)",
  1267. "depart_British Airways (BA)",
  1268. "depart_Brussels Airlines (SN)",
  1269. "depart_EL AL (LY)",
  1270. "depart_Emirates (EK)",
  1271. "depart_Ethiopian Airlines (ET)",
  1272. "depart_Jet2.com (LS)",
  1273. "depart_Lufthansa (LH)",
  1274. "depart_Nouvelair (BJ)",
  1275. "depart_Other",
  1276. "depart_Qatar Airways (QR)",
  1277. "depart_Royal Air Maroc (AT)",
  1278. "depart_SunExpress (XQ)",
  1279. "depart_Turkish Airlines (TK)",
  1280. "depart_United Airlines (UA)",
  1281. "depart_Volotea (VF)",
  1282. "depart_easyJet (EZY)",
  1283. "depart_easyJet Europe (EJU)",
  1284. "minutes",
  1285. "tranche_num",
  1286. "tranche_sin",
  1287. "tranche_cos",
  1288. "jour_sin",
  1289. "jour_cos"
  1290. ]
  1291. def generate_pmr(size):
  1292. return np.random.poisson(lam=2, size=size)
  1293. n_samples = 1000
  1294. pmr_arrivee_cols = [c for c in ordered_columns if c.startswith("pmr_arrivee_")]
  1295. pmr_depart_cols = [c for c in ordered_columns if c.startswith("pmr_depart_")]
  1296. arrivee_cols = [c for c in ordered_columns if c.startswith("arrivee_")]
  1297. depart_cols = [c for c in ordered_columns if c.startswith("depart_")]
  1298. data = {}
  1299. data["nb_vols_total"] = np.random.randint(0, 50, size=n_samples)
  1300. for col in pmr_arrivee_cols:
  1301. data[col] = generate_pmr(n_samples)
  1302. for col in pmr_depart_cols:
  1303. data[col] = generate_pmr(n_samples)
  1304. for col in arrivee_cols + depart_cols:
  1305. # Binary 0/1 for arrival/departure presence flags
  1306. data[col] = np.random.choice([0, 1], size=n_samples)
  1307. data["minutes"] = np.random.randint(0, 1440, size=n_samples)
  1308. data["tranche_num"] = data["minutes"] // 25
  1309. data["tranche_sin"] = np.sin(2 * np.pi * data["tranche_num"] / 96)
  1310. data["tranche_cos"] = np.cos(2 * np.pi * data["tranche_num"] / 96)
  1311. jour_num = np.random.randint(0, 7, size=n_samples)
  1312. data["jour_sin"] = np.sin(2 * np.pi * jour_num / 7)
  1313. data["jour_cos"] = np.cos(2 * np.pi * jour_num / 7)
  1314. import pandas as pd
  1315. df = pd.DataFrame(data)
  1316. df = df[ordered_columns]
  1317. pmr_pred = rf.predict(df)
  1318. for tranche, pred in zip(data['tranche_num'], pmr_pred):
  1319. start_minute = tranche * 25
  1320. end_minute = (tranche + 1) * 25 - 1
  1321. start_hour, start_min = divmod(start_minute, 60)
  1322. end_hour, end_min = divmod(end_minute, 60)
  1323. print(f"Tranche {tranche} ({start_hour:02d}:{start_min:02d} - {end_hour:02d}:{end_min:02d}): Prédiction PMR = {pred:.2f}")
  1324. import requests
  1325. import pandas as pd
  1326. import numpy as np
  1327. API_KEY = "OaVTBoRzf6lvHiOkYr8UFhNg06CGGdB6"
  1328. # Fonction qui récupère la liste des jours fériés d'une année pour un pays
  1329. def get_holidays_for_year_country(year, country_code):
  1330. url = "https://calendarific.com/api/v2/holidays"
  1331. params = {
  1332. 'api_key': API_KEY,
  1333. 'country': country_code,
  1334. 'year': year,
  1335. 'type': 'national,religious' # tu peux ajuster le type si besoin
  1336. }
  1337. response = requests.get(url, params=params)
  1338. if response.status_code != 200:
  1339. print(f"Erreur API pour {year} - {country_code}: {response.status_code}")
  1340. return set()
  1341. holidays = response.json().get('response', {}).get('holidays', [])
  1342. # Extraire les dates ISO (YYYY-MM-DD) dans un set pour accès rapide
  1343. holiday_dates = set(hol['date']['iso'] for hol in holidays)
  1344. return holiday_dates
  1345. df['ST arrivée'] = pd.to_datetime(df['ST arrivée'], errors='coerce')
  1346. df['year_arrivee'] = df['ST arrivée'].dt.year
  1347. unique_year_country = df[['year_arrivee', 'code_pays_origine']].dropna().drop_duplicates()
  1348. # Dictionnaire pour stocker les jours fériés par (année, pays)
  1349. holidays_map = {}
  1350. for idx, row in unique_year_country.iterrows():
  1351. year = int(row['year_arrivee'])
  1352. country = row['code_pays_origine']
  1353. holidays_map[(year, country)] = get_holidays_for_year_country(year, country)
  1354. # Fonction pour vérifier si la date est un jour férié via le mapping
  1355. def is_holiday_mapped(row):
  1356. if pd.isnull(row['ST arrivée']) or pd.isnull(row['code_pays_origine']):
  1357. return False
  1358. key = (row['ST arrivée'].year, row['code_pays_origine'])
  1359. date_str = row['ST arrivée'].strftime('%Y-%m-%d')
  1360. return date_str in holidays_map.get(key, set())
  1361. df['jour_ferie_arrivee'] = df.apply(is_holiday_mapped, axis=1)
  1362. df.drop(columns=['year_arrivee'], inplace=True)
  1363. def encode_cyclique_time(dt_series):
  1364. minutes = dt_series.dt.hour.fillna(0) * 60 + dt_series.dt.minute.fillna(0)
  1365. minutes_in_day = 24 * 60
  1366. sin_time = np.sin(2 * np.pi * minutes / minutes_in_day)
  1367. cos_time = np.cos(2 * np.pi * minutes / minutes_in_day)
  1368. return sin_time, cos_time
  1369. df['sin_ST_arrivee'], df['cos_ST_arrivee'] = encode_cyclique_time(df['ST arrivée'])
  1370. df['jour_sem_arrivee'] = df['ST arrivée'].dt.dayofweek
  1371. features_pmr = [
  1372. 'Num Vol arrivée',
  1373. 'Code Cie arrivée',
  1374. 'code_pays_origine',
  1375. 'Origine',
  1376. 'jour_sem_arrivee',
  1377. 'sin_ST_arrivee', 'cos_ST_arrivee',
  1378. 'jour_ferie_arrivee'
  1379. ]
  1380. df_volArr = df[features_pmr].dropna().copy()
  1381. df_volArr.head(30)
  1382. !pip install lightgbm
  1383. pip install catboost
  1384. import pandas as pd
  1385. import numpy as np
  1386. import requests
  1387. from sklearn.model_selection import train_test_split
  1388. from sklearn.metrics import mean_squared_error, r2_score
  1389. from lightgbm import LGBMRegressor
  1390. from catboost import CatBoostRegressor, Pool
  1391. from sklearn.metrics import confusion_matrix, accuracy_score, ConfusionMatrixDisplay
  1392. import matplotlib.pyplot as plt
  1393. API_KEY = "OaVTBoRzf6lvHiOkYr8UFhNg06CGGdB6"
  1394. def get_holidays_for_year_country(year, country_code):
  1395. url = "https://calendarific.com/api/v2/holidays"
  1396. params = {
  1397. 'api_key': API_KEY,
  1398. 'country': country_code,
  1399. 'year': year,
  1400. 'type': 'national,religious'
  1401. }
  1402. try:
  1403. response = requests.get(url, params=params, timeout=10)
  1404. response.raise_for_status()
  1405. except requests.RequestException as e:
  1406. print(f"Erreur API pour {year} - {country_code}: {e}")
  1407. return set()
  1408. holidays = response.json().get('response', {}).get('holidays', [])
  1409. return set(hol['date']['iso'] for hol in holidays if 'date' in hol and 'iso' in hol['date'])
  1410. def encode_cyclique_time(dt_series):
  1411. hours = dt_series.dt.hour.fillna(0)
  1412. minutes = dt_series.dt.minute.fillna(0)
  1413. total_minutes = hours * 60 + minutes
  1414. minutes_in_day = 24 * 60
  1415. sin_time = np.sin(2 * np.pi * total_minutes / minutes_in_day)
  1416. cos_time = np.cos(2 * np.pi * total_minutes / minutes_in_day)
  1417. return sin_time, cos_time
  1418. def prepare_data():
  1419. local_csv_path = "export_des_missions_2025-06-13_100933-8546-653608357.csv"
  1420. cols_to_keep = ['Num Vol arrivée', 'Num Vol départ', 'Code Cie arrivée', 'Code Cie départ',
  1421. 'Origine', 'Destination', 'ST départ', 'ST arrivée']
  1422. df = pd.read_csv(local_csv_path, sep=';')
  1423. df = df[cols_to_keep].copy()
  1424. df['ST arrivée'] = pd.to_datetime(df['ST arrivée'], errors='coerce')
  1425. df['ST départ'] = pd.to_datetime(df['ST départ'], errors='coerce')
  1426. airports = pd.read_csv('airports.csv')
  1427. df_iata_pays = airports[['iata_code', 'iso_country']].dropna(subset=['iata_code'])
  1428. df_iata_pays_origin = df_iata_pays.rename(columns={'iata_code': 'Origine', 'iso_country': 'code_pays_origine'})
  1429. df_iata_pays_dest = df_iata_pays.rename(columns={'iata_code': 'Destination', 'iso_country': 'code_pays_destination'})
  1430. df = df.merge(df_iata_pays_origin, on='Origine', how='left')
  1431. df = df.merge(df_iata_pays_dest, on='Destination', how='left')
  1432. pmr_depart = df.groupby('Num Vol départ').size().reset_index(name='pmr_total_depart')
  1433. pmr_arrivee = df.groupby('Num Vol arrivée').size().reset_index(name='pmr_total_arrivee')
  1434. df_depart = df[['Num Vol départ', 'Code Cie départ', 'Origine', 'Destination', 'ST départ', 'code_pays_destination']].copy()
  1435. df_arrivee = df[['Num Vol arrivée', 'Code Cie arrivée', 'Origine', 'Destination', 'ST arrivée', 'code_pays_origine']].copy()
  1436. df_depart = df_depart.merge(pmr_depart, on='Num Vol départ', how='left')
  1437. df_arrivee = df_arrivee.merge(pmr_arrivee, on='Num Vol arrivée', how='left')
  1438. df_depart.rename(columns={
  1439. 'Num Vol départ': 'Num Vol',
  1440. 'Code Cie départ': 'Code Cie',
  1441. 'ST départ': 'ST',
  1442. 'code_pays_destination': 'code_pays',
  1443. 'pmr_total_depart': 'pmr total'
  1444. }, inplace=True)
  1445. df_arrivee.rename(columns={
  1446. 'Num Vol arrivée': 'Num Vol',
  1447. 'Code Cie arrivée': 'Code Cie',
  1448. 'ST arrivée': 'ST',
  1449. 'code_pays_origine': 'code_pays',
  1450. 'pmr_total_arrivee': 'pmr total'
  1451. }, inplace=True)
  1452. df_depart['type_vol'] = 'depart'
  1453. df_arrivee['type_vol'] = 'arrivee'
  1454. df_depart = df_depart[df_depart['Num Vol'].notna() & (df_depart['Num Vol'] != '')]
  1455. df_arrivee = df_arrivee[df_arrivee['Num Vol'].notna() & (df_arrivee['Num Vol'] != '')]
  1456. df_vols = pd.concat([df_depart, df_arrivee], ignore_index=True)
  1457. df_vols = df_vols.drop_duplicates(subset=['Num Vol'])
  1458. df_vols['Trajet'] = df_vols.apply(
  1459. lambda row: row['Destination'] if row['type_vol'] == 'depart' else row['Origine'],
  1460. axis=1
  1461. )
  1462. df_vols['ST'] = pd.to_datetime(df_vols['ST'], errors='coerce')
  1463. df_vols['Origine'] = df_vols['Origine'].fillna('')
  1464. df_vols['Destination'] = df_vols['Destination'].fillna('')
  1465. df_vols['code_pays'] = df_vols['code_pays'].fillna('')
  1466. # Compter le nombre de vols par jour
  1467. frequence_vol_par_jour = df_vols.groupby(['Num Vol']).size().rename('frequence_vol_par_jour')
  1468. df_vols = df_vols.merge(frequence_vol_par_jour, on='Num Vol', how='left')
  1469. unique_year_country = df_vols[['ST', 'code_pays']].dropna()
  1470. unique_year_country['year'] = unique_year_country['ST'].dt.year
  1471. unique_year_country = unique_year_country[['year', 'code_pays']].drop_duplicates()
  1472. holidays_map = {}
  1473. for _, row in unique_year_country.iterrows():
  1474. key = (int(row['year']), row['code_pays'])
  1475. if key not in holidays_map:
  1476. holidays_map[key] = get_holidays_for_year_country(*key)
  1477. def is_holiday(row):
  1478. if pd.isnull(row['ST']) or pd.isnull(row['code_pays']):
  1479. return False
  1480. key = (row['ST'].year, row['code_pays'])
  1481. date_str = row['ST'].strftime('%Y-%m-%d')
  1482. return date_str in holidays_map.get(key, set())
  1483. df_vols['jour_ferie'] = df_vols.apply(is_holiday, axis=1)
  1484. df_vols['sin_ST'], df_vols['cos_ST'] = encode_cyclique_time(df_vols['ST'])
  1485. df_vols['jour_sem'] = df_vols['ST'].dt.dayofweek.fillna(-1).astype(int)
  1486. final_cols = [
  1487. 'Num Vol',
  1488. 'Code Cie',
  1489. 'Trajet',
  1490. 'jour_sem',
  1491. 'sin_ST',
  1492. 'cos_ST',
  1493. 'jour_ferie',
  1494. 'frequence_vol_par_jour',
  1495. 'pmr total'
  1496. ]
  1497. df_vols_final = df_vols[final_cols].copy()
  1498. df_vols_final.to_csv('vols.csv', index=False)
  1499. print("Données enrichies sauvegardées dans vols.csv")
  1500. def train_and_evaluate():
  1501. df = pd.read_csv('vols.csv')
  1502. X = df.drop(columns=["pmr total", "Num Vol"])
  1503. y = df["pmr total"]
  1504. categorical_cols = X.select_dtypes(include='object').columns.tolist()
  1505. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  1506. train_pool = Pool(X_train, y_train, cat_features=categorical_cols)
  1507. test_pool = Pool(X_test, y_test, cat_features=categorical_cols)
  1508. model = CatBoostRegressor(
  1509. iterations=1000,
  1510. learning_rate=0.05,
  1511. depth=6,
  1512. loss_function='RMSE',
  1513. eval_metric='RMSE',
  1514. random_seed=42,
  1515. verbose=100,
  1516. early_stopping_rounds=50
  1517. )
  1518. model.fit(train_pool, eval_set=test_pool, use_best_model=True)
  1519. y_pred = model.predict(X_test)
  1520. mse = mean_squared_error(y_test, y_pred)
  1521. r2 = r2_score(y_test, y_pred)
  1522. print(f"Mean Squared Error (MSE): {mse:.2f}")
  1523. print(f"R^2 Score: {r2:.2f}")
  1524. df_result = X_test.copy()
  1525. df_result['y_true'] = y_test
  1526. df_result['y_pred'] = y_pred
  1527. print(df_result.head(10))
  1528. total_y_true = y_test.sum()
  1529. print(f"Somme totale de y_true : {total_y_true}")
  1530. total_y_pred = y_pred.sum()
  1531. print(f"Somme totale de y_pred : {total_y_pred}")
  1532. y_test_class = y_test.round().astype(int)
  1533. y_pred_class = np.round(y_pred).astype(int)
  1534. cm = confusion_matrix(y_test_class, y_pred_class)
  1535. acc = accuracy_score(y_test_class, y_pred_class)
  1536. print(f"\nAccuracy (rounded predictions): {acc:.2f}")
  1537. disp = ConfusionMatrixDisplay(confusion_matrix=cm)
  1538. disp.plot(cmap='Blues')
  1539. plt.title('Confusion Matrix (rounded values)')
  1540. plt.show()
  1541. if __name__ == "__main__":
  1542. prepare_data()
  1543. train_and_evaluate()
  1544. import pandas as pd
  1545. from sklearn.linear_model import Ridge
  1546. from sklearn.metrics import mean_squared_error, r2_score
  1547. from sklearn.model_selection import train_test_split
  1548. # Charger les données
  1549. df = pd.read_csv("vols.csv")
  1550. y = df["pmr total"]
  1551. X = df.drop(columns=["pmr total"])
  1552. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  1553. # Encodage par la moyenne cible (Target Encoding)
  1554. X_train_enc = X_train.copy()
  1555. X_test_enc = X_test.copy()
  1556. for col in X.select_dtypes(include=["object", "category"]).columns:
  1557. means = X_train_enc.join(y_train)[[col, "pmr total"]].groupby(col)["pmr total"].mean()
  1558. X_train_enc[col] = X_train_enc[col].map(means)
  1559. X_test_enc[col] = X_test_enc[col].map(means)
  1560. # Remplacer les valeurs inconnues (non vues dans le train) par la moyenne globale
  1561. global_mean = y_train.mean()
  1562. X_test_enc[col] = X_test_enc[col].fillna(global_mean)
  1563. # Modèle Ridge
  1564. model = Ridge(alpha=1.0)
  1565. model.fit(X_train_enc, y_train)
  1566. # Prédictions
  1567. y_pred = model.predict(X_test_enc)
  1568. # Évaluation
  1569. mse = mean_squared_error(y_test, y_pred)
  1570. r2 = r2_score(y_test, y_pred)
  1571. print(f"Mean Squared Error (MSE): {mse:.2f}")
  1572. print(f"R² Score: {r2:.2f}")
  1573. with open("AE.ipynb", "r", encoding="utf-8") as f:
  1574. notebook = json.load(f)
  1575. with open("code.py", "w", encoding="utf-8") as f:
  1576. for cell in notebook["cells"]:
  1577. if cell["cell_type"] == "code":
  1578. f.write("".join(cell["source"]))
  1579. f.write("\n\n")