4.1- Le choix du fichier de référencement (décrit précédemment) à utiliser
Ce choix a été dicté par la nature différente des travaux de nos campagnes, l’objectif étant de pouvoir référencer chaque opération et les données qu’elles induisent. Les données acquises en permanence, navire en route ou en station, demandent une référence de temps à la minute, elles sont donc croisées avec le fichier référencement ad hoc du leg concerné situé dans « ficsurfok »: Les données issues des prélèvement bouteille acquises en station lors d’une opération CTD avec rosette sont croisées avec le référencement ad hoc situé dans « ficros_coord ». Et les données obtenues en station ou en route lente à partir d’autres engins (filets, profileur vidéo, grappe optique etc…) trouvent leur référencement officiel dans le fichier de référencement ad hoc du leg situé dans le répertoire « coord_operalamer ». En fait, pour être complet il existe un quatrième groupe de données qui, comme indiqué plus haut, n’a pas subi de référencement proprement dit, bien qu’elle soient sur le site Pomme Web.
4.2- Récupération des fichiers à référencer
A dates discrètes sur le Web de Pomme, tous les fichiers ont été rapatriés ‘tels que’. Une liste a été établie avec la nature des variables présentées, ainsi qu’avec le contrôle du référencement interne de chaque fichier ( pour le continu horizontal, l’heure TU et pour les données bouteilles le n° de station et le n°de bouteille). Ensuite les fichiers à référencer ont été identifiés. Eventuellement une mise en forme a dû être faite pour les rendre aisément lisible en procédure automatique ‘Matlab’. C'est-à-dire que le contenu des fichiers doit être en tableau avec pour chaque ligne le n° de bouteille et le n° de station, ou bien l’heure TU pour le continu horizontal.
4.3- Procédure de concaténation, valable pour les données issues de la rosette et le continu de surface. Voir Annexe 1 pour plus de détail.
Principe du programme générique utilisé: le fichier source de référencement et le fichier de données à référencer, qui comporte en fait moins de lignes, sont chargés en matrice (tableau 2 D) Matlab et nommés rostm pour le référencement et ydos pour le tableau de données. Un tableau rosdos résultat, de même nombre de lignes que le fichier référencement (rostm) est construit avec le même nombre de colonne que le fichier de données (ydos). Ce tableau est initialisé avec des NaN. Une boucle est scrutée sur le numéro de ligne du fichier source de référencement. Il est cherché dans cette boucle si des données correspondent à cette ligne dans le tableau ydos. Si oui le tableau résultat est rempli, sinon les NaN sont laissés pour la ligne correspondante. La recherche de correspondance s’effectue selon la réunion des deux repères n° de station, n° de bouteille pour les données issues de la rosette et selon la date et l’heure à la minute près dans le cas de mesures continues de surface. Dans le cas ou une ligne et une seule est trouvée correspondre dans le fichier de données, le tableau résultat rosdos est documenté par la ligne correspondante de données. Si plus d’une ligne de données ydos sont trouvées (cas rare, mais répertorié), la ligne du tableau résultat est laissée en NaN , et une inscription est portée à l’écran de l’opérateur avec le n° de ligne. Ceci se produit lorsque deux dosages ont été effectués sur la même bouteille.
A la fin nous avons le tableau de données rosdos compatible en lignes avec le référencement rostm. Les deux fichiers rostm et rosdos sont d’abord sauvegardés avec les en têtes dans un fichier Matlab, .mat, puis simplement concaténés en colonne [rostm, rodos] et écrits en ASCII, .txt, et conservés. Enfin les premières lignes du fichier concaténé .txt sont documentées sous Excel grâce aux en-tête des fichiers originaux sauvegardés sous Matlab. Les noms des colonnes sont inscrits dans les programmes Matlab et conformes aux noms des colonnes des fichiers initiaux de données pour la partie données et ceux des fichiers référencement pour le fichier référencement.
Si plusieurs données sont trouvées munies du même couple station - bouteille elles sont ensuite insérées manuellement, et inventoriées. C’est la seule manipulation manuelle sur les fichiers résultats qui est donc effectuée, ceci afin de minimiser les erreurs de manipulation. Dans les fichiers résultats sous Excel, le nombre de décimales pour chaque variable est contrôlé et sauvegardé.
Au total, Pour chaque fichiers données Pomme Web référencé, trois fichiers résultats de même nom explicite sont sauvegardés (et transmis), les fichiers Matlab (extension: .mat), Excel (extension: .xls), et Excel (extension: .csv). Cette dernière extension ayant un séparateur autre que ‘espace’ est plus condensée et conserve mieux le nombre de décimale de chaque donnée même lorsque l’on ouvre Excel sous un autre système. Dans ces deux derniers types, les variables sont tronquées au nombre choisi de décimales, sous Matlab et ASCII, elles restent en pleine précision. Un compte rendu est le jour même rédigé par Caroline Pocho et est placé dans le même répertoire que les fichiers résultats. Ce compte-rendu rappelle les noms et répertoires des fichiers initiaux, l’inventaire des lignes ajoutées, et les manipulations éventuellement effectuées sur le fichier Pomme Web original pour le rendre compatible avec le programme de référencement. Si les données initiales étaient présentées en tableau cumulant en ligne toute les stations et les bouteilles sur lesquels étaient effectués les dosages, aucune manipulation préalable n’était effectuée.
Les noms génériques des fichiers référencés sont par exemple :
ficros_carbinorgdiss_p2l1_cor.csv pour carbone inorganique dissous (DIC) transmis au SPW par M. Gonzales Davila ; ce fichier est situé dans le répertoire concat_carbinorgdiss, qui contient tous les résultats de chaque pomme et chaque Leg pour ce groupe de variable, lui même trouvé dans le répertoire 3_DONNEES_TRAITEES \ AUTRES_DONNEES_POMWEB \ ficrosdcoord_donpomweb\
Nota Bene : les fichiers de référencement dans le répertoire « coord_operalamer » contiennent, de par leur construction, le référencement de chaque opération réalisée à bord. La description de cette construction est fournie dans l’Annexe 1. Les données fournies donc par toutes les opérations autres que la CTD rosette ou le continu de surface n’ont comme référencement que l’heure et la position précise et officielle du début de l’opération. Toutefois d’autres indications sont obtenues avec le fichier de référencement tels que la température de surface, la salinité.