Ma synchronisation d'un PC au 1PPS (offline) pour les occultations

[Batbihirulau 30]

Voici le résultat d’une bidouille estivale que je voulais réaliser depuis un moment.

Comme ca me semble marcher plutôt bien, je partage.

L'idée de départ était de réaliser un dongle USB permettant de synchroniser l’horloge du PC avec un signal 1PPS sans aucun accés au reseau (offline) pour une utilisation en nomade.

La précision devait également être suffisante pour permettre une utilisation sur des occultations.

Précision suffisante, c’est un peu vague, disons <1ms.

Autre critère important, ce dongle se devait d’être simple à réaliser mais aussi à mettre en œuvre, et pour un cout moindre.

 

Comment ça se présente?

 

et à l'interieur:

 

C’est un peu de la microchirurgie, mais l’intégration/miniaturisation est aussi mon kiff, et ce n’est pas la première fois (contrôleur résistance chauffante ultra nomade, dongle GPS pour raquette Synscan).

Pour faire qqch de propre et surtout arriver à une version finale, j'ai lancé qqs PCB, ce qui évitera le coté “filaire-3D” qui n’est pas compatible avec la reproductibilité.

 

Comment ça marche?

Partie hardware:

Je pense que c’est la partie la plus simple, il n’y a pas grand chose mais chaque référence est importante.

-un module GPS intégrant un module de chez U-Blox (NEO-6M) et une antenne patch (utilisé sur les drones). Ce module GPS devait avoir une sortie 1PPS (et pas juste une led)

-un module driver USB gérant le contrôle de flux: ici un TinyLily Mini USB Adapter (mais qui semble difficile à trouver maintenant) équipé d'un FT231XS (moins populaire que le 232 mais aussi moins en “tension” sur les appros ces derniers temps…)

-un boitier miniature (merci Ali)

-le cable USB

-le PCB qui va bien (en cours)

cout hardware << 30€ (à la louche)!!!

 

Partie soft:

On utilise le client/seveur de Meinberg dont le rôle est de comparer/asservir l’horloge du PC à un serveur externe. Le but ici est de l'utiliser offline pour asservir l'horloge du PC au pulse 1PPS du module GPS.

Ce 1PPS ne transporte aucune information (de localisation), mais marque chaque seconde avec une précision inférieure à la microseconde (mais on n'ira pas jusqu'à là...).

 

Dans cette application, 2 soft, fournis par Meinberg, seront utilisés:

*le client/serveur (NTP package with IPv6 support for Windows XP and newer pour Windows, mais peut etre installé sur d'autres plateformes)

Pour les puristes, le package NTP peut etre recompilé depuis les sources (en bas de https://www.ntp.org/downloads/)

 

*NTP Time Server Monitor (ne tourne que sous Windows), https://www.meinbergglobal.com/english/sw/ntp-server-monitor.htm

C'est une couche graphique bien pratique qui permet d’avoir une vue globale de la config et du fonctionnement. Mais dans une fenêtre de terminal, en faisant

ntpq -p

, on obtient la meme chose.

 

Un autre outil bien pratique, c'est le plotter de log:

* NTPplotter (https://www.satsignal.eu/software/NTPplotter.zip)

Juste pour tracer à posteriori les log obtenus.

 

Jusqu'à la, il n'y a rien d'exceptionnel, l’installation et la configuration de ces softs sont connus et documentés (http://www.satsignal.eu/ntp/setup.html).

Ca se corse lorsqu'on veut synchroniser en utilisant le 1PPS pour s’affranchir d’un accès réseau.

Ce signal (logique) va etre appliqué sur la broche DCD du driver USB de façon à synchroniser la trame GPS avec ce 1PPS.

Malheureusement, les drivers de chip USB standards ne gèrent pas tous ce type de synchro (on oublie le CH340).

C’était simple sur les anciens PC en RS232, mais en USB on n’a plus accès aux signaux de contrôle de flux. D'ou l'idée d'utiliser une dll particulière développée par des gens ferus de serveurs NTP, et reprise par Meinberg.

La procédure d'installation est décrite là ( https://support.ntp.org/Support/InstallingNTP#Section_4.6.1. bas de page) et est relativement simple: elle consiste à créer 2 nouvelles variable d'environnement, pour avoir l'image du screenshot suivant:

 

 

Maintenant que tout est installé, il reste une configuration à réaliser.

C'est un peu long (le temps que tout se stabilise à chaque fois), mais c'est nécessaire (c’est pour compenser certains délais additionnels introduit par votre PC).

Le but est de calibrer une constante (timer2 dans le fichier de config) par tâtonnement. Oui, sa valeur est dépendante de la machine utilisée tout simplement.

 

Comment utiliser?

-Une fois que le PC est démarré, brancher le dongle

-Attendre qu’au moins 4 satellites soient acquis et que le 1PPS soit généré (la LED 1PPS doit clignoter). Ca dure 4-5min.

-Lancer alors Meinberg Monitor en mode admin

-Vérifier que la synchro est faite et c’est tout.

 

Les resultats:

Une fois tout ça réalisé, l'horloge du PC est synchronisée au 1PPS du module GPS.

Voici la vue du monitoring. La synchro est indiquée par le “o” dans la colonne à gauche de la colonne Remote.

 

Les résultats vont dépendre de chaque PC et surtout de l’occupation CPU.

Pour un laptop (celui qui me servira aux acquisitions d’occultations):

 

Stabilité sur le long terme (8 heures environ)

 

Distribution de l’offset sur ce lapse de temps/

 

Ce resultat montre une dispersion de l'offset (qui est la difference temporelle entre l'horloge du PC est le 1PPS) bien inférieure à 100µs.

 

Pour ce qui est du temps d’établissement (verrouillage de la PLL), voici une vue typique du régime transitoire de stabilisation.

Le système est verrouillé en quelques minutes.

 

Recommandations:

Si on veut réaliser une synchro efficace il faut impérativement arrêter les taches en arrière plan susceptibles d'occuper le CPU périodiquement (discord est très gourmand, Firefox aussi).

La prevue, voici une courbe d’offset perturbée par Discor et Frefox:

 

Pour finir, ce dongle a été installé et utilsé sur W10 et W11 avec succès.

 

L'implémentation sur Linux (par exemple) doit etre possible, mais comme je n'y connais rien...

Alors si un linuxien est tenté, ca pourrait etre interressant.

 

Voilà, ce petit module permet de synchroniser, pour une somme modique, le PC avec un signal de référence (1PPS) avec un précision intéressante, bien inférieure à 1ms, ce qui devrait être suffisant pour le timing d’occultations.

Modifié 5 septembre 2023 par Batbihirulau

[Vincent-FA 852]

Ca met l'horloge de l'ordi à l'heure en effet, mais une partie du problème réside dans les latences introduites par les logiciels de capture, la liaison USB, le firmware de la caméra, et le système d'exploitation, donc la précision réelle ne sera pas de 1ms. C'est un bon outil à avoir en tout cas :)

[Batbihirulau 30]

Absolument @Vincent-FA.

Ca ne fait pas tout, mais c'est une étape dans l'optimisation de la chaine d'acquisition.

Modifié 5 septembre 2023 par Batbihirulau

[S.Chapeland 730]

Bonjour Batbihirulau,

 

c'est une belle réalisation, bravo !

pas facile de gérer le délai entre l'acquisition dans la caméra et l'horodatage dans le PC...

as tu fait le test ultime, à savoir filmer la led du PPS avec la caméra et vérifier l'horodatage des images sur une période d'une heure ou plus ?

 

j'ai fait le même genre de bricolage, faudrait que je le documente aussi à l'occasion.

la première version du concept avec une Toucam il y a bien 20 ans (en ajoutant une led dans le champ pour être visible dans le coin du capteur en meme temps que l'etoile, et un PIC pour générer un flash sur demande au prochain PPS). ca m'a appris a me méfier de l'USB, de windows, et de ses timestamps

 

plus récemment avec un GPS et un arduino. Ce dernier reçoit la trame NMEA + le signal PPS du GPS, et pilote le trigger d'une camera Basler (et recoit son busy)

dans le PC le soft d'acquisition récupère le temps de chaque (ou moins si on va vite) image déclenchée depuis l'arduino.

En comparant avec le timestamp mis par la camera, on voit d'ailleurs que sur des périodes longues (1h) l'horloge interne de la caméra dérive par rapport au clock GPS, donc faut pas s'y fier complètement même si on synchronise à la première image.

En bonus on peut demander a l'arduino de fixer le frame rate et de commencer l'acquisition exactement a l'heure/seconde/microseconde donnée.

Avec ce système pas de problème de délai USB ou software, mais peu de caméras ont des signaux externes. (je crois que certaines ont directement le GPS dedans aussi... mais c'est moins drole!)

 

les GPS ublox sont super, la configuration est riche (il faut bien choisir les bons paramètres pour la sortie PPS, notamment la source GPS ou UT, et la durée du signal. et pareil pour le NMEA... quand on a la microseconde sur le PPS, faut savoir de quelle seconde... celle avant ou après le message ?).

 

tu as déjà pu tester sur une occultation?

filmer une horloge LCD radiopilotée c'est très instructif aussi pour valider...

 

amuse toi bien

Sylvain

[Batbihirulau 30]

@S.Chapeland merci pour ce retour.

Alors pour répondre à tes questions:

oui, j'ai tâché de comparer avec une autre base de temps. Tout simplement en filmant (pdt 10s, avec des poses de 1ms) la LED PPS d'un autre module GPS. Cette LED est censée s'allumer au top de chaque seconde.

En regardant les images du .ser réalisé (dans Siril), on voit 2 choses:

-PC non synchronisé (avec le dongle), les Top-seconde-PPS sont horodatés à xx.234s, puis 40min aprés, à xx.660s. Il y a un souci de dérive de l'horloge interne du PC

-PC synchronisé, les Top-seconde-PPS sont horodatés à xx.005s, puis 40min aprés, à xx.003s. C'est déjà plus stable et surtout proche du PPS

 

Pour ce qui est d'un occultation, et comme le projet vient de voir le jour, je n'ai pas encore eu l'occas de passer à l'ombre d'une étoile avec...

Ceci dit, cela ne changera rien à la courbe de lumiere. Mais la comparaison pourra etre faite avec d'autres observateurs (et donc d'autres systèmes de synchro).

 

Fred

 

[Flopin 154]

Très intéressant, merci du partage !

 

De mon coté j'ai essayé la manip avec un GPS sur  raspberry pi et meinberg sur le portable.

Si je comprends bien, là où sur le pi on utilise un soft pour créer un serveur NTP et faire le calage entre PPS et NMEA (chrony ou ntpd par ex), là c'est directement le driver USB qui fait le job ?

 

Le 04/09/2023 à 18:49, Batbihirulau a dit :

Maintenant que tout est installé, il reste une configuration à réaliser.

C'est un peu long (le temps que tout se stabilise à chaque fois), mais c'est nécessaire (c’est pour compenser certains délais additionnels introduit par votre PC).

Le but est de calibrer une constante (timer2 dans le fichier de config) par tâtonnement. Oui, sa valeur est dépendante de la machine utilisée tout simplement.

Tu parles d'une longue configuration à réaliser mais elle n'est pas détaillée apres (ou alors j'ai pas compris le déroulement). Ce timer2 c'est uniquement pour régler l'offset final de l'acquisition par une camera ou bien c'est plus en amont pour la synchro du PC directement?

 

Le 04/09/2023 à 18:49, Batbihirulau a dit :

Une fois tout ça réalisé, l'horloge du PC est synchronisée au 1PPS du module GPS.

Voici la vue du monitoring. La synchro est indiquée par le “o” dans la colonne à gauche de la colonne Remote.

 

Comment tu configures meinberg pour qu'il prenne en compte le signal USB étant donné qu'il n'y a pas de serveur NTP envoyant un signal sur l'ethernet ?

 

Le 04/09/2023 à 18:49, Batbihirulau a dit :

-Une fois que le PC est démarré, brancher le dongle

-Attendre qu’au moins 4 satellites soient acquis et que le 1PPS soit généré (la LED 1PPS doit clignoter). Ca dure 4-5min.

-Lancer alors Meinberg Monitor en mode admin

-Vérifier que la synchro est faite et c’est tout.

Tu as l'air de dire que la synchro est très rapide. De mon coté je coince là dessus. Ca synchronise bien, mais c'est trèèès long à converger vers quelque chose de stable (genre 8h) à la précision voulue. Du coup, est-ce que tu utilises un réglage particulier sur le PC pour converger plus vite ? Bon cette question est un peu hors sujet, j'ouvrirai peut être un sujet dédié.

 

Merci pour ton retour

[Batbihirulau 30]

Salut,

J'avais pas vu ton post plus tôt...

 

Je n'ai fait qu'une présentation rapide, sans entrer volontairement dans les détails pour ne pas avoir un message trop long (et que plus personne ne lis jusqu'au bout).

 

Le 30/09/2023 à 10:52, Flopin a dit :

calage entre PPS et NMEA

le "calage" ne se fait pas entre PPS et NMEA car la trame NMEA n'est absolument pas synchronne. Elle ne fait qu'encapsuler des data.

On vient "caler" le 1PPS avec l'horloge du PC.

Ce signal 1PPS, qui est donc issu du recepteur GPS doit être passé d'une façon particulière au PC. L'USB ne comportant qu'une paire différentielle (couche hard), il faut ruser.

D'ou l'idée:

1-de synchroniser au niveau du chip la trame avec le 1PPS (valdation par la pin DCD)

2-utilisation de la dll qui va bien pour synchroniser le tout au niveau du PC

Le 30/09/2023 à 10:52, Flopin a dit :

Ce timer2 c'est uniquement pour régler l'offset final de l'acquisition par une camera

Non non, rien à voir, on n'en n'est pas là.
Dans la doc, ce sont les fudge factor (tout en vas de la page https://www.eecis.udel.edu/~mills/ntp/html/drivers/driver20.html)

C'est un offset pour indiquer  grossierement le décalage la trame NMEA (elle est pas synchrone). Et c'est cet ofset qui dépend de la machine

C'est un peu long car il faut laisser le système se stabiliser (env 15min) entre chaque modif de valeur. Il faut y aller par tâtonne

 

Le 30/09/2023 à 10:52, Flopin a dit :

Comment tu configures meinberg

Ca se passe dans le fichier text de config. Tu definis un serveur associé au numéro de port COM.

L'adresse du serveur devra etre du type 127.127.22.COM (le 22 et important) pour le 1PPS et 127.127.20.COM pour la trame NMEA.

Regarde dans la liste de cette page: https://www.eecis.udel.edu/~mills/ntp/html/refclock.html

Dans mon cas ca donne qqch comme ça (j'utilise donc le port COM3)

# Add  GPS clock
server 127.127.20.3 minpoll 4 maxpoll 4 mode 16 prefer
fudge 127.127.20.3 refid gGPS time2 0.1275
# Add PPS driver
server 127.127.22.3 minpoll 4 maxpoll 4
fudge 127.127.22.3 time1 0.004 refid kPPS

Il faut etre sur que le 1PPS est bien pris en compte. Si c'est OK, oui, le verrouillage se fait en qqs minutes.

 

Je n'étais pas parti pour faire un tuto, c'est pour ça que j'ai fait des raccourcis dans la presentation initiale.

 

Fred

Modifié 3 octobre 2023 par Batbihirulau

[Saci- 980]

Bonjour,

merci pour tes infos

Le 30/09/2023 à 08:52, Flopin a dit :

Le 04/09/2023 à 16:49, Batbihirulau a dit :

Le but est de calibrer une constante (timer2 dans le fichier de config) par tâtonnement. Oui, sa valeur est dépendante de la machine utilisée tout simplement.

Tu parles d'une longue configuration à réaliser mais elle n'est pas détaillée apres (ou alors j'ai pas compris le déroulement). Ce timer2 c'est uniquement pour régler l'offset final de l'acquisition par une camera ou bien c'est plus en amont pour la synchro du PC directement?

 

j'ai essayé la manip avec le bon port com en copiant/collant le texte au dessus mais en réglant l'offset timer2 avec un flash pps.

j'obtiens une précision autour de la milliseconde.

Bien vue comme solution

[Batbihirulau 30]

Salut,

D'aprés ce que tu montres:

-le fichier ntp.conf que tu montres ne corresond pas à l'onglet "NTPconfig file"

-la syncro semble se faire sur les trames GPS (serveur 20)

-le PPS n'est pas pris en compte du tout. D'aprés ta config tu devrait avoir aussi le serveur 127.127.22.6 (kPPS) dans la liste (regarde l'image dans le post d'origine)

 

Un moyen de vérifier ou on en est est d'utiliser l'onglet "Statisic" pour regarder la courbe d'évolution entre le (temps source synchro) vs (temps du PC). Mais avant, il faut que dise à Meinberg d'écrire ce log.

Il faut juste que tu rajoute les lignes:

###########################################################
#Section insert by NTP Time Server Monitor
enable stats
statsdir "C:\NTP\etc\"
statistics loopstats

en fin de fichier (tu changes le repertoire si besoin).

Dans "Statistic" donc, tu n'aura plus qu'à choisir le fichier que tu veux voir.

 

A+

Fred

[Saci- 980]

Il y a 9 heures, Batbihirulau a dit :

D'aprés ce que tu montres:

-le fichier ntp.conf que tu montres ne corresond pas à l'onglet "NTPconfig file"

-la syncro semble se faire sur les trames GPS (serveur 20)

-le PPS n'est pas pris en compte du tout. D'aprés ta config tu devrait avoir aussi le serveur 127.127.22.6 (kPPS) dans la liste (regarde l'image dans le post d'origine)

Oui le pps n'est pas pris en compte je suis sous Win11 je le prends en compte autrement.. 

voici les stats ça fait plus d'une heure que ça tourne la précision est toujours la même avec mon offset..

je te remercie

[Batbihirulau 30]

Ah bien!!!

 

Mais du coup, tu dis:

Il y a 15 heures, Saci- a dit :

je suis sous Win11 je le prends en compte autrement.. 

tu pourrais en dire plus? ca peut intéresser d'autres personnes.

 

Pour la courbe de stats, ca a l'air bien, mais en scrollant sur le graph (ou avec les +-) tu vas dilater la courbe, car là ça manque un peu de détail.

 

A+

[lyl 4 486]

Le principe est bon, bravo pour l'implémentation à prix contenu.

[Saci- 980]

Il y a 5 heures, Batbihirulau a dit :

tu pourrais en dire plus? ca peut intéresser d'autres personnes.

C'est simple mais il faut une caméra rapide qui peut atteindre 1000fps tu mets 0.000 dans l'offset Timer2 t'attends 30mn/1h puis tu enregistres un SER & led/pps.

Dans mon cas avec l'offset à zéro la seconde commence à XX.912. mon avance est donc de 88ms ce que je mets dans le fichier de Conf.

Modifié 7 octobre 2023 par Saci-
retard

[Saci- 980]

Sinon avec d'autres logiciels ma ligne DCD est bien pris en compte sur mon GPS j'utilise un câble usb série avec le +5v à part(câble usb)

 

même précision J4

Modifié 7 octobre 2023 par Saci-

[Flopin 154]

Le 02/10/2023 à 08:30, Batbihirulau a dit :

le "calage" ne se fait pas entre PPS et NMEA car la trame NMEA n'est absolument pas synchronne. Elle ne fait qu'encapsuler des data.

On vient "caler" le 1PPS avec l'horloge du PC.

Oui, évidemment, je me suis mal exprimé...

 

J'avais dans l'idée que un serveur temps sur Rpi n'avait pas de difficulté à mesurer le temps entre le PPS et la trame NMEA. Mais ça ne semble pas être le cas pour une raison que j'ignore.

 

Avec la liaison USB, il faut donner au système ce décalage, mais au final je ne comprends pas vraiment pourquoi.

En effet, si je reprends le schéma de la datasheet du GPS, on voit que la détermination de la seconde qui est donnée dans la trame NMEA arrive après le PPS. Du coup, on sait que le prochain PPS sera la seconde N+1 si la dernière trame NMEA reçue indiquait la seconde N (sauf gros décalages évidemment) indépendamment de sa position entre les 2 PPS consécutifs.

 

Le 02/10/2023 à 08:30, Batbihirulau a dit :

Dans la doc, ce sont les fudge factor (tout en vas de la page https://www.eecis.udel.edu/~mills/ntp/html/drivers/driver20.html)

C'est un offset pour indiquer  grossierement le décalage la trame NMEA (elle est pas synchrone). Et c'est cet ofset qui dépend de la machine

C'est un peu long car il faut laisser le système se stabiliser (env 15min) entre chaque modif de valeur. Il faut y aller par tâtonne

OK, le paramètre sont décrits en bas de page, mais du coup, cet offset, on le mesure comment ? ces pages ne semblent pas donner la méthodologie pour le mesurer (sauf si j'ai rater un truc).

D'ailleurs question subsidiaire, il y a un Time1 défini pour le PPS et le GPS avec une description très proche. Je ne vois pas comment s'articulent ces 2 valeurs.

 

Désolé pour ces questions supplémentaires. En théorie, le principe semble simple dans les grandes lignes, mais il semble difficile de trouver des explications claires sur des points de détail et de méthodo. J'avais lu pas mal d'autres tutos pour lesquels cet ajustement d'offset était juste mentionné mais jamais expliqué/détaillé.

 

Le 02/10/2023 à 08:30, Batbihirulau a dit :

Ca se passe dans le fichier text de config. Tu definis un serveur associé au numéro de port COM.

L'adresse du serveur devra etre du type 127.127.22.COM (le 22 et important) pour le 1PPS et 127.127.20.COM pour la trame NMEA.

Regarde dans la liste de cette page: https://www.eecis.udel.edu/~mills/ntp/html/refclock.html

Ca c'est clair, merci pour la source.

 

Je vais prendre un un chip USB pour tester tout ça, ça sera plus facile à mettre en œuvre que le Rpi.

Modifié 10 octobre 2023 par Flopin

[Batbihirulau 30]

Il y a 10 heures, Flopin a dit :

cet offset, on le mesure comment ?

Tu peux t'inspirer de ce qui est raconté là:

https://robrobinette.com/pi_GPS_PPS_Time_Server.htm#GPS_NMEA_Offset_Tuning

 

Le timer1 n'est pas utile en fait sur mon appli.

 

En gros, une fois que tu as calculé la valeur de timer2 et que ca donne un bon resultat (en terme d'offset), tu désactives les serveurs distants (ceux du pool) et tu ne gardes que le GPS + PPS.

Et là, le système est autonome. Enfin, offline

 

La trame NMEA n'est pas trés utile, et son contenu encore moins (l'heure, la position, etc).

Ou plutot, tout ce qui nous interresse, c'est le decalage entre son début et le pulse PPS (meme si cette valeur n'est pas trés précise).

 

[Flopin 154]

Merci pour le lien, je vais regarder ça.