Module de navigation basé sur la comparaison des images de caméras de drones avec des images satellites

Qu'est-ce qu'un module de navigation basé sur la comparaison des images de caméras de drones avec des images satellite?

Pouvez-vous fournir un module de navigation qui utilise les images de caméras de drones orientées vers le bas pour les comparer aux images satellite stockées ?? On estime que la demande du client est qu'il n'y ait pas de positionnement GPS ou que le positionnement GPS soit uniquement basé sur la solution de sauvegarde..

Développer un module de navigation pour un drone qui compare les images de caméra orientées vers le bas en temps réel avec des images satellite préstockées, suivre cette approche structurée:

1. Architecture du système

• Composants:
  • Capture d'images en temps réel: Caméra orientée vers le bas avec résolution/FOV réglable, synchronisé avec les capteurs d'altitude (par ex., baromètre, LiDAR).
  • Base de données d'images satellites: Tuiles géolocalisées stockées à plusieurs résolutions, indexé par coordonnées GPS pour une récupération rapide.
  • Unité de traitement: GPU/FPGA intégré pour un traitement d'image accéléré.
  • Fusion de capteurs: Intègre le GPS, IMU, et données visuelles pour un positionnement robuste.

2. Flux de travail

1. Initialisation:
   • Utilisez un GPS grossier pour récupérer les tuiles satellite pertinentes de la base de données.
   • Calibrez à l’aide des données d’altitude pour adapter les images de drone à la résolution satellite.
2. Prétraitement des images:
   • Convertir des images en niveaux de gris, appliquer l'égalisation de l'histogramme, et détection des contours (par ex., Prudent).
   • Corriger la distorsion de perspective à l'aide des données de tangage/roulis du drone.
3. Correspondance des fonctionnalités:
   • Détecteurs: Utilisez ORB ou SURF pour trouver l’équilibre entre vitesse et précision.
   • Matchs: FLANN avec RANSAC pour filtrer les valeurs aberrantes et calculer l'homographie.
4. Estimation de position:
   • Dériver le décalage GPS à partir de la matrice d'homographie.
   • Fusionnez avec les données IMU via le filtre Kalman pour des mises à jour de trajectoire fluides.
5. Mécanisme de repli:
   • Passez à l'odométrie visuelle ou au GPS si les correspondances par satellite échouent (par ex., zones non cartographiées).

3. Considérations techniques

• Mise à l'échelle de l'altitude: Ajustez dynamiquement la mise à l'échelle de l'image en utilisant l'altitude en temps réel.
• Optimisation de la base de données:
  • Disposez les images satellite en morceaux de 100 x 100 m avec plusieurs niveaux de zoom.
  • Mettre en cache les tuiles fréquemment consultées pour réduire la latence.
• Performances en temps réel:
  • Limiter le traitement à 500 ms par image; sous-échantillonner les images si nécessaire.
  • Prioriser les images clés (par ex., traiter toutes les 5 images) pendant un vol à grande vitesse.

4. Essai & Étalonnage

• Mesures de précision: Comparez les estimations visuelles avec la vérité terrain RTK-GPS.
• Robustesse environnementale:
  • Test au fil des saisons/éclairage; utiliser la normalisation de l'histogramme pour atténuer les changements d'éclairage.
  • Exclure les fonctionnalités transitoires (voitures, ombres) via la segmentation sémantique (facultatif).

5. Exemple de scénario

• Drone à 50m d'altitude:
  • Capture 640×480 image (0.5résolution m/pixel).
  • Correspond à la tuile satellite “XYZ123” en utilisant 200 Points clés de l'ORB.
  • L'homographie donne un décalage de 2 m par rapport à la géolocalisation de la tuile (34.0522°N, 118.2437°W).
  • Le filtre de Kalman fusionne cela avec l'IMU, sortie de la position corrigée 34,05219°N, 118.2436°W.

6. Défis & Solutions

• Environnements dynamiques: Masquer les objets en mouvement à l'aide de modèles ML (YOLO).
• Limites de calcul: Utiliser ORB à accélération matérielle sur Jetson TX2.
• Stockage: Compresser les tuiles satellites à l'aide de WebP (mode sans perte).

7. Outils & Bibliothèques

• OuvrirCV: Pour la détection/correspondance des fonctionnalités.
• ROS: Intégration de pipeline modulaire (par ex., ros_navigation nœud).
• PostgreSQL/PostGIS: Requêtes de tuiles géospatiales efficaces.

8. Performance attendue

• Précision du positionnement: 1-3m dans des conditions optimales.
• Taux de mise à jour: 2 Hz (avec 640×480 entrée sur GPU de niveau intermédiaire).

Cette conception équilibre précision et efficacité informatique, tirant parti de la fusion de capteurs et du traitement d’image adaptatif pour une navigation fiable.