La fusion entre le traitement du langage naturel et la vision par ordinateur
Le lancement conjoint de ChatGPT et GPT-Vision marque une avancée majeure dans le domaine de l’intelligence artificielle. Cette fusion entre la technologie de traitement du langage naturel et celle de la vision par ordinateur ouvre de nouvelles perspectives et permet de repousser les limites de l’IA. Découvrez dans cet article les différentes applications de ces technologies et comment elles transforment notre manière d’interagir avec les données visuelles et textuelles.
Exploration des Applications
La synergie entre ChatGPT et GPT-Vision offre de nouvelles fonctionnalités passionnantes. Voici quelques exemples illustrant la diversité des applications possibles :
- Modélisation à partir d’une image
Une simple image peut être transformée en une modélisation 3D impressionnante grâce à ces technologies.
Exemple :
ChatGPT Vision starting to write Gcode (for a Haas) from prints pic.twitter.com/IgXeMEAS8e
— Aaron Slodov (@aphysicist) October 10, 2023
- Programme de musculation personnalisé selon votre équipement
Obtenez un programme de musculation sur-mesure en fonction de votre équipement.
Exemple :
ChatGPT Vision turned a picture of my home gym equipment into a full 8-week workout program.
This is better than 99% of any programs I’ve ever bought. pic.twitter.com/ToACYgzTyf
— Rowan Cheung (@rowancheung) October 11, 2023
Explorez d’autres idées de programme ici :
ChatGPT Vision:
Fitness plan ideas based on limited equipment.
Adjust prompt, if you see mistakes in the recognition. pic.twitter.com/LslHBeDFlX
— Borriss (@_Borriss_) October 12, 2023
- Analyse et décodage de documents floutés
Grâce à ces technologies, il est possible d’analyser et de décoder des documents floutés pour en révéler le contenu.
Exemple :
ChatGPT-4V Multimodal decodes a Redacted government document on a UFO sighting released by NASA.
I have tested this on 100s of redacted documents and I can say we are in a new world. pic.twitter.com/aCKOm577TO
— Brian Roemmele (@BrianRoemmele) October 6, 2023
- Conversion de photos en texte pour une lettre complexe
Transformez une image de lettre en texte éditable grâce à ces technologies.
Exemple :
???? ChatGPT Vision is fk’in nuts lol pic.twitter.com/Ccsl7tFgkD
— peter! ???? (@pwang_szn) October 4, 2023
- Récupération d’objets complexes dans une image
La technologie permet d’identifier et de récupérer des objets complexes à partir d’une image.
Exemple :
Power of ChatGPT vision capability ???? pic.twitter.com/cr1izVP9df
— Kashan Ahmed???????????? (@KashanAhmed) October 6, 2023
- Détection d’images issues de Google Street View ou de satellites
Grâce à ces technologies, il est possible de détecter précisément des images provenant de Google Street View ou de satellites.
Exemple :
ChatGPT Vision pic.twitter.com/X619nlCdBW
— Anu Aakash (@anukaakash) October 11, 2023
- Analyse détaillée d’une radiographie
Grâce à ces technologies, il est possible d’analyser en détail une radiographie et d’obtenir des réponses en quelques secondes.
Exemple :
ChatGPT: The doctor in your pocket ????
ChatGPT can now look at X-rays, prescriptions, or medical reports and answer any question in a matter of seconds.
Future of health talk – simple, snappy, and AI! pic.twitter.com/nXgEfEvEsn
— Shubham Saboo (@Saboo_Shubham_) October 6, 2023
- Analyse d’images complexes
Plongez dans l’analyse d’une image hautement complexe grâce à ces technologies.
Exemple :
ChatGPT-4V Multimodal please decode this.
Thank you. pic.twitter.com/seOuma96QO
— Brian Roemmele (@BrianRoemmele) October 2, 2023
- Création de scénarios à partir de l’analyse de plusieurs images
Grâce à ces technologies, il est possible de créer un scénario cohérent à partir de l’analyse de plusieurs images distinctes.
Exemple :
I gave GPT-4V four « movie stills » I generated with Midjourney and asked it to construct a plotline tying them together.
A good example of how AI is more « creative » and surprising when given constraints, much like humans. Its not as creative as the best people, but interesting. pic.twitter.com/tzYJmMChsn
— Ethan Mollick (@emollick) October 2, 2023
- Analyse d’un moteur de voiture
Grâce à ces technologies, il est possible d’analyser en détail un moteur de voiture pour identifier d’éventuels problèmes et proposer des solutions de réparation.
Exemple :
6. Car Maintenance
Prompt: « Analyze the issue shown in this car photo, explain likely causes, and provide actionable DIY repairs or professional servicing recommendations. » pic.twitter.com/mSfUTp0j5n
— Bryan Marley (@_bryanmarley) October 9, 2023
- Optimisation de code
Grâce à ces technologies, il est possible d’optimiser le code pour améliorer ses performances, son efficacité et sa concision.
Exemple :
8. Code Optimization
Prompt: « Analyze this code and suggest ways to improve performance, efficiency, conciseness, and adherence to best practices. » pic.twitter.com/4leeDoVf53
— Bryan Marley (@_bryanmarley) October 9, 2023
Limitations Notables
Malgré les avancées réalisées, certaines limitations persistent. Il est important de noter que la lecture des QR Codes et le partage de conversations ne sont pas encore possibles avec ces technologies.
Si vous ne voyez pas les nouvelles fonctionnalités, essayez de rafraîchir la page ou de vous déconnecter/reconnecter. Si le problème persiste, vous pouvez essayer de vider le cache lié à openai.com.
Voici une capture d’écran montrant l’une des interfaces utilisateur de ces nouvelles fonctionnalités :
Vidéo GPT-Vision
Je tiens à créditer la chaîne YouTube d’Emile Dev, qui m’a inspiré pour cet article. Vous pouvez regarder sa vidéo de présentation ici :