Ma page est-elle trop grosse pour les crawlers ?
Google documente la coupure : il n'explore que les 2 premiers Mo d'un fichier. Les crawlers IA, eux, ne publient aucune limite. Dans les deux cas, ce qui compte c'est la part de contenu réel dans ce que tu fais télécharger.
Ce que le crawler doit avaler.
On récupère le HTML et on le découpe : texte réel, script en ligne, style en ligne.
Les sites vibe-codés sont les premiers concernés
Lovable, v0, Bolt et Create React App livrent un bundle client par défaut. Le HTML est un div vide et tout est dessiné après le chargement : le crawler ne reçoit rien.
Impossible à voir depuis ton navigateur
Ton navigateur exécute le JavaScript, donc la page te paraît parfaite. Le seul moyen de s'en rendre compte est de récupérer la page comme le fait un crawler.
Rien d'autre ne fonctionne tant que ça ne marche pas
robots.txt, llms.txt, contenu, backlinks : tout suppose que le crawler peut lire ta page. S'il ne peut pas, le reste est peine perdue.
- Passe à un framework qui rend côté serveur : Next.js, Nuxt, Astro, SvelteKit ou Remix.
- Déjà sur Next.js ? Vérifie que tes pages ne sont pas toutes en "use client" avec les données chargées dans un useEffect.
- L'export statique ou le prerendering marchent aussi. Ce qui compte, c'est que le HTML arrive avec le contenu dedans.