Firecrawl rastrea páginas web y las devuelve limpias, en Markdown o en datos estructurados, listas para un modelo de lenguaje. Qué aporta y qué responsabilidades trae.
Una página web, para una persona, es fácil de leer.
Para un modelo de lenguaje es un caos de menús, anuncios, scripts y avisos de cookies.
Firecrawl se dedica a limpiar ese caos.
Firecrawl es un proyecto que coge una dirección web (o una web entera) y la devuelve en un formato que un modelo de lenguaje entiende bien: Markdown limpio o datos estructurados. Puede leer una sola página, recorrer todas las páginas de un sitio, sacar el mapa de enlaces o extraer campos concretos a partir de una descripción.
Se ofrece como servicio de pago y el código está publicado bajo licencia AGPL, con la posibilidad de ejecutarlo por tu cuenta. Por defecto respeta lo que cada web indica en su archivo robots.txt.
Por lo mismo que me interesa MarkItDown con los documentos: el resultado de la IA depende de lo limpio que llegue lo que le das.
Si quieres que un asistente responda sobre la documentación de tu producto, que compare precios públicos o que resuma lo que dice tu competencia en su web, primero tienes que convertir esas páginas en texto útil. Hacerlo a mano para cada web es eterno. Programar un extractor para cada una, también.
La IA no sustituye al trabajo de preparar la información. Solo lo hace más visible cuando no lo haces.
Poder leer una web no significa que puedas hacer cualquier cosa con su contenido.
Muchas webs prohíben el rastreo en sus condiciones. Hay contenido con derechos de autor y datos personales que no deberías recopilar sin una base legal. Y rastrear agresivamente la web de otro le cuesta dinero a quien la mantiene.
Mi regla es sencilla: si no te sentirías cómodo explicándole al dueño de la web lo que estás haciendo con su contenido, no lo hagas.
Que muchas de las mejores herramientas de IA no son modelos. Son tuberías: piezas que llevan la información del sitio donde está al sitio donde se puede usar, limpia y ordenada.
Es un trabajo poco glamuroso. Y es exactamente el que más se nota cuando falta.
P. D.: El mejor sitio para probar una herramienta así es tu propia web. Te dirá mucho sobre lo clara (o no) que está.