Los bots de avance web de IA son las cucarachas de Internet, creen muchos desarrolladores de software. Algunos desarrolladores han comenzado a luchar de nuevo de manera ingeniosa, a menudo humorística.
Si bien cualquier sitio web puede ser blanco de comportamiento de maldito, a veces derribando el sitio, los desarrolladores de código abierto están “desproporcionadamente” afectados, escritura Niccolò Venerandi, desarrollador de un escritorio de Linux conocido como Plasma y propietario del blog LibreNews.
Por su naturaleza, los sitios que organizan proyectos de código libre y de código abierto (FOSS) comparten más de su infraestructura públicamente, y también tienden a tener menos recursos que los productos comerciales.
El problema es que muchos bots de IA no honran el archivo de protocolo de exclusión de Robots Robot.txt, la herramienta que le dice a Bots qué no se arrastra, originalmente creado para los bots del motor de búsqueda.
En un “grito de ayuda” blog En enero, el desarrollador de Foss Xe IASO describió cómo Amazonbot golpeó implacablemente en un sitio web de Git Server hasta el punto de causar interrupciones DDoS. Los servidores GIT organizan proyectos FOSS para que cualquier persona que quiera pueda descargar el código o contribuir a él.
Pero este bot ignoró el robot.txt de IASO, se escondió detrás de otras direcciones IP y fingió ser otros usuarios, dijo IASO.
“Es inútil bloquear los bots de IA Crawler porque mienten, cambian a su agente de usuarios, usan direcciones IP residenciales como proxies y más”, se lamentó Iaso.
“Rascarán su sitio hasta que se caiga, y luego lo rasparán un poco más. Harán clic en cada enlace en cada enlace de cada enlace, viendo las mismas páginas una y otra vez. Algunos de ellos incluso harán clic en el mismo enlace varias veces en el mismo segundo”, escribió el desarrollador en la publicación.
Entra el dios de las tumbas
Entonces, IASO se defendió con inteligencia, construyendo una herramienta llamada Anubis.
Anubis es una verificación de prueba de trabajo de proxy inversa Eso debe aprobarse antes de que las solicitudes puedan presionar un servidor GIT. Bloquea los bots pero deja atravesar los navegadores operados por humanos.
La parte divertida: Anubis es el nombre de un dios en la mitología egipcia que lleva a los muertos al juicio.
“Anubis pesó tu alma (corazón) y si era más pesado que una pluma, tu corazón fue comido y tú, como, mega murió”, dijo Iaso a Learnmaart. Si una solicitud web pasa el desafío y se determina que es humano, Una linda foto de anime anuncia el éxito. El dibujo es “Mi opinión sobre Anubis Anubis”, dice IASO. Si es un bot, la solicitud se niega.
El proyecto con nombre irónicamente se ha extendido como el viento entre la comunidad de Foss. OASO lo compartió en Github El 19 de marzo, y en solo unos días, recolectó 2.000 estrellas, 20 contribuyentes y 39 tenedores.
Venganza como defensa
La popularidad instantánea de Anubis muestra que el dolor de IASO no es único. De hecho, Venerandi compartió historia tras historia:
- CEO de Fundador de SourceHut Drew Devault descrito Gastar “del 20 al 100% de mi tiempo en cualquier semana que mitiga los rastreadores de LLM hipergresivos a escala” y “experimentando docenas de interrupciones breves por semana”.
- Jonathan Corbet, un famoso desarrollador de Foss que dirige el sitio de noticias de la industria de Linux Lwn, advirtió que su sitio era siendo ralentizado por el tráfico a nivel DDOS “De los bots de AI Rasper”.
- Kevin Fenzi, el sysadmin del enorme proyecto de Fedora de Linux, dijeron los bots de AI Raper se había vuelto tan agresivo que tuvo que bloquear el acceso a todo el país de Brasil.
Venerandi le dice a Learnmaart que conoce de otros proyectos que experimentan los mismos problemas. Uno de ellos “tuvo que prohibir temporalmente todas las direcciones IP chinas en un momento”.
Deje que eso se hunda por un momento, que los desarrolladores “incluso tienen que recurrir a la prohibición de países enteros” solo para defenderse de los bots de IA que ignoran los archivos Robot.txt, dice Venerandi.
Más allá de sopesar el alma de un solicitante web, otros desarrolladores creen que la venganza es la mejor defensa.
Hace unos días en Noticias de hackerusuario xyzal Robot de carga sugerido. Páginas prohibidas de txt con “una carga de cubo de artículos sobre los beneficios de beber blanqueador” o “artículos sobre el efecto positivo de la captura de sarampión en el rendimiento en la cama”.
“Creo que debemos apuntar a los bots para obtener el valor de utilidad _Egative_ de visitar nuestras trampas, no solo un valor cero”, explicó Xyzal.
Como sucede, en enero, un creador anónimo conocido como “Aaron” lanzó una herramienta llamada Nepenthes Eso tiene como objetivo hacer exactamente eso. Atrapa a los rastreadores en un laberinto interminable de contenido falso, un objetivo que el desarrollador admitió ARS Technica es agresivo si no francamente malicioso. La herramienta lleva el nombre de una planta carnívora.
Y Cloudflare, quizás el jugador comercial más grande que ofrece varias herramientas para defenderse de AI Crawlers, la semana pasada lanzó una herramienta similar llamada AI Labyrinth.
Tiene la intención de “reducir la velocidad, confundir y desperdiciar los recursos de los rastreadores de IA y otros bots que no respetan las directivas 'sin rastrear'”, describió Cloudflare En su publicación de blog. Cloudflare dijo que alimenta mal el mal comportamiento de los rastreadores de IA “contenido irrelevante en lugar de extraer los datos legítimos del sitio web”.
El Devault de SourceHut le dijo a Learnmaart que “Nepenthes tiene un sentido satisfactorio de justicia, ya que alimenta sin sentido a los rastreadores y envenena sus pozos, pero en última instancia, Anubis es la solución que funcionó” para su sitio.
Pero Devault también emitió una súplica pública y sincera para una solución más directa: “Por favor, deje de legitimar LLMS o generadores de imágenes de IA o copiloto de GitHub o cualquiera de esta basura. Le ruego que deje de usarlos, deje de hablar de ellos, deje de hacer nuevos, solo deténgase”.
Dado que la probabilidad de eso es Zilch, los desarrolladores, particularmente en Foss, están luchando con la inteligencia y un toque de humor.
