YaCy

Página de búsqueda de YaCy Información

Desarrollado por	Michael Peter Christen y los colaboradores del proyecto
Primera versión	2004
Última versión	1,92 (26 de diciembre de 2016)
Depositar	github.com/yacy/yacy_search_server
Estado del proyecto	En desarrollo
Escrito en	Java
Medio ambiente	Multiplataforma
Idiomas	Plurilingüe
Tipo	Motor de búsqueda de Internet peer to peer gratis y gratis
Política de distribución	Libre
Licencia	Licencia gratuita ( GNU GPL v2)
Sitio web	yacy.net/en

YaCy (para Yet Another Cyberspace , homófono en inglés de ya see (ya ves)) es un motor de búsqueda gratuito que funciona según el principio de una red peer-to-peer . Este software está desarrollado en Java y se instaló, a finales de 2006, en cientos de ordenadores denominados YaCy-peers o YaCy- station (600 activos diarios enjunio de 2014). YaCy es utilizado, por ejemplo, por la Universidad Johannes Gutenberg en Mainz .

Una red YaCy se caracteriza por una arquitectura distribuida (no centralizada). Todos los nodos de YaCy ( pares ) son equivalentes y no hay un servidor principal.

En cada estación de trabajo, YaCy se ejecuta en modo rastreador o en modo proxy . Cada estación de YaCy lanza robots de indexación que analizan las páginas encontradas. Los resultados se almacenan en una base de datos distribuida (índice).

El acceso al motor de búsqueda se realiza a través de un servidor web local que presenta un campo para introducir palabras clave y proporciona los resultados en forma de una página web normal.

El proyecto YaCy fue fundado en 2003 por Michael Christen. El software se publica bajo la licencia GNU GPL gratuita .

El programa

El corazón del motor de búsqueda YaCy no es, como otros motores de búsqueda, un servidor central, sino un software que se ejecuta en casi todos los sistemas operativos . La búsqueda se realiza en una página web local, entregada por el software instalado. La visualización de los resultados también se realiza en forma de página web .

Un servidor proxy está acoplado al sistema P2P: se puede utilizar como opción e indica automáticamente las páginas visitadas. Esta información no es almacenada por los sitios visitados, que pueden recuperar información adicional a través de GET o POST o que utilizan cookies o identificación HTTP (por ejemplo, para páginas protegidas con contraseña). De esta manera, se garantiza que solo se indiquen los datos que sean de libre acceso para todos.

Características avanzadas

YaCy ofrece a todos los usuarios de la opción proxy la posibilidad de acceder a estaciones de trabajo bajo el dominio PEERNAME.yacy respectivamente PEERHASH.yacyh. El usuario puede definir una página de inicio en www.PEERNAME.yacy; se puede acceder a un sistema de intercambio de archivos en share.PEERNAME.yacy y a la interfaz habitual en PEERNAME.yacy. Él mismo puede definir otros subdominios en los que crea una nueva carpeta con el nombre del subdominio. También es una especie de DNS dinámico .
YaCy también proporciona espacio para una página de inicio y para el intercambio de archivos para los usuarios que no usan YaCy, independientemente del dominio .yacy. Se puede vincular a la dirección IP actual o un nombre de dominio dinámico .
YaCy tiene una función que se utiliza para enviar mensajes de texto (formateados en Wikitext ) y, dependiendo de la configuración del receptor, para enviar datos.
YaCy integra una wiki y un blog .
La gestión de marcadores le permite crear marcadores privados o visibles públicamente.
Es posible definir listas negras para dominios particulares.
Hay una interfaz OpenSearch disponible en http: // <peer-address>: <peer-port> /opensearchdescription.xml, por ejemplo http://search.yacy.net/opensearchdescription.xml .

Arquitectura

El motor de búsqueda de YaCy se basa en cuatro elementos:

Arrastrándose Un robot de búsqueda que navega de una página web a otra analizando su contenido. Índice Crea un índice de palabras inverso (RWI). Cada palabra del índice tiene su lista de URL relevantes e información sobre su clasificación. Las palabras se procesan antes de almacenarse. Interfaz de investigación y administración Diseñado como una interfaz web proporcionada por un servlet HTTP local con un contenedor de servlets. Almacenamiento de datos Almacenamiento de la base de datos del índice de palabras inversas mediante una tabla hash distribuida .

Características técnicas

El programa se basa en un servidor web que funciona como un proxy - caché . La interfaz de usuario es accesible a través del servidor web; puede investigarlo o administrar su puesto. El proxy transmite su código al rastreador, lo que significa que todas las páginas visitadas no personalizadas se agregan automáticamente al índice. YaCy ha estado usando Apache Solr desde la versión 1.04.9097. Además, la red YaCy ofrece algunos dominios accesibles a través del proxy.

Distribución de índices

A diferencia del intercambio de datos, los resultados de un motor de búsqueda P2P deben estar disponibles de inmediato. Para garantizar esto, YaCy utiliza una tabla hash distribuida . Esto significa que todas las palabras y URL almacenadas se envían a publicaciones cuyo valor hash va con el valor hash correspondiente de la palabra o URL. Durante una búsqueda, va al revés: solo buscamos entre las estaciones que pueden, según la URL, conocer su valor hash para esta palabra. Así, solo una fracción de los puestos son contactados durante la búsqueda, con el fin de obtener resultados satisfactorios a pesar de todo.

Tipos de puestos

YaCy diferencia entre cuatro tipos de estaciones de trabajo:

Virgen Una estación Virgin no tiene contacto de ningún tipo con la red y, por lo tanto, no es identificable. Somos, por tanto, los únicos que podemos saber que su posición es Virgen. Júnior La estación está detrás de un cortafuegos . Otros pueden verlo como un puesto de Junior o como un compañero potencial. Sin embargo, solo pueden saber la hora de su última conexión y no tienen forma de saber si todavía está en línea. Mayor Se puede acceder a un puesto senior desde el exterior y es un miembro de pleno derecho de la red YaCy. Principal Es una publicación de alto nivel que también envía una "lista de semillas" que otras publicaciones pueden usar para propósitos de semillas .

El protocolo YaCy consta de servlets de texto que el servidor web incorporado pone a disposición en /yacy/servletname.html. Las otras estaciones le transmiten datos a través de los parámetros GET: reciben como respuesta un texto simple, cuyo formato exacto difiere según los servlets.

Cebado

Al arrancar, YaCy intenta encontrar otras estaciones en la red. Para hacer esto, primero busca en el archivo superseed.txt una lista de semillas para descargar: las URL de las listas de semillas cargadas por otras publicaciones están allí. Luego obtiene las referencias a otras estaciones a través del archivo seeds.txt, y así se puede hacer el contacto de la red YaCy. En la próxima puesta en marcha, YaCy se puede arrancar a partir de semillas conocidas. Por lo tanto, las listas de semillas solo son útiles cuando muchas referencias ya no son correctas.

Ventajas y desventajas

Ventajas

Los resultados de la búsqueda no pueden censurarse ni sesgarse por motivos publicitarios , ya que no existe un servidor central.
El motor de búsqueda ofrece una mayor confiabilidad (al menos en teoría) porque parte de la red YaCy seguirá siendo accesible si ciertas estaciones no funcionan.
El software es gratuito y se publica bajo la Licencia Pública General GNU . También es gratis.
No existen anuncios gestionados por un sistema centralizado ya que el motor no pertenece a una empresa.
Por diseño, YaCy se puede utilizar para indexar la " web oculta ", incluidos Tor , I2P o incluso Freenet .
Es posible lograr un alto grado de confidencialidad.
El protocolo YaCy utiliza solicitudes HTTP , preservando la transparencia y la accesibilidad mientras ayuda a diagnosticar y encontrar las fuentes de los problemas. Utilizando herramientas de compresión como gzip , el rendimiento se puede mejorar casi al nivel de los protocolos binarios (como TCP y UDP ).
Soporte integrado para OpenSearch .

Desventajas

Durante una búsqueda, YaCy debe ponerse en contacto con otras estaciones y volver a cargar la página de inicio para bloquear el spam. Por tanto, una búsqueda llevará más tiempo que con un motor de búsqueda convencional.
Dado que no hay un servidor central y la red YaCy está abierta a todo el mundo, las estaciones de trabajo malintencionadas podrían, en principio, introducir resultados de búsqueda inexactos, con sesgos comerciales o spam. A pesar de esto, ningún resultado de búsqueda mostrado al usuario puede en teoría ser "falso", ya que todos los resultados se verifican descargando cada página que pertenece al conjunto de resultados y verificando que las palabras buscadas realmente existen en la página. Sin embargo, YaCy utiliza una cadena de agente de usuario para identificarse, lo que significa que un servidor web podría devolver contenido diferente a un rastreador de YaCy que el devuelto a un visitante normal.
Si solo se puede acceder a unas pocas posiciones, la cantidad de resultados será menor que a través de una búsqueda en un motor de búsqueda grande. El cierre o la falla de algunas subestaciones importantes también pueden provocar interrupciones aún mayores.
Por motivos de caché, las solicitudes se guardan temporalmente en la RAM de las estaciones de trabajo en las que se realizan. La función hash utilizada para codificar las palabras de consulta se usa principalmente para administrar la tabla hash distribuida, y las palabras clave se pueden descubrir en parte usando un diccionario para mostrar las consultas en claro.
El protocolo YaCy usa solicitudes HTTP , pero estas pueden ser más lentas que las que usan los protocolos sin texto (binarios) si no están comprimidos.
YaCy no incluye ninguna funcionalidad transversal de NAT , lo que evita que el software se utilice en una escala tan grande como podría, ya que la capacidad de configurar el enrutador local, cuando existe, requiere cierta experiencia para funcionar correctamente.
La clasificación de los sitios por relevancia se realiza en el lado del cliente (se anima a los usuarios a instalar su propio servidor YaCy, siendo necesario utilizar un servidor local para aprovechar al máximo el potencial de YaCy). Los algoritmos de clasificación, aunque fácilmente personalizables, no tienen su carga de trabajo distribuida y se limitan al uso del índice de palabras YaCy y a cualquier análisis que se pueda hacer sobre el objeto que se busca clasificar. Esta es la razón por la que los algoritmos de clasificación más complejos, como los que utiliza Google y el análisis de clasificación de acuerdo con una variedad de factores contextuales desarrollados durante el recorrido del contenido, actualmente no son factibles con YaCy, lo que limita la capacidad de la mayoría de los usuarios para encontrar contenido más relevante.

Notas y referencias

(fr) Este artículo está tomado parcial o totalmente del artículo de Wikipedia en inglés titulado " YaCy " ( ver la lista de autores ) . (de) Este artículo está tomado parcial o totalmente del artículo de Wikipedia en alemán titulado “ YaCy ” ( ver lista de autores ) .

(cs) [video] Vizualizace vzniku spontánního řádu - visualización de evolución de orden espontánea en YouTube
Korben , " Yacy - El motor de búsqueda sin censura " , Korben.info ,4 de febrero de 2011(consultado el 6 de mayo de 2013 )
(en) Michael Muchmore , " YaCy " , PCMag.com ,6 de diciembre de 2011(consultado el 6 de mayo de 2013 )
(en) FSFE Free Software Foundation Europe , " Búsqueda web por la gente, para la gente: YaCy 1.0 " , fsfe ,28 de noviembre de 2011(consultado el 6 de mayo de 2013 )
(en) Katherine Noyes , " YaCy: Se trata de libertad, no de vencer a Google " , PCWorld ,2 de diciembre de 2011(consultado el 6 de mayo de 2013 )
Simon Robic , " Alternativa a Google n. ° 2: YaCy " , Numerama.com ,4 de abril de, 2012(consultado el 6 de mayo de 2013 )
(de) " Tipps für den Umgang mit Suchmaschinen " , Welt Online ,11 de abril de 2013( leído en línea , consultado el 6 de mayo de 2013 )
" Búsqueda web por la gente, para la gente - Descentralización " (consultado el 13 de junio de 2014 )
http://www.fsz.uni-mainz.de/48.php "Copia archivada" (versión del 23 de julio de 2018 en Internet Archive )
(en) " Heise Online " en heise online (consultado el 7 de agosto de 2020 ) .
http://www.yacy-websearch.net/wiki/index.php/De:Privacy
(in) " YaCy Technology Architecture " , YaCy.net (consultado el 14 de febrero de 2012 )

Ver también

enlaces externos

Sitio oficial