pragone.com
desarrollo, comunidad y monetización
agrégalo a del.icio.us

Detección de duplicados

Hoy hemos lanzado en Loquo un nuevo sistema para la lucha contra el SPAM.

Es un sistema avanzado de detección de duplicados. Aunque apenas ha comenzado su vida, los resultados resultan prometedores.

La idea básica es que si cada anuncio “diferente” puede ser publicado sólo una vez al día (esto podría cambiar en el futuro), entonces el trabajo de los Spammers se vuelve mucho más complicado pues ya no pueden depender de un “simple” sistema automátizado para la publicación masiva de anuncios.

Creo que todos los usuarios de Loquo, estarán de acuerdo conmigo en que la calidad de los anuncios había caído considerablemente en los últimos meses. Y en buena parte esto se debe a que no tenemos la capacidad de revisar cada uno de los anuncios que es publicado, y si bien la comunidad hace un trabajo excelente a la hora de marcar los anuncios, no resultaba suficiente.

El problema resulta muy complicado de atacar y estamos conscientes de que de esta forma estamos alterando todo un ecosistema que gira al rededor de la página. Sin embargo, esperamos que el cambio sea a positivo. Digo esto por varias razones:

Revisión de todos los anuncios… ¿cómo?

Uno de los principales problemas para garantizar la calidad de los anuncios es poder revisar la mayor cantidad posible de ellos. Sin embargo, esto es una tarea imposible. Sólo tomando Barcelona como muestra, antes de la implementación de este sistema, la media de nuevos anuncios era de más de 24 por minuto, sin embargo, no es algo estable a lo largo del día. Aproximadamente el 30% era fuera de horario de oficina, y además en horas pico, el promedio (de nuevo, sólo en Barcelona) era de 1.3 anuncios por segundo!!

No existen recursos suficientes para revisar todos estos anuncios en ninguna empresa. Claro está, portales de menor dimensión, o en los que se cobre por la publicación se pueden dar este lujo o costear la externalización… pero ese no es nuestro caso.

La regla del 1%

Como sucede con casi todas las cosas en Internet, Loquo también se ciñe con precisión casi matemática a esta regla de facto del 1% que viene a reemplazar a la regla de Pareto del 80-20 en el mundo offline y que definen así en Microsiervos:

Está empezando a hablarse de una regla que sugiere que si pones a 100 personas en línea entonces una creará contenido, 10 interactuarán con este, ya sea comentando u ofreciendo mejoras, y los otros 89 simplemente lo mirarán.

Esta regla también se ajusta al comportamiento de los usuarios a la hora de publicar en una versión un tanto modificada: el 1% (o incluso menos) representa a los spammers más fuertes. un 10% serán usuarios “muy activos” que si bien publican muchos anuncios (más de los que sería ideal) por lo menos publican anuncios válidos, y el resto 89% son los usuarios como tu y yo que publican un piso en alquiler o algún producto de segunda mano para vender o fotografías para la home :)

El principal problema con esto es que la mayor parte del tiempo del equipo de soporte se estaba dedicando a responder a las preguntas, comentarios, quejas, etc de los usuarios y a tratar de paliar el efecto destructivo de ese 1% de spammers “heavy-duty”.

Dicho esto, con este sistema esperamos poder deshacernos lo máximo posible de ese 1% y mantener bajo control al segundo grupo del 10%. El 89% de los usuarios simplemente nunca se verán afectados por este cambio pues para ellos publicar un anuncio al día es más que suficiente para promocionar su oferta.

Más aún, ese 89% (e incluso el 10% de usuarios “muy activos”) se verá beneficiado por este cambio pues su anuncio tendrá más visibilidad al eliminar la basura que lo desplaza hacia abajo en el listado. Así, que el resultado esperado es: mayor satisfacción y efectividad para la mayoría de los usuarios que publican anuncios y una mejor experiencia para los visitantes que encontrarán un contenido de mayor calidad.

¿Y qué pasa con ese 10%?

Este es el grupo que más afectado se siente por la implantación del nuevo sistema, pero lo cierto es que el mayor cambio será en sus costumbres y no en sus resultados.

Por ejemplo, en las secciones de contacto de Loquo, existen sólo en Barcelona unos 472.154 anuncios activos… y esta sección tiene una duración de apenas 30 días. En esta sección (que es donde la mayor parte de ese 10% publica) se podrían reducir los anuncios a una décima parte o a un veinteavo sin afectar la experiencia del visitante. ¿Por qué?… saquemos unas cuentas: si hubiera sólo un veinteavo de los anuncios, todavía habría unos 23.600 anuncios, es decir, un promedio de casi 800 por día, a 75 anuncios por página, esto significaría que un usuario debería navegar por 11 páginas antes de llegar al siguiente día!, me parece que sigue habiendo una gran abundancia de contenido.

Igualmente, si un usuario que publica en esta sección se está “viendo obligado” a publicar hasta 20 veces el mismo anuncio en un día porque bajan demasiado rápido (el orden de los anuncios es cronológico), ahora su anuncio bajará a un veinteavo de la velocidad, con lo que efectivamente publicar un anuncio le bastaría para obtener la misma visibilidad y por lo tanto los mismos contactos.

Sin embargo, estoy seguro de que será un cambio complicado de asimilar al principio, no será sino hasta que vean que no se reduce la efectividad de sus anuncios que se sientan tranquilos con este sistema. Llevan mucho tiempo haciéndolo de la forma actual y éste como cualquier otro cambio generará incertidumbre.

Beneficios para el equipo de Loquo (y para los usuarios)

Lógicamente, contar con una base de anuncios menor y más limpia permitirá al equipo de soporte revisar una mayor cantidad de los anuncios y poder tomar medidas más correctivas que punitivas. Mejorando en todos los sentidos la experiencia de los usuarios

Otros beneficios del sistema

Búsquedas

La implantación de este sistema tiene otros beneficios para los visitantes, si ahora realizas una búsqueda en Loquo, es posible que consigas en algunas secciones el mismo anuncio repetido varias veces. Esto representa una pérdida de tiempo para el visitante que debe navegar e invertir más tiempo en encontrar más anuncios diferentes.

Sistemas

Se los digo por experiencia, manejar un sitio con más de 4MM de visitantes al mes no es sencillo, desde un punto de vista de sistemas es todo un reto mantener la disponibilidad del sitio en todo momento.

Uno de los principales inconvenientes es precisamente el crecimiento de la Base de Datos de anuncios. Contar con un sistema que permita reducir la cantidad de anuncios reales será un alivio al igual que permitirá mejorar el tiempo de respuesta de la página.

Finalmente..

Este es uno de los proyectos más importantes y con mayor impacto que hemos realizado en Loquo. Tenemos muchas esperanzas en él y estaremos todo lo atentos que podamos a los comentarios de los usuarios (más de lo habitual) para poder ajustarlo de la mejor forma posible.

Deseadnos suerte!

7 comentarios »

    1. Vaya sistema! Seguro que es muy bueno, ya me contarás cómo evoluciona!! :D

    2. Carlos

      pues me parese pesimo porq me estas cagando el trabajo

      a mi y a muchas personas. q trabajamos con esta pagina

      cabron. sobre todo en la seccion eroticos creo q en esa

      seccion no debieran implantar el puto sistema valla mierda.

    3. youhouuuu!!!

      LoQUo tiene un gran futuro gracias a proyectos como este :) y cuando digo LoQUo me refiero a los millones de internautas que lo usan y a la experiencia útil y agradable que obtendrán usando una página limpia de spam y con contenido de calidad en todas sus categorías!

      :)

    4. Hola Carlos,

      Entiendo tu comentario, pero me parece que nuestro deber es hacia los visitantes y gente que publica en Loquo.
      Lamento que tu trabajo de publicar múltiples anuncios se vea frustrado por este sistema, sin embargo, lo importante es que quienes se anuncian no se verán afectados y los que buscan sus servicios tampoco.

      Suerte.

    5. Carlos,

      Con esa ortografía y esos modales, lo que me extraña es que sea el filtro de duplicados el que te moleste, y no el de ortografía… ¡qué gente! Y encima insultando… hay que joderse.

      Un saludo.

    6. Yo estoy deacuerdo con Paolo y no entiendo la agresividad en las palabras de Carlos.
      Siento que tu trabajo se vea afectado, pero el usuario no neceista ver 400 páginas iguales, necesita poder acceder a un contenido de calidad y diferenciado.
      Para Google es mejor, para el usuario es mejor, para la plataforma es mejor y para los millones de usuarios de Loquo, estás aportando un valor mejorado. Carlos, siento que te lo tomes como un ataque personal, pero si tanto te ha afectado es que eras un espamer!

    7. Liliana

      Buenas tardes Sr. Paolo Ragone, no se si esta enterado pero en la Seccion Tarot de Loquo en todas las provincias un anunciante lleva todo el año 2009 poniendo anuncios de forma gratuita, sin pagar el respectivo SMS. Llevaba puesto cientos yo diria miles de anuncios llenandolo todo y fue a la final identificado porque el Id. de sus anuncios era muy antiguo, de hace mas de un año
      Limpiaron la seccion hace poco y borraron dichos anuncios, pero esta persona continua poniendolos.

      Parece ser que tiene un programa informatico que puede burlar el control de Loquo, ya que fue adquirido cuando los anuncios eran gratuitos.

      Seguramente esto le habra ocasionado grandes perdidas economicas a Loquo, puesto que los anunciantes que estarian dispuestos a pagar no lo hacen porque les desanima ver esta injusticia

      Seria interesante que hicieran algo al respecto, porque los que si estamos dispuestos a pagar por anunciarnos No estamos dispuestos a que esta persona continue poniendo anuncios gratis todos los dias en todas y cada una de las provincias de España en la seccion Tarot Loquo

RSS feed de los comentarios. TrackBack URL

deja un comentario

Del.icio.us

enlaces de interés