Kjapp og trygg hosting for Wordpress

Nettby

xenimus86

Medlem
Hvis det er uønsket med slike crawlere, så burde vel de ulike communityene stenge dem ute? Eller er slikt umulig?

Jeg kunne i grunn tenkt meg å se på muligheten for å utfordre dem på akkurat dette. Er det noen som har en slik crawler til meg?

Mvh
Bjørn Jarle

De har gjort det .
Besøker du <200 profiler på under en time blir profilen automatisk blokkert.
 

picxx

Well-Known Member
De har gjort det .
Besøker du <200 profiler på under en time blir profilen automatisk blokkert.

4800 profiler i døgnet er ikke helt dumt det.
33600 profiler i uka.
1747200 profiler på et år.

Noen klikk vil det vel bli ;)
 

picxx

Well-Known Member
Men ugh!! så kortsiktig da.

Ett år er vel ikke kortsiktig...
Om en kjører en crawler en dag, ok...da er det kortsiktig.
Om en kjører en crawler en dag hver dag ett år kan man vel neppe kalle det kortsiktig lengre.
 

Deezire

Medlem
En (annen) kompis av meg har skrevet en crawler i perl, denne kan filtrere på kjønn, alder og bosted. Du kan også spesifisere hvilken nettleser den skal oppgi at den er, så det er svært vanskelig å detektere at det er en crawler. For å gjøre det hele enda vanskeligere så besøker den profiler med 1-30 sekunders mellomrom (eller mer, hvis spesifisert).

Men i hans tilfelle er det ingen form for spamming eller ligende. Han besøker kun profilene og legger ikke igjen en melding, selv om det er ganske enkelt. Så i hans tilfelle har han bare blitt blokkert en eller to ganger. Men profilen hans er en av de mest viste på Nettby, og det er ikke uvanlig at han blir gjenkjent på gata som "han som alltid er på topp på nettby".
 

xenimus86

Medlem
En (annen) kompis av meg har skrevet en crawler i perl, denne kan filtrere på kjønn, alder og bosted. Du kan også spesifisere hvilken nettleser den skal oppgi at den er, så det er svært vanskelig å detektere at det er en crawler. For å gjøre det hele enda vanskeligere så besøker den profiler med 1-30 sekunders mellomrom (eller mer, hvis spesifisert).

Men i hans tilfelle er det ingen form for spamming eller ligende. Han besøker kun profilene og legger ikke igjen en melding, selv om det er ganske enkelt. Så i hans tilfelle har han bare blitt blokkert en eller to ganger. Men profilen hans er en av de mest viste på Nettby, og det er ikke uvanlig at han blir gjenkjent på gata som "han som alltid er på topp på nettby".

Har et kliss likt script. Og det beste av alt, det er for mac :) Kjøres i terminal. Men som sagt, ikke mye vits i disse. Funker ikke lenger.

Skrevet hos nettbyll:

Nettby har nå lagt inn en ny begrensning i jakten på byllere. Anonyme testere mener man nå kan kun besøke i overkant av 200 brukere før man må ta en pause på en viss tid (ukjent, men er <=1 time) før man kan besøke nye igjen uten å få profilen automatisk låst. Selv med 9000ms delay, noe som tilsvarer en halvtime for å besøke 200 personer, støter man på denne begrensningen
 

Deezire

Medlem
Problemet til nettbyll er at de har en statisk frekvens. Det er veldig lett å detektere folk som besøker nye profiler med nøyaktig samme mellomrom, en billig IPS/IDS fra Cisco ville gjort jobben for å blokkere noe slikt.

En aktiv bruker av nettby besøker nok mer enn 200 profiler i timen, så jeg tror nok det er fler faktorer enn bare besøk de overvåker.
 

altforbra

Medlem
Det kan umulig være vanskelig å la folk besøke masse profiler manuelt, samtidig som man stenger ute "byllerne".

Om en bruker besøker mer enn 100 per time, burde brukeren få en beskjed om at han/hun risikerer å få kontoen stengt om han/hun fortsetter å besøke profiler så kjapt. Så gir man brukeren en 24 timers karantene, fortsetter man burde man få en siste advarsel. Deretter kan man banne brukeren.

Slik kan man besøke masse profiler manuelt og trygt :p Og nettbyll brukere blir bannet.
 

vidarlo

Apache-junkie
Det kan umulig være vanskelig å la folk besøke masse profiler manuelt, samtidig som man stenger ute "byllerne".

Om en bruker besøker mer enn 100 per time, burde brukeren få en beskjed om at han/hun risikerer å få kontoen stengt om han/hun fortsetter å besøke profiler så kjapt. Så gir man brukeren en 24 timers karantene, fortsetter man burde man få en siste advarsel. Deretter kan man banne brukeren.

Slik kan man besøke masse profiler manuelt og trygt :p Og nettbyll brukere blir bannet.

Ja, utover at tabbed browsing gjer at en del legitime personer besøker langt meir enn hundre profiler på en time. Uansett er svaret å la nettbyll oppdage advarselen og backe tilbake.

Du kan gjere nettbyll vanskeligere, men ikkje umulig. Uansett omtrent.
 

altforbra

Medlem
Jeg begynte å tenke litt på hvordan nettby kan oppdage crawleren. Hvis nettby klarer å kartlegge oppførselen til nettbyll, tror jeg det skal være mulig. Jeg har ikke prøvd nettbyll, men det er vel noe sånt som:
Logg inn
Gjør et søk
Besøk masse profiler i loop

Det skal fint gå an å se denne oppførselen med php og sessions. Hva tror dere?
 

vidarlo

Apache-junkie
Det skal fint gå an å se denne oppførselen med php og sessions. Hva tror dere?

Gi meg en måte som har feilrate lavere enn 5%.

Utover det å vise captcha for kvar 5. lenke en trykker på kan ikkje eg komme på spesielt gode måter å løse problemet på. Og vg har vel funne ut at captcha så ofte er for lite brukervennlig, og at det er bedre å godta nettbyll enn å tvinge alle gjennom captcha.
 

TorsteinO

Art Director & grunder
Greia er jo at det bl.a. er masse folk som syns speedrunder (eller hva de kaller det) er så utrolig morsomt, og når det rett og slett går ut på å besøke så mange som mulig så fort som mulig (uten bruk av nettbyll), så er det rett og slett ikke mulig å skille mellom et script som besøker (helst med litt random intervall selvsagt), og en som er på en slik speedrunde. Lager de noen automatikk på utestengning ut fra antall besøkte profiler i løpet av et visst tidsrom osv, så kommer de til å stenge ute mange av sine mest aktive brukere, og det vil de naturligvis ikke.
 

Travellingman

Nettgrunder
Har testet ut Nettbyll litt og det funker det! Har fått masse besøk på profilen min ihvertfall og så er det jo en del som klikker seg inn på mine sidelinker også ;)
 
Topp