web scrape for nettside

[quinsy]

Hei.

Har startet en rubrikkside for kjøp/salg for bedrifter og privatpersoner, siden og systemet er i hovedsak ferdig laget. Men jeg ønsker også et system for brukere som har en webshop til å linke sine produkter fra sin side til oss, så de slipper å legge ut en og en artikel for salg. Selv er jeg blank på området, så jeg trenger noen tips til hvordan dette kan gjøres (hvis mulig). Har sett litt på web srabe osv, men vet ikke om dette er riktig.

Håper på gode svar

Takk

 

[Pong]

Veien å gå er nok feeds. Søk på rss-feeds f.eks.
Det er mange gode verktøy tilgjengelig - Google Reader eller Yahoo Pipes er noen.

 

[adeneo]

... jeg ønsker også et system for brukere som har en webshop til å linke sine produkter fra sin side til oss, så de slipper å legge ut en og en artikel for salg...
Takk

Dette høres ut som en svært god ide!
Hvis jeg forstår det riktig så kan man gå inn på din rubrikkside og når man skal legge ut et produkt for salg så kan man bare legge inn en link til produktet på en webshop og vips så hentes dataene inn og man slipper å skrive produktbeskrivelse og legge inn bilder for hvert produkt.
Problemet er selvfølgelig det tekniske, det finnes millioner av nettbutikk og cms systemer, som alle lagrer data på forskjellig måter, og å hente data fra en annen nettside er rimelig rett frem, problemet er å hente riktig data og så verifisere at ikke noen linker til f.eks. http://minHackingSide.no/scriptForÅhackeDinSide/produkt?sendOrmNå.

Ettersom det å hente riktig data konsekvent over nærmest et uendelig antall plattformer er nesten umulig, så er det vel ingen sider som jeg kommer på som har en slik løsning.

Andre veien er det selvfølgelig ikke noe problem ettersom du styrer dataene, og du kan enkelt sende xml til andres sider og la de sette opp et system for å lese xml dataene å gjøre de om til produkter på sine sider, og hvis du implementerer noe lignende, altså at brukere på din side kan linke til xml eller json filer med de nødvendige dataene satt opp i et predefinert system eller sende disse dataene med rss eller lignende, så er det rimelig rett frem å formatere dette til annonser på siden din, men da må dataene være i et visst system ellers blir det nesten umulig for deg å vite hva som skal hvor i ditt system osv.
Dette gjør at det blir så mye stress å sette opp dette for en bruker, at det sannsynligvis kun kommer til å bli brukt av noen svært få, og i så måte så tror jeg et slikt system er langt mer jobb å sette opp enn det er verdt.

 

[Thomas Pedersen]

slike ting må tilpasses hver enkelt side du skal scrape. Eventuelt hvis flere sider er bygget opp med samme cms og template, så kan man bruke samme scraper på flere, men generelt sett er det noe man må tilpasse hver enkelt side.
Men det er godt mulig mange nettbutikker der ute har feeds, rss eller xml som kan gi deg slik informasjon. Mange har gjerne slike tjenester for å kunne få siden sin inkludert på sider som driver med prissammenligning.

 

[quinsy]

Takker for svar, men håpet mer på et " ja dette er super lett og det finnes mange systemer du kan bruke " . Da får jeg se om dette blir en realitet eller ikke, men hadde vært en fin ting for brukere med mange produkter.

 

[quinsy]

slike ting må tilpasses hver enkelt side du skal scrape. Eventuelt hvis flere sider er bygget opp med samme cms og template, så kan man bruke samme scraper på flere, men generelt sett er det noe man må tilpasse hver enkelt side.
Men det er godt mulig mange nettbutikker der ute har feeds, rss eller xml som kan gi deg slik informasjon. Mange har gjerne slike tjenester for å kunne få siden sin inkludert på sider som driver med prissammenligning.

Ja, jeg ser at kelkoo.no osv klarer å finne konkrete produkter med all info til dette produktet på de fleste sider.

 

[Pong]

De som har nettbutikker med produkter som de ønsker å ha på din nettside har som regel ingenting imot å sette opp en produkt-feed til dette.
Da unngår du dessuten situasjoner der du skraper feil informasjon.

For kelkoo, sjekk Kelkoo FAQ
Punkt 1.5 forteller at du skal lage en produktfil.
Er det noen her som vet hvordan den ser ut?

 

[Thomas Pedersen]

Her er mer info om oppbyggingen til feed'en som kelkoo trenger
How to Create a Feed

Kelkoo sin fordel er at de er store nok til at de fleste aktører vil ta seg bryet med å lage en sånn feed spesifikt for kelkoo.
Desverre ser det ut til at den sendes til kelkoo via ftp. så det er altså ikke noe nettbutikkene nødvendigvis allerede har tilgjengelig.

Jeg vil også tro at kelkoo har utviklere som har som oppgave å customize scrapers til store aktører som ikke har egen feed tilgjengelig.

 

[quinsy]

Takker for alle svar, dette systemet får vi utvikle med tiden om det blir bruk for det (håper jo det)

mvh
Daniel Johansen
Turportalen.no