skraping (IT)

Typiske eksempler på registre er delelister, produktkataloger, værmeldinger, nyheter og statistikk. Brukere vil være begrenset av tid og ressurser som kreves for å gjøre manuelle oppslag, og kan dermed ikke hente ut store mengder informasjon. Prosessen kan imidlertid automatiseres ved hjelp av programvare, og uthenting av all informasjon fra dataregisteret kan utføres i løpet av svært kort tid.

For å forsøke å forhindre skraping kan man begrense hvor mange oppslag det er mulig å gjøre i løpet av en viss tid per bruker eller verifisere at brukeren er et menneske gjennom bruk av CAPTCHA. I tillegg til tekniske sikkerhetsmekanismer vil brukervilkår for tjenesten ofte spesifikt forby bruk av maskinell skraping.

Opptreningen av språkmodeller krever tilgang til enorme mengder data. For å få tilgang til mest mulig informasjon skrapes flest mulig tilgjengelige nettjenester. Informasjonen blir så tilgjengeliggjort gjennom språkmodellene, ofte uten referanse til opprinnelig kilde.

En utfordring med tiltak mot skraping er at de ofte også begrenser søkemotorers indeksering av nettsider. Her finnes det imidlertid løsninger som forsøker å tillate søkemotorer, men hindre andre tilsvarende applikasjoner.

Formelt sett kan man si at søkemotorene utfører skraping av nettsider. Informasjonen hentes ut og lagres hos en tredjepart. Det er imidlertid vanlig å omtale dette som indeksering, ettersom det er en ønsket handling.

Dette er imidlertid mer nyansert. Flere søkemotorer presenterer indeksert informasjon som en del av søkeresultatene i stedet for å sende brukeren videre til nettsiden. Dermed taper nettsidene trafikk og reklameinntekter. Selv om informasjonen vises med referanse, vil den for brukeren ofte fremstå som søkemotorens egen informasjon.

• datasikkerhet
• dataangrep