diff --git a/goose/configuration.py b/goose/configuration.py index fcfa5b9a..16b35bf9 100644 --- a/goose/configuration.py +++ b/goose/configuration.py @@ -60,6 +60,10 @@ def __init__(self): # be use self.target_language = 'en' + # languages for which the amount of stopwords is not a good measure + # to be used when evaluating whether to remove the paragraph + self.omit_stopwords_check_language = set(['fi']) + # defautl stopwrods class self.stopwords_class = StopWords diff --git a/goose/extractors/images.py b/goose/extractors/images.py index 3af44f5f..ce655ba4 100644 --- a/goose/extractors/images.py +++ b/goose/extractors/images.py @@ -37,6 +37,10 @@ "ap-smallphoto-a", ] +KNOWN_BAD_IMAGES = (".html|.gif|.ico|button|twitter.jpg|facebook.jpg|ap_buy_photo" + "|digg.jpg|digg.png|delicious.png|facebook.png|reddit.jpg" + "|doubleclick|diggthis|diggThis|adserver|/ads/|ec.atdmt.com" + "|mediaplex.com|adsatt|view.atdmt") class DepthTraversal(object): @@ -66,12 +70,7 @@ def __init__(self, config, article): self.link_hash = article.link_hash # this lists all the known bad button names that we have - self.badimages_names_re = re.compile( - ".html|.gif|.ico|button|twitter.jpg|facebook.jpg|ap_buy_photo" - "|digg.jpg|digg.png|delicious.png|facebook.png|reddit.jpg" - "|doubleclick|diggthis|diggThis|adserver|/ads/|ec.atdmt.com" - "|mediaplex.com|adsatt|view.atdmt" - ) + self.badimages_names_re = re.compile(KNOWN_BAD_IMAGES) def get_best_image(self, doc, topNode): image = self.check_known_elements() @@ -228,8 +227,8 @@ def is_banner_dimensions(self, width, height): return True if height > width: - diff = float(height / width) - if diff > 5: + diff = float(height) / float(width) + if diff >= 2.7: return True return False @@ -326,7 +325,8 @@ def check_opengraph_tag(self): for item in meta: src = self.parser.getAttribute(item, attr='content') if src: - return self.get_image(item, src, extraction_type='opengraph') + if not self.badimages_names_re.search(src): + return self.get_image(item, src, extraction_type='opengraph') return None def get_local_image(self, src): diff --git a/goose/outputformatters.py b/goose/outputformatters.py index 1f8ba4bd..6b68c376 100644 --- a/goose/outputformatters.py +++ b/goose/outputformatters.py @@ -63,7 +63,8 @@ def get_formatted_text(self): self.links_to_text() self.add_newline_to_br() self.replace_with_text() - self.remove_fewwords_paragraphs() + if (not self.get_language() in self.config.omit_stopwords_check_language): + self.remove_fewwords_paragraphs() return self.convert_to_text() def convert_to_text(self): diff --git a/goose/resources/text/stopwords-fi.txt b/goose/resources/text/stopwords-fi.txt index 3b468b32..1dce5b79 100644 --- a/goose/resources/text/stopwords-fi.txt +++ b/goose/resources/text/stopwords-fi.txt @@ -1,68 +1,824 @@ +aiemmin +aika +aikaa +aikaan +aikaisemmin +aikaisin +aikana +aikoina +aikoo +aikovat +aina +ainakaan +ainakin +ainoa +ainoat +aiomme +aion +aiotte +aivan +ajan +alas +alemmas +alkuisin +alkuun alla -ansiosta +alle +aloitamme +aloitan +aloitat +aloitatte +aloitettava +aloitettavaksi +aloitettu +aloitimme +aloitin +aloitit +aloititte +aloittaa +aloittamatta +aloitti +aloittivat +alta +aluksi +alussa +alusta +annettavaksi +annettu +antaa +antamatta +antoi +apu +asia +asiaa +asian +asiasta +asiat +asioiden +asioihin +asioita +asti +auki +avuksi +avulla +avun +avutta +edelle +edelleen +edellä +edeltä +edemmäs +edes +edessä +edestä ehkä ei +eikä +eilen +eivät +eli +ellei +elleivät +ellemme +ellen +ellet +ellette +emme +en enemmän +eniten ennen -etessa -f -haikki +ensi +ensimmäinen +ensimmäiseksi +ensimmäisen +ensimmäisenä +ensimmäiset +ensimmäisiksi +ensimmäisinä +ensimmäisiä +ensimmäistä +ensin +entinen +entisen +entisiä +entisten +entistä +enää +eri +erittäin +erityisesti +eräiden +eräs +eräät +esi +esiin +esillä +esimerkiksi +et +eteen +etenkin +ette +ettei +että +fax +halua +haluaa +haluamatta +haluamme +haluan +haluat +haluatte +haluavat +halunnut +halusi +halusimme +halusin +halusit +halusitte +halusivat +halutessa +haluton he -hitaasti -hoikein +hei +heidän +heidät +heihin +heille +heillä +heiltä +heissä +heistä +heitä +helposti +heti +hetkellä +hieman +hlö +hlöä +huolimatta +huomenna +hyvien +hyviin +hyviksi +hyville +hyviltä hyvin +hyvinä +hyvissä +hyvistä +hyviä +hyvä +hyvät +hyvää hän +häneen +hänelle +hänellä +häneltä +hänen +hänessä +hänestä +hänet +häntä +ihan ilman +ilmeisesti +itse +itsensä +itseään ja +jo +johon +joiden +joihin +joiksi +joilla +joille +joilta +joina +joissa +joista +joita +joka +jokainen +jokin +joko +joksi +joku +jolla +jolle +jolloin +jolta +jompikumpi +jona +jonka +jonkin +jonne +joo +jopa jos +joskus +jossa +josta +jota +jotain +joten +jotenkin +jotenkuten +jotka +jotta +jouduimme +jouduin +jouduit +jouduitte +joudumme +joudun +joudutte +joukkoon +joukossa +joukosta +joutua +joutui +joutuivat +joutumaan +joutuu +joutuvat +juuri jälkeen +jälleen +jää +kahdeksan +kahdeksannen +kahdella +kahdelle +kahdelta +kahden +kahdessa +kahdesta +kahta +kahteen +kai +kaiken +kaikille +kaikilta +kaikkea +kaikki +kaikkia +kaikkiaan +kaikkialla +kaikkialle +kaikkialta +kaikkien +kaksi +kannalta +kannattaa kanssa +kanssaan +kanssamme +kanssani +kanssanne +kanssasi +kauan +kauemmas kaukana +kautta +kehen +keiden +keihin +keiksi +keille +keillä +keiltä +keinä +keissä +keistä +keitten +keitä +keneen +keneksi +kenelle +kenellä +keneltä +kenen +kenenä +kenessä +kenestä +kenet kenties +kerran +kerta +kertaa keskellä kesken +keskimäärin +ketkä +ketä +kiitos +klo +kohti +koko +kokonaan +kolmas +kolme +kolmen +kolmesti +koska koskaan -kuinkan -kukka -kylliksi +kovin +kuin +kuinka +kuitenkaan +kuitenkin +kuka +kukaan +kukin +kumpainen +kumpainenkaan +kumpi +kumpikaan +kumpikin +kun +kuten +kuuden +kuusi +kuutta kyllä +kymmenen +kyse liian -lla -lla +liki +lisäksi +lisää +lue +luo luona +lähekkäin +lähelle lähellä +läheltä +lähemmäs +lähes +lähinnä +lähtien läpi +mahdollisimman +mahdollista me +meidän +meidät +meihin +meille +meillä +meiltä +meissä +meistä +meitä +melkein +melko +menee +menemme +menen +menet +menette +menevät +meni +menimme +menin +menit +menivät +mennessä +mennyt +menossa +mihin +mikin miksi mikä +mikäli +mikään +mille milloin -milloinkan +milloinkaan +millä +miltä +minkä +minne +minua +minulla +minulle +minulta +minun +minussa +minusta +minut +minuun minä missä +mistä miten +mitkä +mitä +mitään +moi +molemmat +mones +monesti +monet +moni +monta +muassa +muiden +muita +muka +mukaan +mukaansa +mukana +mutta +muu +muualla +muualle +muualta +muulloin +muun +muut +muuta +muutama +muutaman +muuten +myöhemmin +myös +myöskin +myöskään +myötä +ne +neljä +neljän +neljää +niiden +niihin +niiksi +niille +niillä +niiltä +niin +niinä +niissä +niistä +niitä +noiden +noihin +noiksi +noilla +noille +noilta +noin +noina +noissa +noista +noita +nopeammin nopeasti +nopeiten +nro +nuo nyt +näiden +näihin +näiksi +näille +näillä +näiltä +näin +näinä +näissä +näistä +näitä +nämä +ohi oikea oikealla +oikein +ole +olemme +olen +olet +olette +oleva +olevan +olevat +oli +olimme +olin +olisi +olisimme +olisin +olisit +olisitte +olisivat +olit +olitte +olivat +olla +olleet +ollut +oma +omaa +omaan +omaksi +omalle +omalta +oman +omassa +omat +omia +omien +omiin +omiksi +omille +omilta +omissa +omista +on +onkin +onko +ovat +paikoittain +paitsi +pakosti paljon +paras +paremmin +parempi +parhaillaan +parhaiten +perusteella +peräti +pian +pieneen +pieneksi +pienelle +pienellä +pieneltä +pienempi +pienestä +pieni +pienin +poikki +puh +puolesta +puolestaan +päälle +runsaasti +saa +saada +saakka +saat +sama +samaa +samaan +samalla +saman +samat +samoin +sata +sataa +satojen +se +seitsemän +sekä +sen +seuraavat siellä +sieltä +siihen +siinä +siis +siitä +sijaan +siksi +sille +silloin +sillä +silti +siltä +sinne +sinua +sinulla +sinulle +sinulta +sinun +sinussa +sinusta +sinut +sinuun sinä -ssa -sta +sis +sisäkkäin +sisällä +siten +sitten +sitä +sivu suoraan +suuntaan +suuren +suuret +suuri +suuria +suurin +suurten +taa +taas +taemmas +tahansa tai +takaa +takaisin takana takia -tarpeeksi +tapauksessa +tavalla +tavoitteena te +teidän +teidät +teihin +teille +teillä +teiltä +teissä +teistä +teitä +tietysti +tms +todella +toinen +toisaalla +toisaalle +toisaalta +toiseen +toiseksi +toisella +toiselle +toiselta +toisemme +toisen +toisensa +toisessa +toisesta +toista +toistaiseksi +toki +tosin +tuhannen +tuhat +tule +tulee +tulemme +tulen +tulet +tulette +tulevat +tulimme +tulin +tulisi +tulisimme +tulisin +tulisit +tulisitte +tulisivat +tulit +tulitte +tulivat +tulla +tulleet +tullut +tuntuu +tuo +tuoda +tuohon +tuoksi +tuolla +tuolle +tuolloin +tuolta +tuon +tuona +tuonne +tuossa +tuosta +tuota +tuskin +tykö +tähän +täksi +tälle +tällä +tällöin +tältä +tämä +tämän +tänne +tänä +tänään tässä -ulkopuolella -vahemmän +tästä +täten +tätä +täysin +täytyvät +täytyy +täällä +täältä +usea +useasti +useimmiten +usein +useita +uudeksi +uudelleen +uuden +uudet +uusi +uusia +uusien +uusinta +uuteen +uutta +vaan +vai +vaiheessa +vaikea +vaikean +vaikeat +vaikeille +vaikeilta +vaikeissa +vaikeista +vaikka +vain +varmasti +varsin +varsinkin +varten +vasemmalla vasen -vasenmalla -vastan +vasta +vastaan +vastakkain +verran vielä +vierekkäin vieressä +vieri +viiden +viim +viime +viimeinen +viimeisen +viimeksi +viisi +voi +voida +voidaan +voimme +voin +voisi +voit +voitte +voivat +vuoden +vuoksi +vuosi +vuosien +vuosina +vuotta +vähemmän +vähintään +vähiten vähän +välillä +yhdeksän +yhden yhdessä +yhteen +yhteensä +yhteydessä +yhteyteen +yhtä +yhtäälle +yhtäällä +yhtäältä +yhtään +yhä +yksi +yksin +yksittäin +yleensä +ylemmäs +yli ylös +ympäri +yms +älköön +älä \ No newline at end of file