Gå til hovedindhold
Version2 it for professionelle
Forsiden

Hovedmenu

  • It-nyheder
  • Blogs
  • It-job
  • It-firmaer
  • Whitepapers
  • Opret bruger
  • Log ind
Du kan logge ind med din e-mail-adresse
Der er forskel på store og små bogstaver i adgangskoden.
Glemt adgangskode?
Se kommentarer (12)
Emner

Der forsvandt 95% af al min spam

Af Peter Toft 7. december 2006 kl. 06:49

I aftes havde jeg en fed oplevelse. Sammen med et par andre Linux-systemadministratorer installerede vi "greylisting" på www.sslug.dk og vores spammængde faldt dramatisk.

Vi var kommet til et punkt hvor maskinen fik ekstremt meget tæsk pga. den nuværende bayes-baserede spamfiltrering med spamassassin. Loaden på maskinen var ofte over 20, hvilket var meget usundt. Personligt kunne jeg få 800 emails i døgnet hvor 750 var spam via mine forskellinge postlister @sslug.dk.

Vores nye løsning blev at installere greylisting i form af "postgrey" på www.sslug.dk som vores første mail-sortering. Ideen er at mailagenten på maskinen ser på afsenderen og checker om afsenderen tidligere har skrevet til modtageren. Hvis det er tilfældet sendes emailen til modtageren. Hvis det er en ny afsender, vil postgrey sige til afsenderen "kan du ikke lige vente lidt. Jeg kan ikke lige håndtere din email nu. Kom tilbage om lidt". Spammere kan normalt ikke lide den besked. De lever af at kunne aflevere emails NU og HURTIGT! Vores erfaring er at spammere i praksis oftest ikke kommer tilbage. Heldigvis er (nok) alle almindelige mail-systemer opsat til at vende tilbage med legitime emails lidt senere, hvorefter din email til mig nok vil komme igennem i andet forsøg - men straffen er at første gang bliver emailen en smule forsinket. Det er et acceptabelt bytte.

Jeg har ikke vundet kampen 100% mod spam. Jeg har et par postlister jeg ikke bør greyliste af principelle årsager, og på min egen ADSL hjemmeserver der ligger bag TDCs fantastiske port 25 jerntæppe. Der kan jeg ikke anvende greylisting. Tak til TDC...

Alligevel er det en super morgen - jeg mistede ca 95% af min spam, og depressionen over at se bunkerne af frafiltreret spam hver morgen er vendt til en aaaah-fornemmelse. Jeg kører stadig med spamassassin, som rydder fint op - men det bliver efter postgrey har taget den store del af min spam.

Mangler du i øvrigt træningssæt til din spamassassin, så kan du hente et kæmpe sæt på http://petertoft.dk/spam

Psst - Loaden er kommet ned på www.sslug.dk :-)

Send Tweet
Udskriv
Billede af Peter ToftOm Peter Toft

Peter Toft er senior specialist hos Renesas Mobile og har blogget om open source og Linux siden Version2's begyndelse. Blogger også jævnligt om andre sjove teknologi-områder.

Follow @petertoft

Kommentarer (12)

Opret en konto eller log ind for at følge indhold på Version2 - og bliv opdateret via e-mail eller rss

Følg kommentarer
Claus Stovgaard 7. dec. 2006 - 17.02
 
Greylisting er godt.

Greylisting er rigtig godt til spam.

Har også gode erfaringer med graylisting. Det er så en løsning der kører mellem mysql og exim. På et tidspunkt var der mange som sendte ”billede spam”, men et OCR filter hjalp også på det.

Tillykke med greylisting på sslug.dk

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Dennis Krøger 8. dec. 2006 - 00.03
 
OCR filter

Hvilket filter brugte du? Der er to OCR plugins til SA, men de har begge to bare en række blacklist ord med... Man kunne forestille sig at en løsning hvor de extractede ord bliver sendt videre til behandling i bayes filteret ville være mere effektiv (Både imod falske positiver og falske negativer) på længere sigt.

Hvor godt klarer GOCR sig egentlig imod det støj spammerne har lagt i billedet engang imellem?

Jeg er også på TDC's netværk (lidt endnu), så greylisting er heller ikke en mulighed for mig... Visse MTAs venter desværre også flere timer
med at sende midlertidigt afviste mails igen, og det er lige i overkanten til personlige og arbejdsrelaterede mails, som vi bruger serveren til... Desværre, for det er godt nok effektivt!

Dennis

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Peter Tofts billede
Peter Toft 8. dec. 2006 - 00.39
 
Hvad koster OCR?

Jeg har også den gave at modtage "billed spam" :(
Hvad koster det CPU mæssigt at skanne en mail med OCR i SA?

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Mads Krog 8. dec. 2006 - 14.15
 
95 % Spam

Kampen om at udrydde spam er efter min mening umulig uden omlægning af måden mail fungerer på i dag.

Jeg ville foreslå, at bruge SPF, SAMMEN med en ide jeg har fundet på. (Som der sikkert er mange andre der har fundet på, who knows)

Bo skal sende en mail til Anne, Bo's mailklient genererer et MD5 hash af mailen og headeren og sender denne til sin egen mailhost (MX), han sender så beskeden afsted via en hvilken som helst anden mail server i verden med sin checksum i headeren.

Anne's mailserver modtager mailen, checker MD5 hashen, slår Bo's mail adresse op og spørger hans MX record om Bo virkelig har sendt en besked med denne checksum hvilket Bo's mailserver bekræfter og mailen ryger ind i Anne's mailbox.

Nu er dette ikke forsøgt lavet eller gennemtænkt videre, bare en hurtig ide.

Jeg må indrømme jeg desværre har for mange "false positives" med andre løsninger hvilket jeg ser som lige så stort et problem som Spam.

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Jesper Stein Sandal 8. dec. 2006 - 17.55
 
Transient Delivery Failures

Hvis det er greylisting, der forårsager de der Transient Delivery Failures, jeg af og til modtager, så vil jeg da sende regningen videre, når de tvinger mig på blodtrykssænkende medicin. :)

I et job, hvor jeg ofte er afhængig af e-mailkontakter og stramme deadlines, så er det sidste, jeg har lyst til at modtage, fejlmeddelelser om, at min e-mail muligvis ikke kan leveres.

Nå, men én ting er, at metoden aflaster det normale spamfilter, men selve idéen med at returnere en fejlmeddelelse har vel ikke den store effekt? Når jeg ser på afsenderadresserne i den spam, Gmails filter opfanger, så ser de ikke ud til at tilhøre spammeren.

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Ricco Førgaard 9. dec. 2006 - 11.15
 
Det virker jo

Tak! Det virker jo helt genialt ... i hvert fald har det virket upåklageligt de sidste 12-18 timer.

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Jens Hilligsøe 9. dec. 2006 - 15.06
 
Transient Delivery Failures Failure

Jeg vil så vove den påstand, at en udgående mailserver er sat forkert op, hvis den sender postmaster mails til afsenderen om at der er en temporær (4xx) SMTP fejl før dens egen queue timeout er nået.

Så Jesper: Send regningen til din egen mailserver admin (Ja, det er der de mail du ikke kan lide kommer fra i denne anledning).

Ellers vil jeg anbefale folk at se på policyd (http://policyd.sourceforge.net/) da den kan en del ret effektive ting ud over greylisting.

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Donald Axel 11. dec. 2006 - 15.44
 
TCP/SMTP niveau er forskelligt fra message-niveau.

Jesper Stein Sandal og andre må ikke tro, at der sendes mail til en spammer. Det er ikke sådan, man afviser spam med graylisting.

Når der oprettes en TCP forbindelse fra mail-klient til server eller fra mailserver til modtagende mailserver sendes der en protokolpakke: Busy, vent. Man skal huske at dette er på TCP/SMTP-niveau ikke på Mail-From niveau.

Nu er der nok nogen der sidder og tænker, "Gud dog hvorfor har man så ikke fundet på graylisting noget før?" Jamen det er jo det, der er så morsomt. Løsningerne har ligget lige for, men man har fundet sig i spam p.g.a. manglende kompetence, både blandt udbydere og blandt almindelige mennesker.

Summa summarum: Det er ikke en mail der sendes. Man sender ikke "reject-mail" til spammere!

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Peter Tofts billede
Peter Toft 11. dec. 2006 - 21.00
 
Læs lige også denne fra PHK

PHK har også gode pointer i sin blog om samme emne : http://www.version2.dk/artikel/789

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Jesper Stein Sandal 12. dec. 2006 - 01.30
 
Ikke anvendeligt for alle

Ok, nu har jeg studeret teknikken nærmere. Mit største problem er den kunstige forsinkelse, der bliver pålagt en e-mail. Det virker fint, hvis man ikke har behov for at modtage e-mails fra afsendere, man ikke tidligere har kommunikeret med (jeg kan forestille mig, at det er en god løsning for postlister). SPF o.lign. kan selvfølgelig hjælpe én forbi greylisting, antager jeg.

Jeg er i tvivl om, hvorvidt forsinkelsen fastsættes af modtageren eller afhænger af konfigurationen af afsenderens smtp-server.

Hvis det sidste er tilfældet, så vil flere vel sætte postserveren op til at smide mailen tilbage i køen med det samme (i stedet for at vente, som man ville gøre, hvis det var en netværksfejl) i takt med, at greylisting bliver mere udbredt?

For mig at se afhænger successen af to ting:
1) Spammeren samler ikke 4xx-beskeder op/forsøger ikke at gensende en mail.
2) Forsinkelsen er stor nok til, at den genudsendte mail nu kan opfanges af spamfiltre takket være eks. honeypots.

Medmindre jeg har misforstået princippet, så kan begge disse forudsætninger modgåes fra spammernes side. Men der kan selvfølgelig være noget, jeg har fået galt i halsen (det er jo derfor, jeg skriver mit synspunkt her, så jeg og andre med lignende dumme spørgsmål kan blive klogere).

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Karsten Nyblad 12. dec. 2006 - 10.13
 
Re: Ikke anvendeligt for alle

Jeg giver dig ret i, at en generel greylisting giver problemer.

Jeg får min E-mail gennem www.sneakemail.com, hvor man opretter en ny E-mail-addresse, hver gang man kommunikere med en ny person eller en gruppe personer. Der kan man greyliste hver E-mail-addresse for sig. F.eks. poster jeg på usenet, og de E-mail-addresser jeg bruger der, er greylistet.

Jeg har også haft glæde af at bruge sneakemail i anden sammenhæng, for jeg poster på en site, som ikke havde styr på sikkerheden. Nu kan jeg bare udskifte den E-mail-addresse, som de har kompromiteret, uden at skulle have fat i alle dem, jeg kommunikerer med. Samtidigt kunne jeg fortælle siten, at de havde ondt i sikkerheden.

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer
Anders Bo 16. feb. 2007 - 03.12
 
Prøv Google Apps, det løser problemet.

Hvis man bruger Google Apps: www.google.com/a til domænet er det mit indtryk at problemet med spam problemet blir løst meget effektivt.

For private kan man også vælge at forwarde email til en gmail, og derinde sætte gmail til at svare fra den rigtige email adresse.

Med venlig hilsen.

  • Stem op 0
  • Stem ned 0
  • Log ind eller opret en konto for at skrive kommentarer

Tilføj kommentar

Opret en konto eller log ind for at følge indhold på Version2 - og bliv opdateret via e-mail eller rss

Følg kommentarer
Log ind herunder eller opret en bruger for at skrive kommentarer
Du kan logge ind med din e-mail-adresse
Der er forskel på store og små bogstaver i adgangskoden.
Glemt adgangskode?

Seneste nyt

Ny blog: Offentlige it-projekter set indefra

Udgivet 24. maj 13.19Opdateret 24. maj 13.30

De 170 fyrede hos IBM Danmark får 30.000 kroner i hånden

Udgivet 24. maj 12.19Opdateret 24. maj 12.19

Google vinder patentsagen om Android: Brød ikke Oracles Java-patenter

Udgivet 24. maj 11.30Opdateret 24. maj 11.30

Danske HP-ansatte er fyringstruede: Indkaldt til stormøde

Udgivet 24. maj 10.37Opdateret 24. maj 11.56

HP fyrer 27.000 ansatte

Udgivet 24. maj 10.10Opdateret 24. maj 10.10

Flere it-nyheder »

Tilmeld dig Version2's it-nyhedsbrev og vind den nye iPad.

Seneste debat

  1. GOTO - programming with the stars (F#)

    8 comments.
    Last update 2 minutter 9 sekunder
    Skrevet af Torben Mogensen
  2. DanID: Du kan sagtens bruge NemID på MacOS X 10.5

    29 comments.
    Last update 14 minutter 15 sekunder
    Skrevet af Thue Kristensen
  3. Oracle tabte, vandt Google Java ?

    12 comments.
    Last update 22 minutter 25 sekunder
    Skrevet af Lars Lundin
  4. HTML5 – det nye sort?

    15 comments.
    Last update 23 minutter 21 sekunder
    Skrevet af Michael Lykke
  5. Danske HP-ansatte er fyringstruede: Indkaldt til stormøde

    1 comment.
    Last update 23 minutter 58 sekunder
    Skrevet af Martin R. Ehmsen
  6. Google vinder patentsagen om Android: Brød ikke Oracles Java-patenter

    1 comment.
    Last update 1 time 2 minutter
    Skrevet af Thomas Løcke
  7. Sådan formaterer du tekst i debatten på Version2

    34 comments.
    Last update 1 time 16 minutter
    Skrevet af Jesper Lund Stocholm
  8. Kynisk it-guru: »Internettet er basalt set noget lort«

    5 comments.
    Last update 1 time 24 minutter
    Skrevet af Henrik Mikael Kristensen

Mere debat »

Information

  • Kontakt redaktionen
  • Job- og annoncesalg
  • Teknisk support
  • Om Version2
  • Brugerbetingelser
  • Privatlivspolitik

Aktuelle emner

  • Agil udvikling
  • Android
  • Bruttolønsordning
  • Business Intelligence
  • Cloud computing
  • Download Windows 8
  • HTML5
  • Harddisk-priser
  • IE9
  • Intranet
  • It-sikkerhed
  • Kindle Fire
  • Multimedieskat
  • NemID
  • OS X Mountain Lion
  • Open source CMS
  • Projektledelse
  • Scrum
  • Sharepoint intranet
  • Storage
  • Ubuntu 11.10
  • Virtualisering
  • Windows 8
  • Windows Phone 7
  • iOS 5
  • iPhone 4S

Tjenester

  • Android-app
  • iPhone-app
  • RSS-feeds
Følg @version2dk
Tilmeld dig Version2's it-nyhedsbrev og vind den nye iPad.

Version2 udgives af

  • Mediehuset Ingeniøren A/S work Skelbækgade 4 1717 København V
  • Tlf. work 33265300