Fighting Spam

I have updated my mail server code to report some very basic diagnostics data through performance counters (I’ll come back to that in a future post). Amongst the information that’s being logged are:

  • The total number of connections since the server was started.
  • The total number of connections refused (due to server and anti-spam policies) since the server was started.

I’ve looked at these numbers after a couple of hours of the server being online. There were about 60K connections, out of which a bit more than 75% have been refused SMTP transactions because the remote hosts were identified as spam senders.

Spam-small

spam, spam, spam and spam.

ich habe mich gefragt, wie sich das ganze spam-aufkommen bei meinem mailserver über die letzten zwei jahre entwickelt hat. da ich selbst keine eigentliche statistik diesbezüglich führe, musste ich mich mit einer alternativen (und nicht überaus zuverlässigen) alternative zufriedengeben, um das zu eruieren: der mailserver schreibt ein logfile pro tag und sämtliche verbindungsversuche werden darin geloggt. also hab ich mir kurz ein kleines tool geschrieben, das diese grössen in relation zueinander bringen kann. da die anzahl richtiger mails in etwa konstant ist, sollte das dennoch eine gute übersicht geben ;-)

Months2007-2008

das erste diagramm zeigt die monatlichen grössenverhältnisse der logs. für beide jahre 2007 und 2008 wurde jeweils das maximum ermittelt um dann die werte des jahres als bruchteil des maximums darzustellen. soll heissen, dass die 100% für 2007 und 2008 beide im dezember erreicht wurden, aber die werte sind ziemlich unterschiedlich, weswegen es keinen sinn macht, die absoluten zahlen darzustellen. so waren die files im dezember 2007 zusammen etwa 1.8mb gross wohingegen sie im dezember 2008 bereits etwa 48mb waren, also ein faktor von über 25. man sieht deutlich, dass in 2007 das spamaufkommen praktisch jeden monat zugenommen hat. im 2008 sehen wir dann relative peaks für februar (vielleicht wegen des valentinstages ;-)), august (who knows?) und dezember (weihnachten).

Weekdays2007-2008

auf dem zweiten diagramm sieht man nun, dass die verteilung unter der woche sich zwischen 2007 und 2008 geändert hat. während in 2007 alle wochentage noch ungefähr gleich „belastet“ wahren, sieht man für 2008, dass an den wochenenden doch deutlich weniger spam verschickt wurde als zu beginn der woche. auch dieses diagramm benutzt natürlich relative zahlen, aufgrund desselben faktors. die nächsten beiden diagramme sind separat fürs 2007 resp 2008 und zeigen die tatsächliche verteilung über die beiden jahre, mit einem balken pro tag. auch hier sieht man wieder die aufwärts-tendenz für 2007 und die drei grossen peaks für 2008. man sieht allerdings keinen merklichen einbruch für mitte november 2008, als eines der grossen spam-bot-netze abgeschaltet wurde.

Year2007Year2008

und um das auch noch erwähnt zu haben: das grösste file in 2007 war 104kb gross, das grösste file in 2008 war 4.6mb gross, was einen faktor von fast 45 ausmacht!