Blog Blog - Balise - Spam

Serveur Debian - Antispam email

Seza — Sat, 25 Aug 2007 13:19:00 +0200

CHAPITRE 8 : DSPAM

Maintenant que nous possédons un très bel outil qui nous permet d'envoyer et de recevoir des e-mails, il ne saurait tarder à ce que vous receviez quelques spams. Nous allons donc installer un antispam.

Pour commencer installons déjà un antispam. Etant un habitué de Spamassassin et en cherchant sur la toile de quoi aller plus loin avec SA j'ai découvert Dspam. Alors j'ai choisi d'utiliser du coup ce dernier pour mon tutorial. Je préfère la démarche de mise en place autour de Dspam, malgré que je le connaisse peu, je me sens plus à l'aise qu'avec SA. Dspam offre aussi un atout performance par rapport à SA ce qui n'est pas négligeable surtout si vous hébergez beaucoup de boites plus ou moins spammées. Puisque nous hébergeons des utilisateurs virtuels sur notre Postfix et Dspam offre la possibilité d'être couplé à Mysql et d'être configurable utilisateur par utilisateur, nous allons par conséquent exploiter cette possibilité.

Dspam à la particularité de devoir tout apprendre, c'est à dire qu'au début aucun spam ne sera recensés. Nous allons configurer deux boites e-mails « spam@bebenet.local » et « ham@bebenet.local » auxquelles nous transférerons respectivement les faux négatifs et les faux positifs afin que Dspam apprenne à reconnaître les bons des mauvais e-mails.

Maintenant que le décor est planté, cette configuration aura le démérite que chaque utilisateur devra commencer de zéro avec Dspam mais Dspam aura la finesse de filtrer la boite e-mail de l'utilisateur tout comme ce dernier lui aura appris. Un véritable filtre personnalisé. Néanmoins il existe des méthodes pour que Dspam apprenne plus vite à partir d'une base de spam préétablie. Je n'utiliserai pas cette fonctionnalité pour deux raisons. La première est du fait que les bases de spams vieillissent très vite et les spams appris ne seront plus d'actualité ce qui ne servira en rien à Dspam. La deuxième provient de mon expérience personnelle avec Dspam. Recevant une centaine de spam par jour Dspam n'a pas mis plus de deux heures pour commencer à attraper les premiers spams en trois jours il filtrait tout. Après les quelques semaines qui se sont passées entre la rédaction de se tuto et sa publication. Voici les statistique de mon Dspam.

2 883 spam détecté dont 7 faux positifs et sur les 758 e-mail détecté comme valide seulement 53 faux négatif. Bien entendu ces résultats peuvent fortement varier en fonction de la typologie et de la variabilité des e-mails reçus.

Dspam à son installation cherchera à se connecter en « root » sur notre base de données. Etant donné que nous avions renommer l'utilisateur « root » en « bebeserv », nous ferons machine arrière le temps de l'installation.

Il est temps d'installer Dspam maintenant – place à l'action :

ALBAN@bebeserv:~$ sudo -i
Password:
bebeserv:/etc/mysql# mysql -u bebeserv -p
Enter password:
[...]

mysql> rename user bebeserv@localhost to root@localhost;
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye
bebeserv:~# apt-get update
[...]
bebeserv:~# apt-get install dspam dspam-drv-mysql dspam-doc
[...]

Lors de l'installation, répondez oui à « dbconfig-common », entrez le mot de passe « root » (enfin « bebeserv ») de Mysql puis le mot de passe de l'utilisateur Dspam qui sera créé et confirmer ce mot de passe.

bebeserv:/etc/mysql# mysql -u root -p
Enter password:
[...]

mysql> rename user root@localhost to bebeserv@localhost;
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Je vous passe ici l'exploration de la base de données créée qui doit normalement se prénomée par un nom un peu barbare dixit : « libdspam7drvmysql » et l'utilisateur attribué sera nommé « libdspam7-drv-my ».

Place à la configuration :

bebeserv:~# nano /etc/dspam/dspam.conf

StorageDriver /usr/lib/dspam/libmysql_drv.so

DeliveryHost        127.0.0.1
DeliveryPort        10026
DeliveryIdent       localhost
DeliveryProto       SMTP

Preference "signatureLocation=message"  # 'message' or 'headers'
Preference "showFactors=on"
Preference "spamAction=tag"
Preference "spamSubject=***SPAM***"

#
# Purge configuration: Set dspam_clean purge default options, if not otherwise
# specified on the commandline
#
#PurgeSignatures 14          # Stale signatures
#PurgeNeutral    90          # Tokens with neutralish probabilities
#PurgeUnused     90          # Unused tokens
#PurgeHapaxes    30          # Tokens with less than 5 hits (hapaxes)
#PurgeHits1S    15          # Tokens with only 1 spam hit
#PurgeHits1I    15          # Tokens with only 1 innocent hit

#
# Purge configuration for SQL-based installations using purge.sql
#
PurgeSignature  off # Specified in purge.sql
PurgeNeutral   90
PurgeUnused    off # Specified in purge.sql
PurgeHapaxes   off # Specified in purge.sql
PurgeHits1S    off # Specified in purge.sql
PurgeHits1I    off # Specified in purge.sql

Opt out

ServerPort              10027
ServerQueueSize 32
ServerPID              /var/run/dspam/dspam.pid

ServerMode standard

ServerParameters        "--deliver=innocent -d %u"
ServerIdent             "localhost.localdomain"
	
DeliveryHost 127.0.0.1
DeliveryPort 10026
DeliveryIdent localhost
DeliveryProto SMTP

Enregistrer et quitter. Maintenant enregistrons les préférences des utilisateurs par défaut :

bebeserv:~# nano /etc/dspam/default.prefs

trainingMode=TEFT
spamAction=tag
spamSubject=***SPAM***
signatureLocation=message
showFactors=on
optIn=off
optOut=on

Enregistrez et quittez. Activons Dspam :

bebeserv:~# nano /etc/default/dspam

START=yes

Enregistrez et quittez. Maintenant faisons les même réglages dans la base de données de Dspam :

bebeserv:~# dspam_admin ch pref default trainingMode TEFT
[...]
bebeserv:~# dspam_admin ch pref default spamAction tag
[...]
bebeserv:~# dspam_admin ch pref default spamSubject "***SPAM***"
[...]
bebeserv:~# dspam_admin ch pref default enableBNR on
[...]
bebeserv:~# dspam_admin ch pref default enableWhitelist on
[...]
bebeserv:~# dspam_admin ch pref default statisticalSedation 5
[...]
bebeserv:~# dspam_admin ch pref default  signatureLocation headers
[...]
bebeserv:~# dspam_admin ch pref default whitelistThreshold 10
[...]
bebeserv:~# dspam_admin ch pref default showFactors on
[...]

C'est terminer pour Dspam nous pouvons démarrer le démon :

bebeserv:~# /etc/init.d/dspam start
[...]

Il nous reste à coupler Dspam à Postfix.

Commencez par préparer nos deux boites e-mail « spam@bebenet.local » et « ham@bebenet.local » :

bebeserv:~# cd /etc/postfix/conf.d/
bebeserv:/etc/postfix/conf.d# nano virtual_mailbox

spam@bebenet.local      bebenet.local/spam/
ham@bebenet.local       bebenet.local/ham/

Enregistrez et quittez. Rechargeons la base :

bebeserv:/etc/postfix/conf.d# postmap virtual_mailbox

C'est deux boîtes e-mail sont fictive en fait et ne recevront jamais de messages. Elles seront couplé à Dspam et nous allons préparer ce couplage grâce à ce fichier :

bebeserv:/etc/postfix/conf.d# nano transport

spam@paradoxal.org      dspam-spam:
ham@paradoxal.org       dspam-ham:

Enregistrez et quittez.

Ce fichier va rediriger nos deux boites e-mail non pas vers le transport classique « virtual » mais vers deux nouveaux transports que nous allons définir un peu plus loin. Ces deux boites e-mail ne devrons pas être scannées par Dspam (logique) et nous allons aussi préparer un fichier qui va nous permettre de définir les boites à scanner et celle à ne pas scanner.

bebeserv:/etc/postfix/conf.d# nano dspam_filter_access

#les 2 boites à ne pas filtrer (celles où sont envoyé les emails pour l'apprentissage de Dspam)
/^(spam|ham)@.*$/ OK
#puis domaines qui n'ont que la vérification antivirus, dans notre cas, tous les autres domaines :
/^.*$/ FILTER dspam-filter:127.0.0.1:10027

Enregistrez et quittez. Voilà comme vous pouvez le voir ce dernier fichier utilise les expressions régulières, pour que Postfix puisse les comprendre nous allons devoir lui installer un complément :

bebeserv:/etc/postfix/conf.d# apt-get install postfix-pcre
[...]

Voilà nos fichiers de configuration sont prêt, il faut maintenant définir les nouveaux transports dans Postfix :

bebeserv:/etc/postfix/conf.d# cd ..
bebeserv:/etc/postfix# nano master.cf

A la fin du fichier rentrez ceci :

dspam-spam   unix    -       n       n       -       10      pipe
	flags=Rhq user=dspam argv=/usr/bin/dspam --user $sender --class=spam --source=error

dspam-ham   unix    -       n       n       -       10      pipe
	flags=Rhq user=dspam argv=/usr/bin/dspam --user $sender --class=innocent --source=error

dspam-filter unix - - n - 10 lmtp
	-o smtp_send_xforward_command=yes
	-o disable_mime_output_conversion=yes
	-o smtp_generic_maps=

localhost:10026 inet n - n - - smtpd
	-o content_filter=
	-o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
	-o smtpd_helo_restrictions=
	-o smtpd_client_restrictions=
	-o smtpd_sender_restrictions=
	-o smtpd_recipient_restrictions=permit_mynetworks,reject
	-o mynetworks=127.0.0.0/8
	-o smtpd_authorized_xforward_hosts=127.0.0.0/8

Enregistrez et quittez.

Il nous reste plus qu'à dire à Postfix d'utiliser tout ceci :

bebeserv:/etc/postfix# nano main.cf

Rajoutez cette ligne :

transport_maps = hash:/etc/postfix/conf.d/transport

et modifiez celle-ci :

smtpd_recipient_restrictions =
	permit_mynetworks,
	permit_sasl_authenticated,
	reject_invalid_hostname,
	reject_unauth_destination,
	reject_unknown_sender_domain,
	reject_unknown_recipient_domain,
	reject_unauth_destination,
	check_recipient_access pcre:/etc/postfix/conf.d/dspam_filter_access

Enregistrez et quittez. Rechargeons la configuration de Postfix pour terminer le travail :

bebeserv:/etc/postfix# /etc/init.d/postfix reload
[...]

Voilà c'est terminé, vous possédez maintenant un antispam, bien sûr il faudra lui apprendre à reconnaître les spams mais je ne doute pas que vous en serez très vite satisfait.

Votre antispam est paramétrable par utilisateur ne l'oubliez pas ! Si l'un d'entre eux demande un tag différent c'est possible. Vous pouvez aussi voir les statistiques de Dspam par utilisateur pour voir son travail. Pour ceci regarder les commandes « dspam_admin », « dspam_stats ».

Pour voir les préférences par défaut :

bebeserv:/etc/postfix# dspam_admin list preference default
[...]

Pour voir les statistiques d'un utilisateur :

bebeserv:/etc/postfix# dspam_stats -H user@bebenet.local
[...]

Bientôt je ferais le tuto pour installer un antivirus email. Si aujourd'hui la majorité des emails reçu sont des virus (donc faire d'abord le tuto d'un antivirus aurais été mieux) et bien je pense que non. Dspam consomme tellement peu et reconnaît (pour l'instant) tellement bien les spams qu'il fait très bien le ménage que le besoin d'un antivirus ne se fait pas vraiment sentir.

Une fois que vous aurez confiance en votre Dspam. Vous pourrez lui demander de ne pas vous transmettre les spams et ainsi à ce moment là branchez un antivirus sur votre Postfix. La consommation de ressources en sera bien moindre.

A très bientôt

bebeserv:/etc/postfix# exit
logout
ALBAN@bebeserv:~$

Contourné la restriction orange du port 25 !

Seza — Fri, 10 Aug 2007 08:14:00 +0200

Si comme moi vous aviez sur votre réseau perso votre propre serveur mail et que vous êtes abonné orange, vous avez été confronter à la nouvelle restriction du port 25. C'est à dire l'obligation de passer par le smtp orange pour envoyé de l'email.

Tant qu'on est dans la configuration type serveur local, il suffisait de lui demander de passer par orange pour transférer les email.

Avec un postfix il suffisait d'ajouter dans le main.cf :

relayhost = smtp.orange.fr

Ce qui fonctionnait très bien.

Maintenant que se passe t'il si son postfix est sur un serveur distant. Impossibilité de le contacter. étant donné que j'utilisais sur mon serveur perso l'authentification (sasl) pour l'envoie je n'ai pas eu grand chose à changé finalement.

il a suffit de (comme orange l'indique) utiliser le port 583. Et dans postfix ceci se traduit ainsi (en décommentant ces lignes) :

submission inet n       -       -       -       -       smtpd
  -o smtpd_enforce_tls=yes
  -o smtpd_sasl_auth_enable=yes
  -o smtpd_client_restrictions=permit_sasl_authenticated,reject

Voilà, pensez aussi à recharger votre configuration. Ceci à pour effet de déporter l'authentification smtp ou autrement dit la soumission d'email sur le port 583. Vous recevrez toujours vos email correctement par le port 25 ne vous inquiété pas.

Il suffit maintenant d'indiquer à sont logiciel favoris d'utiliser le port 583 au lieu du 25 pour le smtp.

C'est terminé. Pourvu que ça vous soit utile.

PS : pour paramétrer l'authentification smtp je vous renvoie à mon tuto debian correspondant :

Dotclear 2.0 passe en Beta 6

Seza — Sat, 10 Mar 2007 19:22:00 +0000

Malgré que je sois sous Dotclear 1 je suis le développement de Dotclear 2 avec attention tellement j'apprécie le système. aujourd'hui j'ai donc testé Dotclear 2 beta 6 sorti il y a peu. Le changement par rapport à DC1 est radical...

DC2 malgré le fait qu'il soit encore en version beta fonctionne très bien. Certes il y a encore des petites imperfections mais dans la globalité cette nouvelle mouture est fort bien réussi.

De nombreuses nouveautés sont présentes, la navigation peut être enrichie de widgets, le multi blog est supporté en natif, le système antispam, point crucial aujourd'hui, est très bien conçu avec 5 filtres différents cumulable. J'en passe énormément sur les innovations pour vous laisse l'envie et le plaisir d'en découvrir plus quand vous l'essaierez vous même.

Alors pourquoi je ne suis pas encore passer sous DC2 ? C'est ici que ça coince. DC2 est gourmand en pré requis. C'est à dire que qu'il vous faut utilisé PHP5 avec la librairie MySql car Dotclear 2 visiblement s'il a été fait en PHP5 n'utilise pas PDO c'est très dommage d'autant plus que Dotclear supporte maintenant aussi Postgres. Deuxième point noir mais facilement rattrapable par contre il faut que vous installiez InnoDB sur votre serveur MySql.

Donc pour résumé n'ayant que PHP4 et n'ayant pas activer Innodb sur mon serveur, il faut d'abord que je reprenne le serveur pour pouvoir installer Dotclear 2. Sachant que j'ai des applis qui tournent toujours en PHP4 en dehors du blog, il faudrait que je migre toutes mes autres applis.. Pas une mince à faire puisque l'une d'elle est un projet sur lequel je bosse depuis près d'un an maintenant.

Ça sera donc pour plus tard pour moi.

SPAM... un monopole ?

Seza — Wed, 03 Jan 2007 08:44:00 +0000

Aujourd'hui que les choses se calment un peu on peut se permettre un petit regard rapide en arrière.

Le spam est devenu la guerre de tous, presque une croisade pour certain ou une quête pour d'autre tant aujourd'hui il faut maintenant chercher ses véritables e-mails dans une vague d'offres promotionnelles à prix battant toute concurrence pour des médicaments, des softs comme photoshop, dreamweaver et j'en passe. Surtout que vous êtes riche n'est-ce pas ? Alors pourquoi ne pas en profiter ? Vous êtes riche oui oui vous aller recevoir un e-mail d'un riche héritié d'Abidjan qui à besoin de vous pour rappatrier ses millions de dollars en france ! Sinon vous aurez gagner à une lotterie qui sais le spam vous réserve les plus belles surprises si vous vous y attarder un peu :)

Néanmoins on peut dire que ce phénomène prend aujourd'hui des proportions affolantes !

Quelques chiffres pour vous donner une idée, voici la proportion d'e-mail que je recevais en 2006.

Sur ma boite personnelle hébergée sur mon serveur personnel (donnée importante pour les connaisseurs) :

ham : environ 4 / jour
spam : environ 75 / jour
virus : environ 100 / jour

Et ma boite pro toujours courant 2006 : (type webmaster@.....com sur un site à plusieurs millions de visiteurs / mois).

ham : environ 40 / jour
spam : environ 250 / jour
virus : environ 3000 / jour

Voilà déjà un bilan fort affligeant. Pendant la période de noël ces chiffres ont bien évidemment explosé comme il avait été annoncé par de nombreuse société compétante en la matière.

Ce dernier mois ma boite perso ressemblait plus à ceci :

ham : environ 4 / jour
spam : environ 170 / jour
virus : environ 250 / jour

Je vous épargne ma boîte pro qui a augmentée dans les mêmes proportions.

Si depuis quelques jours maitenant tout se calme rien ne présage que celui ci diminue à moins qu'une véritable technologie soit trouvée pour lutter contre les spams car malheureusement celles existantes ou en cours de développement aujourd'hui sont peu fiable (entrée SPF, la futur signature électronique Microsoft...). Bien entendu votre antispam reste votre meilleur ami bien qu'il ne puisse faire de miracle. Les RBLs peuvent vous aidez à compléter votre armement, des filtres tel que Pyzor et Razor peuvent aussi contribuer. Un antivirus mis à jour est plus qu'imposer !

Pour les possesseurs d'une boite email chez un fournisseurs d'accès, ceux-ci font déjà un gros travail sur ce point. Essayez d'imaginer tout ce qui à été bloqué quand vous recevez un spam dans votre boite. En cette année 2007 je ne peux souhaiter qu'une seule et bonne chose. Qu'une véritable lutte contre le spam soit entreprise par les gouverments des pays impliqués. Je pense aux Etats-unis le plus gros fournisseur de spams mondial. La France est en très bonne position au top 50 des spammeurs le saviez-vous ?

En attendant je vous souhaite de ne pas encourager ce phénomène, ne faîte pas suivre les chaînes d'email c'est à dire les hoax véritable phénomène aussi (voir www.hoaxbuster.com) et de faire attention aux pièces jointes :)

Bonne journée !