Blog Blog - Balise - Mysql

Serveur Debian - Antispam email

Seza — Sat, 25 Aug 2007 13:19:00 +0200

CHAPITRE 8 : DSPAM

Maintenant que nous possédons un très bel outil qui nous permet d'envoyer et de recevoir des e-mails, il ne saurait tarder à ce que vous receviez quelques spams. Nous allons donc installer un antispam.

Pour commencer installons déjà un antispam. Etant un habitué de Spamassassin et en cherchant sur la toile de quoi aller plus loin avec SA j'ai découvert Dspam. Alors j'ai choisi d'utiliser du coup ce dernier pour mon tutorial. Je préfère la démarche de mise en place autour de Dspam, malgré que je le connaisse peu, je me sens plus à l'aise qu'avec SA. Dspam offre aussi un atout performance par rapport à SA ce qui n'est pas négligeable surtout si vous hébergez beaucoup de boites plus ou moins spammées. Puisque nous hébergeons des utilisateurs virtuels sur notre Postfix et Dspam offre la possibilité d'être couplé à Mysql et d'être configurable utilisateur par utilisateur, nous allons par conséquent exploiter cette possibilité.

Dspam à la particularité de devoir tout apprendre, c'est à dire qu'au début aucun spam ne sera recensés. Nous allons configurer deux boites e-mails « spam@bebenet.local » et « ham@bebenet.local » auxquelles nous transférerons respectivement les faux négatifs et les faux positifs afin que Dspam apprenne à reconnaître les bons des mauvais e-mails.

Maintenant que le décor est planté, cette configuration aura le démérite que chaque utilisateur devra commencer de zéro avec Dspam mais Dspam aura la finesse de filtrer la boite e-mail de l'utilisateur tout comme ce dernier lui aura appris. Un véritable filtre personnalisé. Néanmoins il existe des méthodes pour que Dspam apprenne plus vite à partir d'une base de spam préétablie. Je n'utiliserai pas cette fonctionnalité pour deux raisons. La première est du fait que les bases de spams vieillissent très vite et les spams appris ne seront plus d'actualité ce qui ne servira en rien à Dspam. La deuxième provient de mon expérience personnelle avec Dspam. Recevant une centaine de spam par jour Dspam n'a pas mis plus de deux heures pour commencer à attraper les premiers spams en trois jours il filtrait tout. Après les quelques semaines qui se sont passées entre la rédaction de se tuto et sa publication. Voici les statistique de mon Dspam.

2 883 spam détecté dont 7 faux positifs et sur les 758 e-mail détecté comme valide seulement 53 faux négatif. Bien entendu ces résultats peuvent fortement varier en fonction de la typologie et de la variabilité des e-mails reçus.

Dspam à son installation cherchera à se connecter en « root » sur notre base de données. Etant donné que nous avions renommer l'utilisateur « root » en « bebeserv », nous ferons machine arrière le temps de l'installation.

Il est temps d'installer Dspam maintenant – place à l'action :

ALBAN@bebeserv:~$ sudo -i
Password:
bebeserv:/etc/mysql# mysql -u bebeserv -p
Enter password:
[...]

mysql> rename user bebeserv@localhost to root@localhost;
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye
bebeserv:~# apt-get update
[...]
bebeserv:~# apt-get install dspam dspam-drv-mysql dspam-doc
[...]

Lors de l'installation, répondez oui à « dbconfig-common », entrez le mot de passe « root » (enfin « bebeserv ») de Mysql puis le mot de passe de l'utilisateur Dspam qui sera créé et confirmer ce mot de passe.

bebeserv:/etc/mysql# mysql -u root -p
Enter password:
[...]

mysql> rename user root@localhost to bebeserv@localhost;
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Je vous passe ici l'exploration de la base de données créée qui doit normalement se prénomée par un nom un peu barbare dixit : « libdspam7drvmysql » et l'utilisateur attribué sera nommé « libdspam7-drv-my ».

Place à la configuration :

bebeserv:~# nano /etc/dspam/dspam.conf

StorageDriver /usr/lib/dspam/libmysql_drv.so

DeliveryHost        127.0.0.1
DeliveryPort        10026
DeliveryIdent       localhost
DeliveryProto       SMTP

Preference "signatureLocation=message"  # 'message' or 'headers'
Preference "showFactors=on"
Preference "spamAction=tag"
Preference "spamSubject=***SPAM***"

#
# Purge configuration: Set dspam_clean purge default options, if not otherwise
# specified on the commandline
#
#PurgeSignatures 14          # Stale signatures
#PurgeNeutral    90          # Tokens with neutralish probabilities
#PurgeUnused     90          # Unused tokens
#PurgeHapaxes    30          # Tokens with less than 5 hits (hapaxes)
#PurgeHits1S    15          # Tokens with only 1 spam hit
#PurgeHits1I    15          # Tokens with only 1 innocent hit

#
# Purge configuration for SQL-based installations using purge.sql
#
PurgeSignature  off # Specified in purge.sql
PurgeNeutral   90
PurgeUnused    off # Specified in purge.sql
PurgeHapaxes   off # Specified in purge.sql
PurgeHits1S    off # Specified in purge.sql
PurgeHits1I    off # Specified in purge.sql

Opt out

ServerPort              10027
ServerQueueSize 32
ServerPID              /var/run/dspam/dspam.pid

ServerMode standard

ServerParameters        "--deliver=innocent -d %u"
ServerIdent             "localhost.localdomain"
	
DeliveryHost 127.0.0.1
DeliveryPort 10026
DeliveryIdent localhost
DeliveryProto SMTP

Enregistrer et quitter. Maintenant enregistrons les préférences des utilisateurs par défaut :

bebeserv:~# nano /etc/dspam/default.prefs

trainingMode=TEFT
spamAction=tag
spamSubject=***SPAM***
signatureLocation=message
showFactors=on
optIn=off
optOut=on

Enregistrez et quittez. Activons Dspam :

bebeserv:~# nano /etc/default/dspam

START=yes

Enregistrez et quittez. Maintenant faisons les même réglages dans la base de données de Dspam :

bebeserv:~# dspam_admin ch pref default trainingMode TEFT
[...]
bebeserv:~# dspam_admin ch pref default spamAction tag
[...]
bebeserv:~# dspam_admin ch pref default spamSubject "***SPAM***"
[...]
bebeserv:~# dspam_admin ch pref default enableBNR on
[...]
bebeserv:~# dspam_admin ch pref default enableWhitelist on
[...]
bebeserv:~# dspam_admin ch pref default statisticalSedation 5
[...]
bebeserv:~# dspam_admin ch pref default  signatureLocation headers
[...]
bebeserv:~# dspam_admin ch pref default whitelistThreshold 10
[...]
bebeserv:~# dspam_admin ch pref default showFactors on
[...]

C'est terminer pour Dspam nous pouvons démarrer le démon :

bebeserv:~# /etc/init.d/dspam start
[...]

Il nous reste à coupler Dspam à Postfix.

Commencez par préparer nos deux boites e-mail « spam@bebenet.local » et « ham@bebenet.local » :

bebeserv:~# cd /etc/postfix/conf.d/
bebeserv:/etc/postfix/conf.d# nano virtual_mailbox

spam@bebenet.local      bebenet.local/spam/
ham@bebenet.local       bebenet.local/ham/

Enregistrez et quittez. Rechargeons la base :

bebeserv:/etc/postfix/conf.d# postmap virtual_mailbox

C'est deux boîtes e-mail sont fictive en fait et ne recevront jamais de messages. Elles seront couplé à Dspam et nous allons préparer ce couplage grâce à ce fichier :

bebeserv:/etc/postfix/conf.d# nano transport

spam@paradoxal.org      dspam-spam:
ham@paradoxal.org       dspam-ham:

Enregistrez et quittez.

Ce fichier va rediriger nos deux boites e-mail non pas vers le transport classique « virtual » mais vers deux nouveaux transports que nous allons définir un peu plus loin. Ces deux boites e-mail ne devrons pas être scannées par Dspam (logique) et nous allons aussi préparer un fichier qui va nous permettre de définir les boites à scanner et celle à ne pas scanner.

bebeserv:/etc/postfix/conf.d# nano dspam_filter_access

#les 2 boites à ne pas filtrer (celles où sont envoyé les emails pour l'apprentissage de Dspam)
/^(spam|ham)@.*$/ OK
#puis domaines qui n'ont que la vérification antivirus, dans notre cas, tous les autres domaines :
/^.*$/ FILTER dspam-filter:127.0.0.1:10027

Enregistrez et quittez. Voilà comme vous pouvez le voir ce dernier fichier utilise les expressions régulières, pour que Postfix puisse les comprendre nous allons devoir lui installer un complément :

bebeserv:/etc/postfix/conf.d# apt-get install postfix-pcre
[...]

Voilà nos fichiers de configuration sont prêt, il faut maintenant définir les nouveaux transports dans Postfix :

bebeserv:/etc/postfix/conf.d# cd ..
bebeserv:/etc/postfix# nano master.cf

A la fin du fichier rentrez ceci :

dspam-spam   unix    -       n       n       -       10      pipe
	flags=Rhq user=dspam argv=/usr/bin/dspam --user $sender --class=spam --source=error

dspam-ham   unix    -       n       n       -       10      pipe
	flags=Rhq user=dspam argv=/usr/bin/dspam --user $sender --class=innocent --source=error

dspam-filter unix - - n - 10 lmtp
	-o smtp_send_xforward_command=yes
	-o disable_mime_output_conversion=yes
	-o smtp_generic_maps=

localhost:10026 inet n - n - - smtpd
	-o content_filter=
	-o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
	-o smtpd_helo_restrictions=
	-o smtpd_client_restrictions=
	-o smtpd_sender_restrictions=
	-o smtpd_recipient_restrictions=permit_mynetworks,reject
	-o mynetworks=127.0.0.0/8
	-o smtpd_authorized_xforward_hosts=127.0.0.0/8

Enregistrez et quittez.

Il nous reste plus qu'à dire à Postfix d'utiliser tout ceci :

bebeserv:/etc/postfix# nano main.cf

Rajoutez cette ligne :

transport_maps = hash:/etc/postfix/conf.d/transport

et modifiez celle-ci :

smtpd_recipient_restrictions =
	permit_mynetworks,
	permit_sasl_authenticated,
	reject_invalid_hostname,
	reject_unauth_destination,
	reject_unknown_sender_domain,
	reject_unknown_recipient_domain,
	reject_unauth_destination,
	check_recipient_access pcre:/etc/postfix/conf.d/dspam_filter_access

Enregistrez et quittez. Rechargeons la configuration de Postfix pour terminer le travail :

bebeserv:/etc/postfix# /etc/init.d/postfix reload
[...]

Voilà c'est terminé, vous possédez maintenant un antispam, bien sûr il faudra lui apprendre à reconnaître les spams mais je ne doute pas que vous en serez très vite satisfait.

Votre antispam est paramétrable par utilisateur ne l'oubliez pas ! Si l'un d'entre eux demande un tag différent c'est possible. Vous pouvez aussi voir les statistiques de Dspam par utilisateur pour voir son travail. Pour ceci regarder les commandes « dspam_admin », « dspam_stats ».

Pour voir les préférences par défaut :

bebeserv:/etc/postfix# dspam_admin list preference default
[...]

Pour voir les statistiques d'un utilisateur :

bebeserv:/etc/postfix# dspam_stats -H user@bebenet.local
[...]

Bientôt je ferais le tuto pour installer un antivirus email. Si aujourd'hui la majorité des emails reçu sont des virus (donc faire d'abord le tuto d'un antivirus aurais été mieux) et bien je pense que non. Dspam consomme tellement peu et reconnaît (pour l'instant) tellement bien les spams qu'il fait très bien le ménage que le besoin d'un antivirus ne se fait pas vraiment sentir.

Une fois que vous aurez confiance en votre Dspam. Vous pourrez lui demander de ne pas vous transmettre les spams et ainsi à ce moment là branchez un antivirus sur votre Postfix. La consommation de ressources en sera bien moindre.

A très bientôt

bebeserv:/etc/postfix# exit
logout
ALBAN@bebeserv:~$

Serveur Debian - php et dotclear 2

Seza — Fri, 15 Jun 2007 20:29:00 +0200

CHAPITRE 6 : PHP + DOCLEAR 2

Maintenant que notre serveur web est installé, il serait bon de lui fournir un peu de dynamisme et rien de tel pour cela que d'installer PHP que je ne présenterai pas =).

Commençons par installer « php5 » et ce qu'il faut pour l'allier à « apache2 » :

ALBAN@bebeserv:~$ sudo -i
Password:
bebeserv:~# apt-get update
[...]
bebeserv:~# apt-get install apache2-mpm-prefork libapache2-mod-php5 php5-common php5 php5-cli php5-mysql
[...]

Maintenant comme à l'habitude coupons Apache le temps de le reconfigurer. Comme vous avez pu l'observer, nous avons changer la manière dont « apache2 » gère ses processus. Nous sommes passé de « apache2-mpm-worker » à « apach2-mpm-prefork ». Bien que « worker » soit plus rapide et offre une meilleure méthode de travail à « apache2 », « php5 » requiert que « apache2 » travail en « prefork » encore aujourd'hui. De même nous avons installé le minimum pour faire fonctionner notre configuration, c'est à dire « php5 » lui même, « php5 » en ligne de commande : « cli » et « mysql » pour « php5 », bien que « php5 » offre une couche d'abstraction totale pour l'accès au SGBD beaucoup de site sont encore construit autour de l'API mysql directement.

Retournons donc à notre configuration. Configurons « mpm-prefork » :

bebeserv:~# cd /etc/apache2
bebeserv:/etc/apache2# nano apache2.conf

Changeons notre configuration en ceci :

# prefork MPM
<IfModule mpm_prefork_module>
	StartServers          5
	MinSpareServers       5
	MaxSpareServers      10
	MaxClients          150
	MaxRequestsPerChild 500
</IfModule>

# worker MPM
#<IfModule mpm_worker_module>
#    StartServers          2
#    MaxClients          150
#    MinSpareThreads      25
#    MaxSpareThreads      75
#    ThreadsPerChild      25
#    MaxRequestsPerChild 500
#</IfModule>

Les commentaires sont facultatifs, ils me servent à me rappeler que mon apache tourne en « prefork », comme je l'avais fais dans le chapitre précédent. Enregistrez et quittez. Maintenant mettons à jour quelques points comme la configuration de « mod_dir ».

bebeserv:/etc/apache2# nano mods-avalable/dir.conf

Modifier la configuration comme suit :

<IfModule mod_dir.c>
	DirectoryIndex index.php index.html index.cgi index.pl index.php index.xhtml
</IfModule>

Enregistrez et quittez. Maintenant configurons « php5 » :

bebeserv:/etc/apache2# cd /etc/php5/apache2
bebeserv:/etc/php5/apache2# nano php.ini

Modifier comme suit :

;;;;;;;;;;;;;;;;;;;;
; Language Options ;
;;;;;;;;;;;;;;;;;;;;

short_open_tag = Off
allow_call_time_pass_reference = Off
open_basedir = /home/nobody/default_apache
ignore_user_abort = On
realpath_cache_size=16k
realpath_cache_ttl=120
expose_php = Off

;;;;;;;;;;;;;;;;;;;
; Resource Limits ;
;;;;;;;;;;;;;;;;;;;

max_execution_time = 10
max_input_time = 10
	
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
; Error handling and logging ;
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;

error_reporting = E_ALL | E_STRICT
display_errors = On			; A passé à Off quand vous rendez votre site web public
log_errors = On
ignore_repeated_errors = On
error_log = /var/log/php5.log

;;;;;;;;;;;;;;;;;
; Data Handling ;
;;;;;;;;;;;;;;;;;

arg_separator.output = "&amp;"
register_long_arrays = Off
register_argc_argv = Off
magic_quotes_gpc = Off
default_mimetype = "text/html"
default_charset = "iso-8859-15"

;;;;;;;;;;;;;;;;;;
; Fopen wrappers ;
;;;;;;;;;;;;;;;;;;

allow_url_fopen = Off
default_socket_timeout = 10

;;;;;;;;;;;;;;;;;;;
; Module Settings ;
;;;;;;;;;;;;;;;;;;;

[date]
date.timezone = Europe/Paris

[mail function]
;SMTP = localhost
;smtp_port = 25
;sendmail_from = me@example.com
sendmail_path = sendmail -t -f apache2@bebeserv.local

[mysql]
mysql.connect_timeout = 10

[session]
session.use_only_cookies = 1
session.name = SESSID
session.cache_limiter =
session.hash_function = 1

Enregistrez et quittez. Maintenant PHP est configuré pour travailler avec Apache mais pas pour fonctionner en ligne de commande. Refaites donc la même chose pour le CLI :

bebeserv:/etc/apache2# cd ../cli
bebeserv:/etc/php5/cli# nano php.ini

Mettez exactement les même paramètre à la différence de ceux-ci :

;open_basedir =
; ignore_user_abort = On
max_execution_time = 60
max_input_time = 10
memory_limit = 32M
log_errors = Off
file_uploads = Off

Enregistrez et quittez. Il nous reste à créer le fichier de log de PHP et de lui créer sa rotation :

bebeserv:/home/nobody/default_apache# cd /var/log
bebeserv:/var/log# touch php5.log
bebeserv:/var/log# cd /etc/logrotate.d/
bebeserv:/etc/logrotate.d# nano php5

Créez le fichier suivant :

/var/log/php5.log {
		weekly
		missingok
		rotate 4
		compress
		delaycompress
		notifempty
		create 640 root root
}

Voilà c'est terminer pour la configuration de PHP. A l'heure actuelle avec la directive « open_basedir », PHP est enfermé dans « /home/nobody/default_apache » pour chaque site que nous mettrons en place (et donc chaque virtual host) nous mettrons une directive « open_basedir » dans le virtual host afin que PHP soit ouvert uniquement pour ce site. Ainsi nous mettrons d'autre élément de configuration PHP dans la configuration des vhosts. Cette méthode offre le grand avantage d'offrir au dessus de la configuration générale de PHP beaucoup de finesse pour ajuster certain paramètre notamment de sécurité.

C'est ce que nous allons voir tout de suite en installant Dotclear 2. Un exemple simple et facile afin d'illustrer ce que nous venons de mettre en place durant les 4 derniers chapitres.

Mais avant de nous lancer, vérifions le bon fonctionnement de PHP et pour ceci dans notre vhost « default_apache » créons un fichier « php.php » qui nous donnera le phpinfo.

bebeserv:/etc/logrotate.d# cd /home/nobody/default_apache
bebeserv:/home/nobody/default_apache# nano php.php

Mettez ceci dans votre fichier :

<?php
phpinfo();
?>

Enregistrez et quittez. Donnez les bons droits à votre fichier :

bebeserv:/home/nobody/default_apache# chown nobody php.php

Rechargeons la configuration « apache2 » ainsi que « php5 ».

bebeserv:/home/nobody/default_apache# apace2ctl graceful
[...]

Maintenant observons notre phpinfo : Depuis un poste du réseau local allez à cette adresse : « http://10.0.0.2/php.php ».

Passons à la partie facultative de ce chapitre :

L'installation de Dotclear 2

Sachant que vous avez votre propre nom de domaine ici nous ferons une installation pour le réseau locale. il faut savoir que Dotclear ne requiert pas mais serait mieux avec la librairie GD2. !Nous allons donc l'installer.

bebeserv:/home/nobody/default_apache# apt-get install php5-gd
[...]

Rechargeons la configuration de PHP pour intégré GD :

bebeserv:/home/nobody/default_apache# apace2ctl graceful
[...]

Vous pouvez à nouveau regarder le phpinfo pour observer que GD est bien intégré dans sa version 2.

Maintenant nous allons préparer l'arborescence pour notre futur site. Afin de ne pas refaire la même manipulation à chaque fois, nous allons généré un squelette qu'il suffira de recopier :

bebeserv:/home/nobody/default_apache# cd ..
bebeserv:/home/nobody# mkdir skeleton
bebeserv:/home/nobody# cd skeleton
bebeserv:/home/nobody/skeleton# mkdir backup html includes logs sessions tmp
bebeserv:/home/nobody/skeleton# cd logs
bebeserv:/home/nobody/skeleton/logs# touch apache2.log php5.log
bebeserv:/home/nobody/skeleton/logs# cd ../../
bebeserv:/home/nobody# chown -R nobody skeleton

Voilà une bonne chose de faite, maintenant créons la véritable arborescence de notre site que j'appellerai ici « www.bebeserv.local » :

bebeserv:/home/nobody# cp -ra skeleton www.bebeserv.local

Nous devons dorénavant nous créer un vhost pour pouvoir exploiter tout ceci.

bebeserv:/home/nobody# cd /etc/apache2/site-available
bebeserv:/etc/apache2/site-available# nano www.bebeserv.local

Créez le fichier suivant :

<VirtualHost *>
		ServerSignature Off
		ServerAdmin webmaster@bebeserv.local
		ServerName www.bebeserv.local
		ServerAlias bebeserv.local
		ServerAlias 10.0.0.2

		DocumentRoot /home/nobody/www.bebeserv.local/html/

		<Directory /home/nobody/www.bebeserv.local/html/>
				AllowOverride All
				Order allow,deny
				allow from all
		</Directory>

		<IfModule mod_php5.c>
				php_admin_value open_basedir /home/nobody/www.bebeserv.local
				php_admin_value error_log /home/nobody/www.bebeserv.local/logs/php5.log
				php_admin_value upload_tmp_dir /home/nobody/www.paradoxal.org/tmp
				php_admin_value include_path .:/home/nobody/www.bebeserv.local/includes
				php_admin_value session.save_path /home/nobody/www.bebeserv.local/sessions
				php_admin_value sendmail_path "sendmail -t -f www@bebeserv.local"
		</IfModule>

		CustomLog /home/nobody/www.bebeserv.local/logs/apache2.log combined
</VirtualHost>

Enregistrez et quittez. J'ai mis en alias de serveur l'adresse IP de la machine afin qu'on puisse accéder au site localement pour le tester. Autorisons ce vhost :

bebeserv:/etc/apache2/site-available# cd ../site-enabled
bebeserv:/etc/apache2/site-enabled# ln -s ../site-available/www.bebeserv.local 100-www.bebeserv.local

Je garde une numérotation devant les nom des vhosts afin de définir l'ordre de chargement de ces derniers et ainsi leur priorité dans apache.

Puisque nous y sommes, ouvrons nous un compte FTP afin de compléter l'ouverture de notre futur blog :

bebeserv:/etc/apache2/site-enabled# cd /etc/vsftpd/user_conf
bebeserv:/etc/vsftpd/user_conf# cp example www.bebeserv.local

Dans le fichier « www.bebeserv.local » mettez les options qui vous plaisent et surtout :

local_root=/home/nobody/www.bebeserv.local

Nous pouvons ajouter notre utilisateur « www.bebeserv.local » à la base de donnée de « vsftpd » :

bebeserv:/etc/vsftpd/user_conf# cd ..
bebeserv:/etc/vsftpd# nano userdb

Entrez les lignes :

www.bebeserv.local
votre-mot-de-passe

Enregistrez et quittez puis recharger la base de donner de « vsftpd » :

bebeserv:/etc/vsftpd# vsftpd-makedb

Tout est OK, rechargeons aussi la configuration de apache :

bebeserv:/etc/vsftpd# apache2ctl graceful

Maintenant téléchargeons Dotclear 2 :

bebeserv:/etc/vsftpd# cd /home/nobody/www.bebeserv.local/html
bebeserv:/home/nobody/www.bebeserv.local/html# wget	http://download.dotclear.net/latest-2.0.tar.gz
[...]

Décompressez l'archive :

bebeserv:/home/nobody/www.bebeserv.local/html# tar -xvzf dotclear-2.0-beta6.tar.gz
[...]

Un dossier « dotclear » est créé, donnons lui les bons droits (ainsi qu'à tout ce qu'il contient) :

bebeserv:/home/nobody/www.bebeserv.local/html# chown -R nobody.nogroup dotclear

Supprimons le tarball :

bebeserv:/home/nobody/www.bebeserv.local/html# rm dotclear-2.0-beta6.tar.gz

Nous pouvons changer le nom du répertoire « dotclear » par « blog » par exemple :

bebeserv:/home/nobody/www.bebeserv.local/html# mv dotclear blog

Voilà c'est presque fini. Dotclear aura besoin d'une base de données, créons donc un utilisateur et une base pour Dotclear.

bebeserv:/home/nobody/www.bebeserv.local/html# mysql -u bebeserv -p
Entre password: 
[...]

mysql> create database bebeserv_dc2;
Query OK, 1 row affected (0.00 sec)

mysql> grant create, delete, insert, update, select, index, lock tables, alter, drop on bebeserv_dc2.* to 'dotclear2'@'localhost' identified by 'un-mot-de-passe';
Query OK, 0 rows affected (0.01 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql> quit
Bye
bebeserv:/home/nobody/www.bebeserv.local/html#

Voilà c'est terminé, rendez vous sur la page « http://10.0.0.2/blog/admin/install/ » pour terminer l'installation. Pour le wizard de configuration Dotclear voici ce que vous aurez à entrer :

hote de la base : localhost
base de donnée bebeserv_dc2
utilisateurs de la base de donnée : dotclear2

Mémorisez bien le mot de passe qui vous sera fourni !

Voilà c'est terminé pour ce chapitre, vous avez intérêt à produire de bon billet maintenant !

bebeserv:/home/nobody/www.bebeserv.local/html# exit
logout
ALBAN@bebeserv:~$

Serveur Debian - mysql

Seza — Sat, 09 Jun 2007 15:03:00 +0200

CHAPITRE 4 : MYSQL

Pour nos futurs sites internet, nous allons avoir besoin de certain élément, nous possédons déjà le FTP pour créer des utilisateurs à notre guise, nous allons aussi avoir besoin d'une base de données. Aujourd'hui nous allons donc nous occuper de Mysql.

Commençons par installer les paquets nécessaires :

ALBAN@bebeserv:~$ sudo -i
Password:
bebeserv:~# apt-get update
[...]
bebeserv:~# apt-get install mysql-client-5.0 mysql-server-5.0 mysql-common
[...]

Ceci fait comme pour le FTP commencer par couper le serveur tout frais installer.

bebeserv:~# /etc/init.d/mysql stop
[...]

Éditons la configuration :

bebeserv:~# cd /etc/mysql
bebeserv:/etc/mysql# nano my.cnf
[...]

Dans « [mysqld] » D'abord la langue ! ( très important :) )

language        = /usr/share/mysql/french

Puis puisque dans mon cas je n'ouvrirai pas Mysql à l'extérieur je laisse le

skip-networking
bind-address à 127.0.0.1

Pour enregistrer les mauvaises requêtes (coûteuses en performance).

log_slow_queries        = /var/log/mysql/mysql-slow.log
long_query_time = 2
log-queries-not-using-indexes

Commentez les lignes suivantes, elles sont inutiles car nous ne feront pas de réplication Mysql.

#log_bin                        = /var/log/mysql/mysql-bin.log
#expire_logs_days       = 10
#max_binlog_size         = 100M

Puisque je compte utiliser Dotclear 2 qui nécessite le moteur « innodb », je ne décommenterai pas la ligne suivante :

#skip-innodb

Dans la section « [mysqldump] » je rajoute ces options :

skip-opt
add-drop-table
add-locks
create-options
set-charset
disable-keys
complete-insert

Enregistrez et quittez. Maintenant vous pouvez relancer Mysql.

bebeserv:/etc/mysql# /etc/init.d/mysql start
[...]

Maintenant il va falloir sécuriser Mysql car sont installation d'origine est plein de trou. Entrez dans la console Mysql :

bebeserv:~# mysql -u root
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 7
Server version: 5.0.32-Debian_7etch1-log Debian etch distribution

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql>

Maintenant que vous êtes dans la console, tapez les commandes suivantes :

mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select User,Host,Password from user;
+------------------+-----------+-------------------------------------------+
| User             | Host      | Password                                  |
+------------------+-----------+-------------------------------------------+
| root             | localhost |                                           |
| root             | bebeserv  |                                           |
| debian-sys-maint | localhost | *23C6BA678DB0427E1A213D86DF1819114D2A80FD |
+------------------+-----------+-------------------------------------------+

Nous observons un compte « root » sous le nom « bebeserv » qui ne servira pas puisque nous utiliserons uniquement Mysql en local. Nous allons donc le supprimé.

mysql> delete from user where Host <> "localhost";
Query OK, 1 row affected (0.00 sec)

mysql> select User,Host,Password from user;
+------------------+-----------+-------------------------------------------+
| User             | Host      | Password                                  |
+------------------+-----------+-------------------------------------------+
| root             | localhost |                                           |
| debian-sys-maint | localhost | *23C6BA678DB0427E1A213D86DF1819114D2A80FD |
+------------------+-----------+-------------------------------------------+
2 rows in set (0.00 sec)

Maintenant modifions le compte « root » pour plus de sécurité et renommons le au passage (remplacé **** par votre mot de passe dans la seconde commande):

mysql> rename user root@localhost to bebeserv@localhost;
Query OK, 0 rows affected (0.00 sec)

mysql> update user set password=password('****') where user = "bebeserv";
Query OK, 1 row affected (0.00 sec)
Enregistrements correspondants: 1  Modifiés: 1  Warnings: 0

mysql> select User,Host,Password from user;
+------------------+-----------+-------------------------------------------+
| User             | Host      | Password                                  |
+------------------+-----------+-------------------------------------------+
| bebeserv         | localhost | *A7581E9CC269EDA8C16D974E1032E393B33DC199 |
| debian-sys-maint | localhost | *23C6BA678DB0427E1A213D86DF1819114D2A80FD |
+------------------+-----------+-------------------------------------------+
2 rows in set (0.00 sec)

Parfait ! Appliquons tout ça :

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

Maintenant vérifions les bases présentes :

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
+--------------------+
2 rows in set (0.00 sec)

Parfait encore ! Par défaut Mysql créer un utilisateur vide et une base test que nous aurions du supprimer car inutile voir dangereux pour l'utilisateur sans nom. Mais l'installation dans Debian était déjà propre.

Maintenant quittons la console et tentons de nous loguer en « root » (« bebeserv » excuser moi !).

mysql> exit
Bye

bebeserv:/etc/mysql# mysql -u bebeserv -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 7
Server version: 5.0.32-Debian_7etch1-log Debian etch distribution

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql>

Parfait ! nous pouvons quitter sachant que tout fonctionne bien :

mysql> exit
Bye

Voilà ce chapitre est terminé.

bebeserv:/etc/mysql# exit
logout
ALBAN@bebeserv:~$

Recherche Développeur LAMP pour CDI

Seza — Thu, 29 Mar 2007 21:15:00 +0000

Et oui me revoilà après près de 2 semaines d'absence (et de lourds labeurs) ! Vous ne croyez tout de même pas que j'allais laisser tomber ce blog ainsi. Je viens chercher votre aide et un nouveau collègue (plus de un ?). Alors conformément à la conformitude je pose mon annonce :

Vous êtes développeur LAMP (Linux Apache Php Mysql), très motivé et professionnel dans le développement de vos applications PHP. Vous souhaitez intégré une équipe jeune, dynamique et performante, vous souhaitez intégré une société en plein essort, vous occupé de projet complet alors ce poste vous attends.

J'ai besoin de quelqu'un ayant au moins une expérience dans le domaine notament dans l'e-commerce car vous aurez à travailler sur des sites générant plusieurs millions de visiteurs unique par mois.

J'ai besoin de quelqu'un qui maitrise les outils de bases. C'est à dire le bloc note pour coder (accessoirement dreamweaver peut vous aider). Vous connaissez donc le bloc note, dreamweaver, eclipse, photoshop serais un plus. Vous travaillez aussi bien sous Windows que sous Linux. Vous savez administrer les serveur Apache et Mysql.

Vous matriser les concepts et normes élémentaires nécessaires au développeur, bash, Javascript (AJAX), CSS2, XHTML, accessibilité, XML (RSS/ATOM), url rewriting, putty, gestion de système de cache, DNS, emailing...

J'attends de vous que vous soyer pointilleux et précis dans votre travail. Vous n'êtes pas là pour assurer une charge de travail complémentaire mais pour apporter votre pierre à l'édifice et votre savoir.

Vous avez une terrible envie que je sois votre chef =p

Donc je résume, vous estimez pouvoir me convaincre alors n'hésiter pas !

Je recherhe aussi un intégrateur pour donner vie au développement produit dans nos bureaux. Vous maitriser le XHTML, vous maitriser photoshop, vous vous senter l'ame d'un rédacteur, vous êtes à l'aise avec un client FTP vous souhaiter contribuer à la bonne qualité de nos sites alors contactez moi aussi.

Le salaire sera agréable bien sur en fonction de vos compétence et expérience. Les postes à pouvoir sont bien entendu des CDI dans leur finalité.

Pour me joindre rien de plus simple envoyer moi un petit email à seza [ @ ] paradoxal [ dot ] org

J'espère que tous les lecteurs même non intéresser relaieront cette information de première urgence.

Merci beaucoup.

Un petit bug MySql

Seza — Sun, 11 Mar 2007 19:05:00 +0000

Le post d'hier as disparu après un crash mysql je l'ai donc reposté en vitesse. Je m'excuse pour ce petit désagrément. Mon serveur semble crashé de temps en temps à cause de l'appli Cacti qui tourne sur mon serveur. Cette fois çi à été la fois de trop puisque la table des post de dotclear à été définitivement corrompu et mysqlcheck n'a su la réparée. J'ai donc remis la dernière sauvegarde de la veille en vitesse et je repost mon billet d'hier aujourd'hui.

Je ne sais encore pourquoi cacti fait planté mon serveur mysql. C'est la 4ème fois que je suis obligé de redémaré mon serveur mysql après un tel crash.

Je vais essayé de trouver le pourquoi du comment mais je ne pense malheuresement pas trouver la source du problème.

Si vosu avez eu de telle mésaventure, je vous invite à partager vos infos ^^.

Merci.

Dotclear 2.0 passe en Beta 6

Seza — Sat, 10 Mar 2007 19:22:00 +0000

Malgré que je sois sous Dotclear 1 je suis le développement de Dotclear 2 avec attention tellement j'apprécie le système. aujourd'hui j'ai donc testé Dotclear 2 beta 6 sorti il y a peu. Le changement par rapport à DC1 est radical...

DC2 malgré le fait qu'il soit encore en version beta fonctionne très bien. Certes il y a encore des petites imperfections mais dans la globalité cette nouvelle mouture est fort bien réussi.

De nombreuses nouveautés sont présentes, la navigation peut être enrichie de widgets, le multi blog est supporté en natif, le système antispam, point crucial aujourd'hui, est très bien conçu avec 5 filtres différents cumulable. J'en passe énormément sur les innovations pour vous laisse l'envie et le plaisir d'en découvrir plus quand vous l'essaierez vous même.

Alors pourquoi je ne suis pas encore passer sous DC2 ? C'est ici que ça coince. DC2 est gourmand en pré requis. C'est à dire que qu'il vous faut utilisé PHP5 avec la librairie MySql car Dotclear 2 visiblement s'il a été fait en PHP5 n'utilise pas PDO c'est très dommage d'autant plus que Dotclear supporte maintenant aussi Postgres. Deuxième point noir mais facilement rattrapable par contre il faut que vous installiez InnoDB sur votre serveur MySql.

Donc pour résumé n'ayant que PHP4 et n'ayant pas activer Innodb sur mon serveur, il faut d'abord que je reprenne le serveur pour pouvoir installer Dotclear 2. Sachant que j'ai des applis qui tournent toujours en PHP4 en dehors du blog, il faudrait que je migre toutes mes autres applis.. Pas une mince à faire puisque l'une d'elle est un projet sur lequel je bosse depuis près d'un an maintenant.

Ça sera donc pour plus tard pour moi.

Eclipse - PDT vs PHPEclipse - à la recherche de plugin's

Seza — Sun, 04 Mar 2007 22:34:00 +0000

Depuis peu j'ai enfin décidé de me mettre à la plateforme Eclipse notamment pour codé en PHP avec le plugins PDT encore appelé PHP IDE supporté par la société Zend. J'avais auparavant testé aussi le plugins PHPEclipse.

PDT est donc tout nouveau tout neuf et encore en phase de développement puisque la version déployée actuellement est le 0.7 RC2. La version 0.7 finale de PDT devrai arrivé courant de ce mois ci. A l'heure actuelle je trouve cette version moins complète que PHPEclipse, la coloration syntaxique est pauvre par exemple néanmoins elle s'intègre mieux que PHPEclipse. Ainsi les exécutable php4 et php5 sont déjà présent et directement intégré, vous pouvez aussi du coup directement tester votre code dans la perspective PHPDebug fournie dans PDT, jouer avec les points d'arrêts etc... C'est ce qui faisait défaut à PHPEclipse ou devait être intégré à la main.

Si dans un premier temps cette intégration complète de PHP dans Eclipse grâce à PDT est un avantage, il peut s'avérer très vite désavantageux. Je n'ai pas vraiment cherché à l'heure actuelle mais je sens le problème se profiler. Comment ajouter des éléments à PDT tel que XDebug pour faire du profiling etc...

Côté PHPEclipse j'ai été directement coincé pour le debug car si PHPEclipse propose une configuration facile pour XAMPP, j'ai voulu installer PHP DBG et celui ci ne s'accouple pas encore sur la version 5.2 de PHP.

Voici les distributions que j'ai testé :

PDT all-in-one : contient Eclipse 3.2.2 ainsi que PDT et tout les plugins nécessaire au bon fonctionnement de PDT. A l'heure actuelle la page de téléchargement de PDT depuis Eclipse http://www.eclipse.org/pdt/downloads.php ne fonctionne pas, vous trouvé la distro sur le site de zend ici : http://www.zend.com/pdt seulement l'adresse de mise à jour de PDT (dans find and install) ne fonctionne pas, il vous faudra recréer un lien vers : http://downloads.zend.com/pdt.
Eclipse seul et ajout de PDT à la main : opération pas forcément évidente à faire que si vous possédez déjà un Eclipse bien installer.
Eclipse seul et ajout de PHPEclipse à la main : Plus facile que PDT mais pour la peine il fait ajouter d'autre plugin's pour complété un peu votre distribution.
EasyEclipse for PHP : Distro tout faîte avec PHPEclipse. Elle est très simple d'installation avec beaucoup de plugins (peut être un peu trop de bazar dans Eclipse pour la peine). Une manière efficace de découvrir Eclipse sans passé des heure à comprendre comment il fonctionne. EasyEclipse for PHP c'est ici

Jusqu'à maintenant celle qui me satisfait le plus est PDT all-in-one. Bien que par exemple EasyEclipse for PHP soit tout aussi satisfaisante en elle même, je m'y retrouve mieux dans cette première et j'espère beaucoup des futures versions préparer par zend. Si celle ci doit devenir le standard, autant s'y mettre dès maintenant. (Serais-je conformiste ?).

Je tiens à mettre une série de plugin's que j'ai installé pour complété cette distro :

Hash ME : permet de généré des hash type md5, sha-1 etc... pratique pour tester vos applications qui utilise les hashs.
Multi Clipboard : permet de garder en mémoire vos copier-coller. Très utile !
Regex tester : permet de tester vos regex, très bien construit mais payant. Vous pouvez obtenir une licence pour 5 euros via paiement par Paypal.
SQL explorer : afin de parcourir vos tables et les requêter sans quitter Eclipse. Pour l'utiliser avec MySql il vous faudra télécharger le driver java adéquat ici : http://www.mysql.com/products/connector/j/
Webdav an FTP : pour uploader vos sites et les synchroniser simplement : http://www.eclipse.org/eclipse/platform-team/target.php

Tout ça serais trop beau si il n'y avais pas eu quelques contraintes. Etant donné que je ne connais pas encore bien Eclipse il y va fort que la source des problèmes soit moi même. J'ai ajouter un dictionnaire français et ajouter le spell checker, beaucoup de mot même français sont mis en erreur. Je n'arrive pas non plus à obtenir des propositions de corrections et tous les éléments du code (mot clé, fonction ...) sont mis aussi en erreur. Ce qui n'est pas idéal j'ai donc été contraint de l'enlever. Malgré l'installation de WST incluse dans PDT je trouve que les fonctionnalité apportée sont très pauvre. Pas d'auto complétion du code pour Javascript ni CSS. La coloration syntaxique pour le Javascript est très pauvre.

Il resterait beaucoup à dire mais pour ceci il faudrait que je sois un utilisateur un peu plus avancé pour assoir beaucoup de dire que je pourrai faire. Pour l'instant je souhaiterai perfectionner mon utilisation et aussi utiliser les bons outils donc si vous avez des astuces, solutions, plugin's à me présenter j'en serai ravi !

MySql - round() - déconseillé

Seza — Sun, 25 Feb 2007 02:20:00 +0000

J'ai découvert récemment que la fonction round() dans MySql n'était pas fiable sur les ciffres exactement entre deux entiers.

Explication : pour faire un arrondi en mysql il vient tout bonnement à l'idée d'utiliser la fonction round(). Or comme j'ai pu en faire l'expérience d'un server à l'autre cette fonction peut amener à des résultats différents pour la même requête.

Dixit MySql : Notez que le comportement de l'opérateur ROUND(), lorsque l'argument est exactement entre deux entiers, dépend de la bibliothèque C active.

Alors que faire pour être certain d'avoir un arrondi correct ? Puisqu'en france la règle veut que lorsque qu'un chiffre est exactement entre deux entiers il soit arrondi à l'entier supérieur, j'ai fait ce petit calcul :

Pour arrondir X à Z décimal :

FLOOR(0.5 + POW(10, Z) * X) / POW(10, Z)

Voilà cette requête renverra toujours le même résultat peu importe le serveur. =)

Bonne nuit.

Backup de votre site internet (Correction)

Seza — Sat, 24 Feb 2007 16:03:00 +0000

Je tiens à corriger une erreur qui s'est glissée dans mon article Backup de votre site internet suite à la découverte d'un bug dans mysqldump

En effet je me suis rendu compte dans le backup de la base de donnée que l'option --compatible=mysql40 du mysqldump faisait disparaitre l'attribut autoincrément des clé primaires autoincrémentées. C'est un bug connu de MySql et jusqu'à maintenant non corrigé semble t-il.

Je vous conseille donc vivement de retirer cette option de vos backup sous peine lors d'une restauration d'être rapidement embêter à moins que vous ne pensiez à tous les remettre à la main.

Comment faire si vous souhaitez dumper des données de MySql 5 vers MySql 4 et qu'un simple dump ne permet pas la réinsertion de vos data ? Sans avoir testé je pense que la solution serait de générer deux dumps différents. un premier classique contenant uniquement la structure de vos bases et tables sans donnée et un second avec l'option --compatible=mysql40 avec uniquement des insert sans create table.

Quand on fait des betises

Seza — Tue, 13 Feb 2007 23:21:00 +0000

Voici ce qui peut se passer quand un serveur ne fonctionne plus. Avec mes faibles compétences en administration linux voici ce qui arrive : on fait des erreurs de jeunesse et de précipitation.

Donc ce soir 20 heures passées, déjà tard, il est temps de rentrer bien au chaud chez soit et de laisser ses bébés s'endormir tout doucement.

C'est toujours à ce moment que votre patron vient vous voir pour vous dire, dis donc je n'arrive plus à synchroniser mes emails.

- "Ah, je vais jeter un oeil".

Un premier test outlook décevant, un second test en ligne de commande sous dos, en effet erreur MySql .... ne peut pas écrire dans le PID 111.

Oui MySql, c'est un serveur administré par Plesk qui nécessite donc une base de données pour fonctionner.

Je me connecte au serveur, un petit top. J'observe directement un processus plesk prenant 75 % de CPU. Etrange je poursuis mon chemin, je vais à la recherche du fichier mysql.sock, bien présent, bien les droits d'écriture pour l'utilisateur mysql.

Pas le temps de chercher l'erreur malgré que ça soit intéressant, je redémarre MySql. Extinction du serveur : Echec, redémarrage du serveur Echec, impossible d'écrire dans le fichier mysql.log. Tiens encore plus étrange j'avais jamais vu cette erreur. je vais voir le fichier de log, il a pas les droits d'écriture et visiblement il n'a jamais écrit dedans puis qu'aucun log gziper apparait et que le fichier mysql.log fait 0 octet. Je met donc les droits d'écriture pour mysql et là une erreur que je n'avais jamais vu non plus : impossible de changer les droits pour ce fichier. Je suis pourtant root qu'est ce qui se passe ?

Dernière tentative je kill le process plesk qui semble boucler, peut etre qu'il bloque les fichiers... "ça serait peut probable mais bon..."

Une fois le process killé, je retente de mettre les droits correct : Echec cuisant. Dernière tentative de redémarrage de MySql, échec cuisant.

Il reste une dernière solution encore plus bourrinne que de redémarrer MySql, le redémarrage du serveur. Un petit : init 0 et .... merde c'était init 6 qu'il fallait faire... Echec très cuisant et j'ai vraiment l'air d'un imbécile.

Au moins le serveur ne chaufferas plus le datacenter pour rien ^^ La morale de cette histoire, ne pas se précipiter face à un problème, prendre le temps de l'analyser, ne pas être présent au bureau après 19 heures.

Bonne soirée à tous !