Kilani Majdi – Ingénieur – Sécurité informatique – PHP – JAVA – XML – Marseille – PACA

Sphinx est un moteur de recherche full-text, distribué sous GPL v2. (Une licence commerciale est disponible)

En gros, c’est un moteur de recherche à part entière, crée pour fournir des fonctions de recherches rapides et pertinentes pour d’autres applications. Sphinx a été fait en particulier pour s’intégrer facilement avec des base de données SQL et des languages de scripts (typiquement, le couple PHP/MySQL). Pour l’instant les sources de données peuvent être des bases de donnée MySQL ou PostgreSQL, mais aussi des flux XML.

Base de donnée à indexer

Au début, nous avons donc notre base de donnée, par exemple:

CREATE TABLE items (
    item_id integer NOT NULL,
    item_title character varying(255) NOT NULL,
    item_description text NOT NULL,
    item_date timestamp without time zone NOT NULL,
    item_link character varying(255) NOT NULL,
    cat_id integer NOT NULL,
); 

On peut faire des recherches dans le titre (item_link), dans le contenu (item_description) ou dans l’url (item_link).
 En plus, il faudrais pouvoir trier par date (cat_date) ou par catégorie (cat_id)

La première étape est de créer le fichier de configuration de sphinx

Fichier de conf de base

Voila de quoi créer un sphinx.conf pour notre base de donnée

# nom de l'index : "main"
source main
{
        type            = pgsql

        sql_host        = localhost
        sql_user        = utilisateur
        sql_pass        = motdepasse
# nom de la base de donnée
        sql_db          = database   

         sql_query      = \
               SELECT item_id, cat_id, item_title, item_description, item_date,  \
                      ROUND(EXTRACT( EPOCH FROM ABSTIME(item_date) ))::int4 AS item_ts \
               FROM items                                                                                               

       sql_attr_uint                   = cat_id
       sql_attr_timestamp              = item_ts
}                                                

index main
{
        source                  = main
        path                    = /home/foo/var/lib/sphinx/main
        docinfo                 = extern
        morphology              = none
        # Cette conf de base marche bien en général
        # Pour l'adapter à vos besoins voir l'exemple de fichier de configuration complet
        enable_star             = 0
        min_word_len            = 2
        min_prefix_len          = 0
        min_infix_len           = 3
        charset_type            = utf-8
        html_strip              = 1
}

Pour indexer la base :

il faut taper la commande suivante: indexer -c sphinx.conf main (rajouter –rotate si searchdest en train d’utiliser l’index)

Suivant la taille des données à indexer cela peut prendre un peu de temps. Par exemple :

Sphinx 0.9.8.1-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff

using config file '/home/foo/var/sphinx.conf'...
indexing index 'main'...
collected 20786 docs, 6.8 MB
sorted 17.4 Mhits, 100.0% done
total 20786 docs, 6829246 bytes
total 9.729 sec, 701969.94 bytes/sec, 2136.57 docs/sec
rotating indices: succesfully sent SIGHUP to searchd (pid=11367).

A vos claviers ^^ .

Bonjour ,

Je vous présente également un petit script que j’ai codé mais il m a rendu fou :/ !!

Alors le principe est du traiter des documents a la file et faire un traitement bien déterminer sur chaque document .

Bon tout est nickel , parfait sauf qu’au bout de 5 sec de l’exec, hé bin si on inspecte le comportement du CPU on trouve qu’il fait 5x que la normal .

Wala le script’oun et vous pouvez en servir volontairement


#!/usr/bin/python
import sys,locale,getopt,string
import re
def usage():
print """Usage: tokenizer.py """
def matchComma1(match1):
return match1.group(1)+ " "+ match1.group(2)+ " " +match1.group(3)

if __name__ == "__main__":
main()


Si vous avez des améliorations n’hésitez pas à me les communiquer , comme ça je mes à jour mon demon

++

Bonjour,

Voilà depis 1 ans j’avais le courage de faire un petit traducteur ( Français <--> Basque | Hé oui moi le tunisien qui le fait *_O ) suite à une demande d’un ami à moi. Donc aujourd’hui je poste une partie du code source pour ceux qui pouvait m’aider à résoudre beaucoup des pbs que j’ai rencontré :/
Le code est en VB6 et voilà le CORE de l’appli


'########----------- VERSION I : TRADUCTION DES MOTS DE POIDS = 1 --------###########################
'######## LAST Update Was : 27 / AVRIL / 2009 AU lit ( Faut penser a Reecrire la fonction de cryptage ) ##########
Option Explicit
Dim t() As String ' Tableau des phrases extraites de la zone de texte
Dim t_t() As String ' Tableau des mots et des combinaisons extraites de chaque ligne de tableau t()
Dim mot As String ' Contenaire des mots extraites ain pour etre traiter
Dim i, j, k, h, s As Integer ' Compteur
Dim code_fr As Integer ' code dans le dico french
Dim ligne_fr, mot_fr As String ' ligne de la dico french
Dim base_code_fr As String ' code Fr de la phrase saisie dans le champ texte
Dim ligne_base, mot_base As String ' ligne dans la base des regles
Dim regle As String ' Regle du mot a traiter : Extraction des codes Bs et les affecter au mot result ( Out)
Dim code_regle As String ' Code de la regle a comparer avec le code de Bs_dico
Dim ligne_bs, mot_bs As String ' Ligne et code de comparaison de dico Bs
Dim final As String
Private Sub Command1_Click()
If Text1.Text <> "" Then
Text2.Text = ""
final = ""

End If
Loop
Close #2
'------------------------ FIN D'EXTRACTION DE LA RÈGLE -----------------------------------------
Exit Do
End If
'------------------- Fin de test d'affectation -----------------------------------------------
Loop
Close #1
'---------------------- Fin de recherche Fr ----------------------------------------------------
Next i
'----------------- FIN DE BOUCLE ---------------------------------------------------
End If
Text2.Text = final
End If
End Sub


Voilà la partie la plus sensible même si l’algo est pas si compliqué mais y a bcp des choses à revoir :/

Bonjour,

Je vais vous présenter une API que j’aime bien, ça donne toujours l’impression que tout est sous  » contrôle  » et que on maitrise la situation …
Sinon JMX permet de superviser et d’administrer des ressources matérielles accessibles depuis une JVM comme des ressources logiciels s’exécutant sur une JVM. L’instrumentation des ressources se fait au moyen de composants appelés MBean (Manageable Bean). La spécification JMX définit l’ensemble des interfaces et classes nécessaires à cette instrumentation.

Pour cela faut activer l’agent JMX ( MBeanServer ) :

java -Dcom.sun.management.jmxremote -jar Application_name.jar

L’utilisation et l’accès aux MBeans enregistrés sur un MBeanServer est si facile à savoir ces fonctions :

Object getAttribute(ObjectName objname, String attrname);
AttributeList getAttributes(ObjectName objname, String[] attrnames);
MBeanInfo getMBeanInfo(ObjectName objname);
Object invoke(ObjectName objname, String method, Object[] params, String[] signature);
void setAttribute(ObjectName objname, Attribute attribute);
AttributeList setAttributes(ObjectName objname, AttributeList attributes);


Oilà une tite introduction et vous pouvez avoir le reste de l’article ici : Article JMX

Merci ^^ .