Seminar Apache Lucene Analyse, Tokenisierung und Sprachverarbeitung

Das Seminar Apache Lucene Analyse, Tokenisierung und Sprachverarbeitung behandelt den fachlich und technisch entscheidenden Teil jeder Suchanwendung: die kontrollierte Aufbereitung von Texten vor dem Indexieren und beim Auswerten von Suchanfragen. Gute Trefferqualität entsteht nicht durch Zufall, sondern durch eine präzise abgestimmte Analysekette. Im Mittelpunkt stehen deshalb Tokenisierung, Normalisierung, Synonyme, Stemming, Mehrsprachigkeit und der saubere Umgang mit fachlichen Sonderfällen.

Zielsetzung

Behandelt wird, wie Apache Lucene Texte in Tokens zerlegt, wie TokenStreams aufgebaut sind und an welchen Stellen CharFilter, Tokenizer und TokenFilter sinnvoll eingesetzt werden. Ebenso im Fokus stehen Unterschiede zwischen Index-Zeit und Query-Zeit, typische Fehlerbilder bei Recall und Precision sowie die Frage, wie fachliche Begriffe, Schreibvarianten und Sprachbesonderheiten stabil in ein Suchmodell übersetzt werden.

Schwerpunkte

• Architektur der Lucene-Analyse mit Analyzer, CharFilter, Tokenizer und TokenFilter
• Normalisierung von Groß-/Kleinschreibung, Akzenten, Sonderzeichen und HTML-Inhalten
• Stopwords, Synonyme, Stemming, geschützte Begriffe und feldspezifische Analyse
• Mehrsprachige Suche mit sprachabhängigen Analyzern und fachlichen Wortlisten
• Abgleich von Index-Zeit-Analyse und Query-Zeit-Analyse
• Aufbau und Test eigener Analyzer für Produktnamen, Nummern, Kürzel und Domänensprache
• Debugging von TokenStreams und systematische Fehlersuche bei unerwarteten Treffern

Praxis

Im Übungsteil werden bestehende und eigene Analyzer verglichen, Token-Ausgaben nachvollzogen und problematische Suchfälle gezielt verbessert. So entsteht ein belastbares Verständnis dafür, welche Analyseentscheidungen direkte Auswirkungen auf Suchqualität, Relevanz und Pflegeaufwand im Projekt haben.