DB2 Search mit Lucene

Hallo Patrick,

Ich weiss nicht ob Du dir bereits das apache projekt http://solr angeschaut hast, aber meiner Meinung gibt es kaum noch Gruende dafuer, Lucene ohne solr zu verwenden. Solr erlaubt auch das on the fly anlegen von neuen Feldern.

Allerdings ist das dynamische Aendern des Indexes eigentlich nur selten wirklich notwendig. Wenn Dein Datenbestand nicht gerade mehrere Terrabyte gross ist, dann zahlt sich eventuell das einfache neuindizieren aus.

Das Indexing selbst ist naemlich ziemlich schnell, updates sind wesentlich teurer. D.h. die Fragen sind eigentlich:

Wie viele Daten sind in der Datenbank (Platzverbrauch und Anzahl der Records)?

Wie oft macht ihr Aenderungen am Datenbankschaema?

Wie synchron muessen die beiden Komponenten wirklich sein?

Kann der Index dem Datenbestand auch mal "hinterherhinken"? Wie lange?

Zitat von Apfeljunge

Erlich gesagt weiß ich nicht genau wie groß der Datenbestand sein wird. Da es sich dabei allerdings um Dokumente (z.B. Spezifikationen) und Modelle aus dem CAD Bereich handelt kann der Umfang schon größer werden (zumindest was den Speicherplatz betrifft).

Fuer mich klingt das nicht so schlimm: Es hoert sich so an, als waehre da ein ueberschaubares Team von Benutzern die immer wieder mal Daten raufladen. Auch wenn die Dokumente selbst gross sind, werden vermutlich nicht 1000 neue Dokumente pro Minute erstellt. Diese Menge in kurzer Zeit zu indizieren sollte ueberhaupt kein Problem darstellen. Ich definiere "in kurzer Zeit" absichtlich nicht, da ich ja nur wenig Informationen habe.

Zitat von Apfeljunge

Im Beispiel wird folgendermaßen verfahren:

• Create an IndexWriter.
• Locate each file to be indexed by walking the directory looking for file names ending in .txt.
• For each text file, create a Document with the desired Fields.
• Add the document to the IndexWriter instance.

Das ist der Vorgang bei Lucene. Wenn Du da mehr Beispielcode brauchst: Ich habe hier ein kurzes Beispiel in Ruby/Java, wo ich Daten von twitter.com in einen Index spiele:

http://blog.bookworm.at/2007/04/twitter-lucene.html

In einer Produktivumgebung gibt es aber meistens noch mehr Dinge zu beachten, darum habe ich solr empfohlen.

Eine 10 Minuten Einfuehrung in solr findest Du hier: http://lucene.apache.org/solr/tutorial.html

Zitat von Apfeljunge

Punkt drei interessiert mich besonders. Die Felder müssen ja zur Buildtime festgelegt werden um sie später in den Anfragen des Users nutzen zu können (?). Was mache ich wenn ich ein neues Feld einführen möchte um dieses später in einer Anfrage an die Datenbank einsetzen zu können, ohne den Code händisch ändern und neu compilieren zu müssen?
Das wäre doch zum Erreichen dieses Ziels durch erneute Indizierung notwendig oder nicht?

Ja: Was Du in dem Index speichern willst, bleibt Dir ueberlassen. Das kann Deine Software ja nicht wissen. Du kannst natuerlich Code schreiben, der sich das Datenbankschema anschaut und daraus heraus dann entscheidet, welche Felder der neue Index haben soll. Aber eine bestehende Loesung, um den Index dynamisch mit dem gesamten Datenbankschema zu synchronisieren, gibt es meines Wissens nach nicht.

Du willst in der Regel aber gar nicht alle Felder aus allen Tabellen in der Datenbank fuer den Index indizieren. Sondern eben nur die Daten, in denen wirklich gesucht werden soll. Und ueblicherweise aendert man an seinem Datenbankschema ja nicht oft etwas.