Paraphrasensuche auf Basis der Word Mover's Distance

Bestimmt die Ähnlichkeit zwischen dem gegebenen Textstück und allen Textstellen ähnlicher Länge im Suchkorpus und listet anschließend die besten Treffer auf. Das Suchkorpus kann mit einem Schlüssel auf ausgewählte Werke eingeschränkt werden, bspw. mit 0007-001 auf Plutarchs Theseus oder mit 0059,0086 auf alle Werke Platons und Aristoteles. Das als Zeichenkette oder via CTS-URN übergebene Textstück wird für den Vergleich normalisiert (Diakritika und Nichtgriechische Zeichen werden entfernt, "ς" wird mit "σ" und Großbuchstaben durch kleine ersetzt sowie wahlweise Stoppwörter ignoriert). Zur Bestimmung der Ähnlichkeit stehen unterschiedliche Distanzmaße zur Auswahl.

Text/CTS

Version Stoppwortliste 1.0 1.01 1.0 0.3 0.2 0.1

Anpassen

Korpus Teilkorpus:

Fast Relaxed Word Mover's Distance: Werte ≥ 0 mit einem Wert von 0 für identische Textstellen. Berechnet mit einer vereinfachten Variante der WMD die besten Textstellen und sortiert diese anschließend mit der klassischen WMD. So ist das Verfahren deutlich schneller und gelangt in der Regel zu den selben Ergebnissen wie die klassische WMD-Suche. Fast Relaxed Word Mover's Distance (angular distance): Werte ≥ 0 mit einem Wert von 0 für identische Textstellen. Berechnet mit einer vereinfachten Variante der WMD die besten Textstellen und sortiert diese anschließend mit der klassischen WMD. So ist das Verfahren deutlich schneller und gelangt in der Regel zu den selben Ergebnissen wie die klassische WMD-Suche. Fast Relaxed Word Mover's Distance: Werte ≥ 0 mit einem Wert von 0 für identische Textstellen. Berechnet mit einer vereinfachten Variante der WMD die besten Textstellen und sortiert diese anschließend mit der klassischen WMD. So ist das Verfahren deutlich schneller und gelangt in der Regel zu den selben Ergebnissen wie die klassische WMD-Suche. Word Mover's Distance: Werte ≥ 0 mit einem Wert von 0 für identische Textstellen. Berechnet die minimalen "Umzugskosten" um die Wörter der ersten Textstelle zur zweiten zu überführen. Als Grundlage dient word2vec. Word Mover's Distance (angular distance): Werte ≥ 0 mit einem Wert von 0 für identische Textstellen. Berechnet die minimalen "Umzugskosten" um die Wörter der ersten Textstelle zur zweiten zu überführen. Als Grundlage dient word2vec. Letter Mover's Distance: Variante der WMD, bei der Zeichen anstatt Wörter aufeinander abgebildet werden. Prefilter und Stoppwortlisten arbeiten weiterhin auf Wortebene. Cosine Similarity: Werte zwischen -1 und 1 mit einem Wert von 1 für identische Textstellen. Berechnet die Kosinus-Ähnlichkeit zwischen den beiden Textstellen auf Grundlage von word2vec. Levenshtein-Distanz: Werte beginnend bei 0 mit einem Wert von 0 für identische Textstellen. Berechnet die minimale Anzahl der Operationen Einfügen|Löschen|Ersetzen eines Wortes, um die erste Textstelle in die zweite zu überführen.

via Relaxed WMD (aktueller Stand) via Word Mover's Distance (WMD)

word2vec-Instanz: Ohne Stoppworte Ohne Stoppworte Mit Stoppworten Vorverarbeitungsschritt: begrenze Text auf aussichtsreiche Kandidaten Überprüfe auch Textstellen mit ± halber Länge

Start