Das DFKI Evaluationszentrum für sprachtechnologische Systeme

Frühere Arbeiten

Verbesserte Internetsuche

Originalversion mit veränderter Reihenfolge	Verbesserte Version mit veränderter Reihenfolge, Überschriften und Punkten

Diese Untersuchung wurde im Rahmen der Diplomarbeit von Nadine Wirschum (siehe Wirschum, 2003) durchgeführt und beschäftigt sich mit folgender Fragestellung:

Wie kann man Internetnutzer bei der Überprüfung der Suchergebnisse unterstützen?

• Kurzbeschreibung des Versuchs:
  • Auf der Suchanfrage basierende Suchergebnisliste, die 25 Webseiten zur Suchanfrage "Assessment Center Bausteine" auflisten
• Typische Probleme/Fragestellungen:
  • Welche Informationen werden bei der Suchergebnisüberprüfung genutzt und dürfen demnach in einer Suchergebnisliste nicht fehlen?
    Besonders bei der Komponente „Zusammenfassungen“ besteht Verbesserungsbedarf.
  • Wie kann man die von vielen Suchmaschinen üblicherweise verwendete Suchergebnislisten, die auf der Suchanfrage basierende Zusammenfassungen (Zusammenfassungen mit Sätzen, die Begriffe aus der Suchanfrage enthalten) verwenden, verbessern?
  • Vorgehensweise:
    Die auf der Suchanfrage basierenden Zusammenfassungen wurden anhand von zwei Kriterien verbessert. Durch diese soll der Kontext, in dem die für die Zusammenfassung extrahierten Sätze stehen, sowie Struktur und Aufbau der jeweiligen Dokumente, deutlicher erkennbar werden.
    1. Hinzufügen von Überschriften aus den Absätzen der entsprechenden Gesamtdokumente, aus denen die für die Zusammenfassungen extrahierten Sätze stammen.
    2. Hinzufügen von Punkten als Zeichen von Nähe zwischen den extrahierten Sätzen: Entsprechend der Anzahl der Zeilen zwischen zwei Sätzen im jeweiligen Gesamtdokument wurde in der Zusammenfassung die Anzahl der Punkte zwischen ihnen variiert.
  • Versuchsaufbau:
    Die beiden Suchergebnislisten (Original-Liste und verbesserte Liste) wurden in einer empirischen Studie mit 42 Versuchspersonen miteinander verglichen.
  • Ergebnisse:
    Die statistische Analyse der Leistung der Nutzer in Bezug auf das Lösen der ihnen gestellten Suchaufgabe in der verbesserten Bedingung war höher als in der Originalbedingung (54% vs. 37%). Außerdem konnte gezeigt werden, dass die Nutzer trotz der größeren Menge an Informationen, die diese verbesserte Liste enthält, nicht mehr Zeit brauchen, um über die Relevanz der einzelnen Treffer zu entscheiden. Zudem wurden die verbesserten Zusammenfassungen als benutzerfreundlicher eingestuft.
  • Fazit
    Durch das Einzufügen der genannten Informationen in auf der Suchanfrage basierende Zusammenfassungen ist eine Unterstützung des Suchprozesses möglich.
• Wie läuft der Suchprozeß ab?
• Vorgehensweise:
  • Der Ablauf des Prüfprozesses wurde untersucht durch die Blickbewegungsaufzeichnung der Probanden mittels eines stationären Eyetrackers (ASL Modell 504).
    • Siehe auch die während des Versuchs aufgezeichneten Videos.
• Ergebnisse:
  Es konnten zwei unterschiedliche Strategien beim Überprüfen der Suchergebnislisten gefunden werden, die sich unterscheiden bezüglich des Zeitpunkts, zu dem ein Suchergebnis angeklickt wird, um das dazugehörige Dokument genauer zu untersuchen:
  • Sofortiges Öffnen der Dokumente (Tiefensuche)
    Personen, die nach dieser Prüfstrategie vorgehen, klicken einen Treffer, den sie für relevant halten, direkt an.
  • Späteres Öffnen der Dokumente (Breitensuche)
    Personen, die diese Strategie anwenden, verschaffen sich zuerst einen Überblick über die gesamte Suchergebnisliste oder einen Teil davon, bevor sie sich entscheiden, welches Suchergebnis angeklickt wird.
• Fazit:
  Da die Nutzer beider Vorgehensweisen gleichermaßen das vorgegebene Suchproblem bewältigen konnten, kann man davon ausgehen, dass die verbesserte Suchergebnisliste zur Unterstützung beider Strategien geeignet ist.

Reine Tiefensuche	Teileweise Breitensuche	Reine Breitensuche

In Experiment 2 wurde jede der 27 Versuchspersonen gebeten, zwei Aufgaben, ähnlich Experiment 1 durchzuführen, wobei sie 5 Minuten für jede Aufgabe Zeit hatten. Um eine Situation zu schaffen, in der eine Breite-Zuerst-Verarbeitung verhältnismäßig attraktiv schien, durften die Versuchspersonen höchstens 10 der 25 aufgeführten Dokumente zu öffnen. Für jedes relevante Dokument, das gefunden wurde (ungefähr die Hälfte aller Dokumente waren relevant) wurden sie belohnt. Auch hier konnten wieder kontrastierende Strategien festgestellt werden: 52% der Versuchspersonen zeigten praktisch keine Tendenz, in der Liste zu vorauszuschauen. Eine Minorität von 11% verwendete die extreme Breite-Zuerst-Strategie und las die gesamte Liste durch, bevor sie irgendein Dokument öffnete; die restlichen 37% wendete eine Mischstrategie an und schauten im Durchschnitt 2 bis 6 Dokumenten innerhalb jeder Liste voran.

Veröffentlichungen zu diesem Thema: siehe Klöckner, Wirschum, and Jameson (2004).