Die European Conference on Information Retrieval (ECIR) ist die wichtigste europäische Forschungskonferenz für die Präsentation neuer Ergebnisse auf dem Gebiet des Information Retrieval (IR). Aus insgesamt 489 Einreichungen wurden dieses Jahr 175 Papers akzeptiert, Adam Jatowt hat mit seinen Ko-Autoren Taishi Hosokawa und Kazunari Sugiyama für das Paper „Temporal Natural Language Inference: Evidence-Based Evaluation of Temporal Text Validity” den Best Paper Award der Konferenz erhalten.
„Es ist wichtig, zu verstehen, ob Textinformationen gültig bleiben oder nicht – das gilt für verschiedene Anwendungen, etwa das Verstehen von Geschichten, Informationsabruf und die Verfolgung des Zustands und Informationsstands in Mikroblogs und bei Chatbot-Unterhaltungen. Es ist auch von Vorteil, Geschichten tiefergehend zu verstehen“, erklärt der Informatiker. Für Computer ist diese Art des „Verständnisses“ allerdings schwierig, da dieses Verstehen ein zeitliches Vorstellungsvermögen erfordert. Im nun ausgezeichneten Paper schlagen die Autoren deshalb eine neuartige Aufgabe vor, die Temporal Natural Language Inference, die sich an traditionellem natürlichem Sprachverständnis orientiert, um die zeitliche Gültigkeit von Textinhalten zu bestimmen. „Die Aufgabe erfordert die Schlussfolgerung und Beurteilung, ob eine in einem Satz ausgedrückte Handlung noch im Gange oder bereits abgeschlossen ist, d. h., ob der Satz angesichts seines zusätzlichen Inhalts noch gültig ist. Wir erstellen zunächst einen eigenen Datensatz für diese Aufgabe und trainieren verschiedene Modelle für maschinelles Lernen“, sagt Jatowt. Daraufhin schlagen die Informatiker eine effektive Methode zum Lernen von Informationen aus einer externen Wissensbasis vor, die Hinweise auf temporales Commonsense-Wissen gibt. Anhand eines vorbereiteten Datensatzes stellt das Paper ein neues Modell für maschinelles Lernen vor, das die Informationen aus der Wissensbasis einbezieht, und zeigt, dass das neue Modell bei der vorgeschlagenen Aufgabe besser abschneidet als die andere State-of-the-art-Ansätze.