Gepostet vonJan

CorpusExplorer (Update Q1 2021 – SP1)

Kleines zusätzliches Update – zusätzlich zum Update Q1 2021.

Neuerungen:

  • Neues Format für: FOLKER/OrthoNormal FLN (annotieren & Import).
  • Der Post-Analyse-Filter für korrespondierende Layer-Werte kann jetzt auch über die Konsole/Shell genutzt werden.

Verbseerungen:

  • Kleine Verbesserungen / Korrekturen
Mehr

CorpusExplorer (Update Q1 2021)

CorpusExplorer (Update Q1 2021)

Vielleicht irre ich mich – aber ich glaube, in 2021 werden einige große Dinge mit dem CorpusExplorer passieren. Zumindest haben sich viele Funktionen angesammelt, die darauf warten veröffentlicht zu werden. Also starten wir mir den Änderungen für Q1 2021:

  • DPXC-Editor „Der DPXC-Editor ist tot, lang lebe der DPXC-Editor“.
    Der DPXC-Editor ist ein Add-on, dass das Sammeln von Korpora per Copy&Paste erlaubt. Was als kleiner Nutzer*innen-Wunsch begann (bei dem ich gedacht hätte: nette Nischenfunktion) wird mittlerweile von einem halben Dutzend (mir bekannten) Projekten aktiv eingesetzt (Projektgrößen: Masterarbeiten bis hin zu DFG-Projekten). Daher habe ich etwas Zeit investiert um den Editor (A) besser zu machen und (B) ihn stärker in den CorpusExplorer zu integrieren.

    • Integration:
      Der Editor wird jetzt direkt mit dem CorpusExplorer installiert (er muss nicht mehr als Add-on nachinstalliert werden).
      Der Editor kann jetzt unter „Korpus Übersicht“ über die Option „Korpus manuell erstellen“ aufgerufen werden.
      Hinweis: Die Möglichkeit den DPXC-Editor als „Add-on“ zu installieren (siehe CorpusExplorer – Startseite) bleibt weiterhin bestehen. Wird der DPXC-Editor als Add-on installiert so wird ein Link zum direkten Aufruf auf dem Desktop platziert.
    • Verbesserungen:
      Der Editor hat eine ganze Reihe von Verbesserungen:

      • Suchen & Ersetzen – für Volltexte und Metadaten
      • AutoFix für Texte und Metadaten – z. B. das Entfernen von HTML-Fragmenten oder überzähligen Leerzeichen.
      • Import / Export für OpenRefine. Bei OpenRefine handelt es sich um eine freie, sichere und hoch Effiziente (reproduzierbar, schnell, raffiniert etc.) Lösung, um Metadaten zu bereinigen. Das Programm steht kostenfrei unter: https://openrefine.org/ zum Download zur Verfügung.
        • Hinweis 1: Was ich sehr oft als Frage in Trainings mit OpenRefine-Bezug zu hören bekomme: „Sind meine Daten in OpenRefine sicher? – OpenRefine ist doch von Google – und ich soll da Daten in den Browser hochladen…“ – Antwort: Ja, die Daten sind sicher. OpenRefine startet auf ihrem PC, auf dem Sie OpenRefine installieren, einen lokalen Webserver. Google hat die Lösung gewählt, um OpenRefine für alle Betriebssystem anbieten zu können (Windows, MacOS, Linux). Sie laden zwar die Daten mit Hilfe ihres Webbrowsers – aber: Die Daten verlassen ihren PC nicht.
        • Hinweis 2: Ein Student (Sinan Cosgun – Universität Siegen) hat in einem meiner Seminare (Uni Siegen) ein deutschsprachiges Tutorial zu OpenRefine erstellt – wer sich einarbeiten möchte: https://mooc.diskurslinguistik.net/course/view.php?id=8
  • WordBag v2
    Die neue erweiterte WordBag-Funktion erlaubt es schneller mehrere Begriffe für Suchabfragen zu ermitteln. Mussten früher Begriffe manuell eingegeben werden (unterstützt durch ein interaktives Wörterbuch) oder mit Hilfe zuvor definierter Listen. Kann jetzt eine Abfrageliste über das WordBag-Symbol erstellt werden – Beispiel:
    Danach erscheint die folgende Abfragemaske:
    Über die Suchoperatoren können gleich alle passenden Begriffe gesucht werden. Abwahl durch Klick auf das ‚X‘ des jeweiligen Begriffs.
  • VOC-D und MTLD
    Unter „Stilometrie“ können jetzt VOC-D und MTLD berechnet werden. Bitte beachten: Beide Verfahren nutzen ein Daten-Sampling. Dadurch kann die Berechnung längere Zeit (5-15 Minuten) in Anspruch nehmen.
  • Dispersion
    Über „Frequenzanalyse“ > „Dispersion“ kann jetzt die X-Term-Frequenz und die Inverse-X-Term-Frequenz berechnet werden. Als „X“ kann jede beliebe Metaangabe verwendet werden. So ist die Berechnung z. B. von Dokument-Term-Frequenz (durch Auswahl von GUID) oder die Berechnung von Inverse-Autoren-Term-Frequenz möglich.
  • Filter: Korrespondierende Layerwerte
    Ursprünglich (nur für POS-Werte) wurde diese Funktion auf Nutzer*innen-Wunsch für die Kookkurrenz-Analyse umgesetzt. Davon ausgehend wurde der Layer-Filter entwickelt (alle Layer können ausgewählt werden – z. B. POS oder Lemma). Dies ist ein Post-Analyse-Filter d. h. der Filter wird auf die Analyseergebnisse angewendet.
    Der Filter steht für N-Gramme, Kookkurrenzen, Links-/Rechts-Frequenz, Dispersion und Keywords zur Verfügung.
  • ImageBuilder v1
    Der ImageBuilder ist ein Konsolen-Programm, dass ein komplettes Installations-Image des CorpusExplorers erzeugt.
    Wofür ist das Tool nützlich? – Wenn Sie z. B.

    • Den CorpusExplorer auf einem Cluster, Linux oder MacOS (als Konsolen-Version) nutzen möchten, dann können Sie damit ein Image erstellen.
    • Falls sich der CorpusExplorer unter Windows nicht installieren lässt (z. B. aufgrund von restriktiven Richtlinien, Firewall oder Anti-Viren-Programmen).
    • Wenn Sie den CorpusExplorer auf einem USB-Stick nutzen möchten.

Was ist für die kommenden Versionen des ImageBuilders geplant:

    • Download von Korpora
    • Betriebssystemoptimierte Builds – aktuell müssten Sie (um automatisch zu annotieren) die Tagger-Dateien durch passende Betriebssystem-Builds ersetzen. Dies soll in Zukunft automatisiert passieren.
  • Neue Import/Export-Formate:
    • CATMA 6 (Import/Export)
      Hinweis: CATMA ist leider vom Format und den Möglichkeiten etwas ’speziell‘ – sprich: Sehr oft ist es so, dass man Daten zwar in CATMA einlesen kann, die Daten sich danach nicht mehr adäquat exportieren lassen. Ich empfehle folgendes Vorgehen:

      • Laden Sie ihr Rohkorpus in den CorpusExplorer (ggf. auch über den DPXC-Editor) – z. B. über „Dokumente annotieren“
      • Exportieren Sie dann das Korpus (Schnappschuss Übersicht > Exportieren) nach CATMA
      • Laden Sie den CATMA-Export in CATMA.
      • Wenn Sie in CATMA weitere Layer oder Werte hinzufügen, dann orientieren Sie sich bitte an der Struktur, die der CorpusExplorer vorgibt.
      • Speichern Sie die CATMA-Daten lokal ab und laden Sie die Daten erneut über „Korpus importieren“ in den CorpusExplorer.
      • Tipp: Wenn Sie eigene Layer oder Layerwerte in CATMA anlegen, dann sollten Sie diese in einem kleinen Pilot testen (nur wenige Sätze) und die Daten in den CorpusExplorer re-importieren. So vermeiden Sie böse Überraschungen.
    • IDS I5- und KorAP-XML
      Die I5- und KorAP-Daten stehen primär nur IDS-Mitarbeiter*innen zur Verfügung. Es gibt aber auch einige freie Korpora, die über folgende Seite bezogen werden können: https://www1.ids-mannheim.de/kl/projekte/korpora/verfuegbarkeit.html 

      • IDS I5-XML
        IDS I5-XML ist das Standardformat für Volltexte + Metadaten des „Leibniz-Institut für Deutsche Sprache“. Der CorpusExplorer unterstützt I5 bereits seit längerem. Neu ist der verbesserte Metadaten-Support.
      • KorAP-XML
        KorAP-XML ist das Standardformat für das die Korpusanalyseplattform des „Leibniz-Institut für Deutsche Sprache“.
Mehr

ZOOM-Vortrag 26.03.2021: vDHd2021

ZOOM-Vortrag 26.03.2021: vDHd2021

Der Diskursmonitor ist eine gemeinschaftlich erarbeitete Online-Plattform zur Aufklärung und Dokumentation strategischer Kommunikation. 2019 als offenes Lehrstuhlprojekt gestartet, umfasst der Diskursmonitor mittlerweile vier stetig wachsende Teilprojekte:

  • Glossar: Auf Basis aktueller Forschung bietet das Glossar kompakte und anschauliche Informationen zu Phänomenen diskursiver Kämpfe, wie wir sie in Medien, Politik, Recht und Zivilgesellschaft beobachten können. Das Glossar soll dazu beitragen, kommunikative Strategien in der öffentlichen Praxis besser zu erkennen, zu bezeichnen und zu kritisieren.
  • Review: Die Review dokumentiert und kommentiert aktuelle diskursive Ordnungen und strategische Praktiken unter Einbeziehung laufender und bisheriger Forschung. In kurzen, prägnanten Artikeln sowie in Video-Beiträgen beleuchten Diskursforscher*innen und Praktiker*innen die zeitgenössischen Debatten-Entwicklungen und Deutungskämpfe.
  • Barometer: Das Barometer bietet einen datengestützten, quantifizierenden Einblick in die aktuelle sprachliche und diskursive Großwetterlage. Für dieses automatische Monitoring werden seit 2019 täglich zehntausende Texte aus öffentlich zugänglichen Online-Quellen erfasst, computerlinguistisch aufbereitet und mithilfe von Text-Mining-Verfahren ausgewertet (Stand Januar 2021: täglich aktualisiertes LIVE-Korpus ca. 8 Mrd. Token / Kontrollierte Referenzkorpora 6,6 Mrd. Token). Langfristiges Ziel ist, Metriken zu entwickeln und bereitzustellen, die bestimmte Facetten diskursiver Dynamiken in Abhängigkeit von Zeitverlauf, Medien, AutorInnen u. a. abbilden.
  • Werkstatt (in Vorbereitung): Ziel der Werkstatt ist ein möglichst niederschwelliges Informationsangebot. Hier werden Materialien wie Handreichungen, Beispielanalysen und Leitfäden veröffentlich, die sich auch im Schulunterricht (Sek. I/II) einsetzen lassen. Die Materialien werden in Abstimmung mit Fachdidaktiker*innen erstellt und aus öffentlich verfügbaren Quellen (OpenAccess) zusammengestellt.

Im Panel werden die einzelnen Teilprojekte kurz vorgestellt. Schwierigkeiten aus der bisherigen Projekterfahrung werden thematisiert, ebenso wie bereits gefundene Lösungen. Interessierte Teilnehmende sind eingeladen, mit zu diskutieren und die Online-Plattform auszutesten.
ZOOM-Link kann per Anfrage schon vorab verschickt werden: Kontakt

Impressionen:

Mehr

ZOOM-Vortrag 16.12.2020 an der Friedrich-Alexander-Universität (Erlangen-Nürnberg)

ZOOM-Vortrag 16.12.2020 an der Friedrich-Alexander-Universität (Erlangen-Nürnberg)

Im Rahmen des „Oberseminars Computerlinguistik (WS 2020/21)“ – an der Friedrich-Alexander-Universität (Erlangen-Nürnberg) wird mit dem Vortrag „Einführung in den CorpusExplorer“ nicht nur in die Grundlagen des CorpusExplorers eingeführt – sondern auch die vertiefende Nutzung der Programmierschnittsellen gezeigt. Die Teilnahme für Externe ist kostenfrei möglich – Anmeldung per formloser E-Mail an: ed.negnalre-inu.kitsiugnilnull@ofni

Vorschau Kursinhalte (finale Folien werden nach dem Kurs bereitgestellt und sind dann unter ‚Über mich…‘ zu finden):

Mehr

‚Posterslam‘ – 2. DigitalHumanities-Tag der WWU Münster

‚Posterslam‘ – 2. DigitalHumanities-Tag der WWU Münster

Das Projekt „Sprache und Konfession im Radio“ stellt sich und den CorpusExplorer im Rahmen des Posterslams vor (2. DigitalHumanities-Tag der WWU Münster).

Zum Projekt: Das Christentum hat die deutsche Sprache Jahrhunderte lang stark beeinflusst. Die jüngste Frühe Neuzeitforschung konnte zeigen, dass sogar die Reformation und die anschließende Etablierung verschiedener Konfessionen zu Sprachgebrauchsdifferenzen zwischen Katholiken und Protestanten geführt haben. Für die Gegenwartssprache hingegen ist eine große Forschungslücke bezüglich des Zusammenhangs von Sprache und Konfession zu konstatieren: Untersuchungen zur Pluralität sprachlicher Ausdrucksformen haben Konfession als möglichen sprachlicher Variationsfaktor noch kaum berücksichtigt. Eine Umfrage in 2014 hat jedoch Hinweise darauf gefunden, dass Katholiken und Protestanten mit jeweils unterschiedlichem Wortgebrauch und Sprachstilen, ja sogar differierender Textstrukturierung verbunden werden. Linguistisch untersucht worden sind diese Zuordnungen bislang noch nicht. Ziel dieses Projekts ist es daher, Texte der heutigen öffentlichen Glaubensverkündigung im Radio auf verschiedenen sprachlichen Ebenen von der Themenwahl, der Textstruktur über die Syntax und Wortbildung bis hin zur Lexik zu analysieren und herauszufinden, ob auch heute noch – 500 Jahre nach der Reformation – konfessionelle Sprachgebrauchsdifferenzen festzustellen sind. Damit kann die deutsche Sprachgeschichte um ein wichtiges Kapitel erweitert werden. [Weitere Informationen zum Projekt]

Mehr

Summer School (RUB Bochum) – 24. bis 28. August 2020: „tl;dr“ Too long; didn’t read (?) Große Textmengen computergestützt analysieren

Die Summer School beschäftigt sich mit computergestützten Verfahren, um große Mengen digitaler Texte, wie z. B. Internet-Blogs, Social Media-Einträge oder twitter Posts,  zu extrahieren (Web Scraping), zu analysieren und für  empirischen Forschungsprojekte und Abschlussarbeiten zu nutzen. Von korpuslinguistischen Verfahren (Frequenz- und Kollokationsanalysen) bis zu Machine Learning-Algorithmen werden methodische Ansätze aus vielfältigen Disziplinen zusammengebracht und aus der jeweils fachwissenschaftlichen Sicht diskutiert und in Hands-on Sessions in kleinen Gruppen an konkreten Fragestellungen praktisch eingeübt. Die Ergebnisse werden abschließend im Plenum präsentiert und diskutiert. Zur Vorbereitung der Summer School werden den Studierenden 1-2 tägige Workshops angeboten, um sich mit den theoretischen Grundlagen (Lektüre) und den erforderlichen Software-Tools Vertraut zu machen.

Ankündigung: https://methodenzentrum.ruhr-uni-bochum.de/veranstaltungen/weitere-angebote/summer-school-tldr-grosse-textmengen-computergestuetzt-analysieren/
Weitere Infos: https://summerschool.blogs.ruhr-uni-bochum.de/tldr/

Mehr

CorpusExplorer (Update Q2 2020 – SP1)

CorpusExplorer (Update Q2 2020 – SP1)

Heute gibt es ein kleines Service Pack (SP) für den CorpusExplorer. Neben wichtigen Stabilitäts- und Performance-Korrekturen enthält das SP folgende neuen Funktionen:

  • Die Volltextanzeige für die Textlinsen-Funktion wurde überarbeitet. Dadurch verbessern sich folgende Aspekte:
    • Der Text wird schnelle angezeigt – auch bei größeren Textmengen.
    • Der Text springt automatisch zum ersten Fundstellensatz.
    • Der Text kann mit der Maus markiert werden und direkt in die Zwischenablage kopiert werden (inkl. Hervorhebung). Zuvor konnte nur der gesamte Text als Plaintext exportiert werden.
  • Der Quellcode-Editor im Modul HTML5Labor wurde überarbeitet. arbeitet jetzt effektiver und verfügt über einige Sonderfunktionen – wie z. B. Zoom.
  • Das Modul „NGramme Vergleichen“ gibt jetzt die absolute Frequenz aus und berechnet die Signifikanz zwischen den beiden Schnappschüssen. Zur Signifikanz (das Signifikanzmaß kann in den Projekteinstellungen gewählt werden): Ist eine -1 in der Spalte vermerkt, wurde die Signifikanz nicht berechnet, da das NGram nur in einer der beiden Schnappschüsse vorkommt (-1 bedeutet also: die Signifikanzberechnung wäre unsinnig). Eine liegende Acht (siehe Screenshot – ersten Spalten) bedeutet: Hier tendiert bzw. ist der Signifikanzwert UNENDLICH. Dies deutet auf extreme Unterschiede hin.
Mehr

CorpusExplorer (Update Q2 2020)

Lange ist es her. Das letzte Update erfolgte im Q3 2019. Was war passiert? War die Entwicklung eingeschlafen? – Nein, die Entwicklung ging weiter. Es gab nur keine neuen Updates, da der CorpusExplorer als Teil meines Dissertationsprojekts eingereicht wurde und eine Begutachtung erfolgte. Jetzt steht nur noch die Verteidigung für mich an (also bitte Daumen drücken). Traditionell (seit mehr als fünf Jahren) ist das Mai-Update (Q2) immer ein besonders großes Update.

Folgende Neuerungen gibt es:

  • Korpora werden beim Import automatisch auf Konsistenz und Fehler überprüft. Diese Überprüfung kann jetzt unter „Projekteinstellung“ >  „Feature Toggle & Einstellungen“ > „CEC6-Validation?“ deaktiviert werden. Empfehlung: Bitte aktiviert lassen. Falls Sie aber viele Korpora haben, die Fehler enthalten und Sie diese alle auf einmal laden möchten, dann deaktivieren Sie diese Option.
  • Korpora vereinen überarbeitet – Unter „Projekteinstellungen“ > „Werkzeuge“ > „Korpora vereinen“ war es zuvor nur möglich CorpusExplorer Korpora zu vereinen. Ab jetzt lassen sich alle importfähigen Korpora (wie z. B. CoNLL, TXM, TreeTagger-TXT) einlesen und in alle exportfähigen Formate (z. B. CoNLL, Weblicht, DTA-TCF) exportieren (vereinen).
    Tipp: Wer große Korpora hat, sollte eher den QuickMode nutzen. Dazu geht man wie folgt vor: CorpusExplorer sollte NICHT laufen. Drücken Sie die Tastenkombination STRG + R, um „Ausführen“ anzuzeigen. Geben Sie in das Eingabefeld folgendes ein und bestätigen Sie mit „Ok“: CorpusExplorer –conv
  • Der DPXC-Editor (Addon) wurde verbessert. In den kommenden Wochen wird es hier ein größeres Feature-Release geben, das einige oft nachgefragte Funktionen mit sich bringt.
  • CEC6-Dateien können jetzt erneut über „Dokumente annotieren“ erneut annotiert werden.
  • Alle Tabellen-Visualisierungen verfügen jetzt über einen Delay von 500ms bei der Suche. D. h. nicht jeder Tastendruck bei der Suche führt zum sofortigen Auslösung der Suchfunktion (wie bisher). Auch wenn es merkwürdig klingt, eine Verzögerung führt hier zu einer Beschleunigung (die GUI fühlt sich schneller an).
  • Arbeiten zum QuickIndex v3 wurden abgeschlossen. Die Resultate finden aktuell nur im Projekt diskursmonitor.de Anwendung, werden aber auch bald im CorpusExplorer verfügbar sein. QuickIndex ist ein auf linguistische Annotationen optimierter Suchindex, grob ähnlich zu Lucene (wobei Lucene andere Grundannahmen trifft), der wenige Daten im Arbeitsspeicher halten muss um effizient zu sein.
  • Verbesserung der Sentiment-Compiler (für komplexere Sentiment-Abfragen anstelle von Einzeltoken).
  • Neue Funktionen für die CEC (CorpusExplorer Console):
    • hash – Berechnet Hashwert für alle Dokumente. Erlaubt die Identifikation von absolut identischen Dokumenten.
    • hash-roll – Berechnet rollende Hashwerte für alle Dokumente. Erlaubt die Identifikation von teilweise identischen Dokumenten.
  • Verbesserungen bei folgenden Dateiformaten:
    • Tiger-XML (verbesserter Import)
    • IDS I5-Korpora (neu – Scraper)
    • TXM (neu – Import/Export/Scraper)
    • CorpusWorkbench (Exporter)
    • BAWE (neu Scraper)
    • BNC (neu Scraper)
  • Umstellung auf „.NET Framework“ 4.6.1
  • FeatureFox-Framework v1 – Dieses Projekt befasst sich mit der Frage, wie man die GUI und den gesamten CorpusExplorer so entschlanken kann, das nur die benötigten Module geladen werden. Hierzu wird es im Q3 2020 eine grundlegende Überarbeitung der Funktionen geben.
  • Allgemeine Verbesserungen, Aktualisierung von Drittkomponenten und kleiner Bug-Fixes.
Mehr

Vortrag am 25.11.2019: „Erstellen und Erschließen von Korpusdaten mittels CorpusExplorer“ im Rahmen des „Digillu-Workshop: Zusammenstellung und Erschließung von Korpusdaten“ an der BBAW

Methoden zur Zusammenstellung und Erschließung von Texten werden nicht nur in der Linguistik, sondern allgemein in den Geisteswissenschaften und jenseits von fachlichen Grenzen vielseitig eingesetzt, nicht zuletzt seit dem empirical turn. Ohne maschinell gestützte Herangehensweisen sind manche Textsammlungen nicht mehr produktiv für die Forschung zu greifen, zu überprüfen oder zu durchleuchten. Es wird nicht mehr nur gelesen, es wird immer häufiger auch eingelesen, wobei diese Entwicklung und die damit einhergehenden Denkverfahren, Arbeitsschritte und Standards hinterfragt und eingeordnet werden sollten.

Der am 25.11. an der BBAW stattfindende Workshop bietet eine interdisziplinäre, mehrsprachige Bühne für einen wissenschaftlich fundierten Austausch. Im Blickpunkt stehen verschiedene Prozesse des Lesens, zum Beispiel die Erfassung von Keilschrift und Frakturschrift, bis hin zum tatsächlichen Einlesen mithilfe korpus- und computerlinguistischer Werkzeuge. Das breite fachliche Spektrum (u.a. Amerikanistik, Linguistik, Philosophie) und der Fokus auf junge, international aktive Forscher*innen werden dem Workshop ein besonderes Momentum verleihen.

Infos

Diese Veranstaltung wird von verschiedenen Projektpartnern ermöglicht, u.a. dem deutsch-französischen Forschungsverband CIERA. Tagungssprachen sind Deutsch, Englisch und Französisch.

25. November 2019 – 9.30 bis 17.30 Uhr
Raum 228
Berlin-Brandenburgische Akademie der Wissenschaften (BBAW)
Jägerstraße 22/23, 10117 Berlin

Es sind noch wenige Plätze verfügbar, um Anmeldung wird gebeten: ed.wabbnull@iserabrab

Verantwortlich für die Organisation sind Adrien Barbaresi (BBAW) und Maud Ehrmann (DHLAB – Eidgenössische Technische Hochschule Lausanne, EPFL).

Programm

Empfang ab 9.30 Uhr

  • 9.45-10.45 Uhr: Antoine Doucet (Univ. La Rochelle): Keynote
  • 10.45-11.15 Uhr: Marine Béranger (Collège de France): Assessing Literacy in Mesopotamia Using Digital Technologies: A Case Study Based On The Royal Secretary

Kaffeepause

  • 11.30-12 Uhr: Naomi Truan (Univ. Leipzig): Gesprochene Sprache und Transkription: die XML-TEI Annotation von Parlamentsdebatten
  • 12-12.30 Uhr: Susanne Haaf (BBAW): Auswertung von TEI-Korpora für die Ermittlung von Differenzierungskriterien historischer Textsorten

Lunch

  • 14-14.30 Uhr: Jan Oliver Rüdiger (Univ. Siegen): Erstellen und Erschließen von Korpusdaten mittels CorpusExplorer
  • 14.30-15 Uhr: Melanie Andresen (Univ. Hamburg): Data-Driven Corpus Exploration with Syntactic Annotations
  • 15-15.30 Uhr: Anatole Lucet (ENS Lyon – HFG Karlsruhe): Que peut le numérique en histoire de la philosophie ? L’exemple des œuvres de Gustav Landauer

Kaffeepause

  • 15.45-16.15 Uhr: Raphaël Barman (DHLAB, EPFL): Newspaper semantic segmentation using visual and textual features
  • 16.15-16.45 Uhr: Jana Keck (Univ. Stuttgart): Digging into America’s 19th-Century German-Language Newspapers with Text Reuse and Word Vector Models
  • 16.45-17.15 Uhr: Gaël Lejeune (STIH, Sorbonne Université): Preserving Linguistic Observables in an NLP pipeline : Virtues and Flaws of the reductionist approach

17.15 Uhr: Bilanz


Informationen auf Französisch über die Reihe von Veranstaltungen: https://digillu.hypotheses.org

Mehr

Vortrag am 19.11.2019: „Was heißt und zu welchem Ende studiert man Korpuslinguistik?“ im Rahmen der „Ringvorlesung: Sprache und Kommunikation“ an der Universität Siegen

In dieser Ringvorlesung haben Sie die Möglichkeit, zahlreiche DozentInnen aus der Anglistik, der Germanistik und der Romanistik kennenzulernen. Sie werden Ihnen zentrale Bereiche aus der Linguistik und der Sprachlehr-/lernforschung vorstellen.
Eine Liste der DozentInnen und Themen sehen Sie unten..
Das Material zur Ringvorlesung finden Sie auf der Lernplattform Moodle (http://moodle.uni-siegen.de) – für den Zugriff ist ein ZIMT-Benutzerkonto (studentische E-Mail Adresse) erforderlich (für die Veranstaltung benötigen Sie kein gesondertes Passwort).

Bitte beachten Sie für die abzugegebenden Aufgaben die technisch terminierten Einreichungsfristen in moodle.
Die Dokumente, die Sie hochladen, sollten – sofern von den Dozierenden nicht anders verlangt – entweder im pdf-Format (bei Libre/Open Office können Sie diese z.B. aus dem Dokument erstellen) oder als doc-Datei (altes Word-Format) vorliegen und müssen folgende Benennung aufweisen: „Dozentennachname – Matrikelnummer“. Zudem müssen Sie in den Dokumenten selbst Ihren Namen und Ihre Matrikelnummer angeben.

Um erfolgreich an der Ringvorlesung teilzunehmen, müssen insgesamt drei schriftliche Arbeiten nach je einem Drittel der Veranstaltung zu einem der Sitzungstermine im vorangegangenen Veranstaltungsdrittel elektronisch via moodle abgegeben werden. Jede/r DozentIn, wird dazu eine Aufgabe formulieren.
Die Abgabefrist für die Aufgaben endet je eine Woche nach dem Veranstaltungsdrittel und eine spätere Abgabe ist nicht möglich. Ggf. verlangen einzelne Dozierende eine nicht-elektronische Abgabe. Darauf wird aber dann von diesen explizit zu dem Veranstaltungstermin hingewiesen. An der Abgabefrist ändert sich dann nichts, aber zur Abgabe müssen Sie dann die Postfächer der jeweiligen Dozierenden nutzen. Bei allen anderen Dozierenden ist ausschließlich die elektronische Einreichung via moodle möglich.
Für die elektronische Noteneintragung müssen Sie sich zu gegebener Zeit (siehe Erinnerungsmail seitens der Fakultät) in unisono für die Studienleistung anmelden.
Es müssen min. 2 von 3 Aufgaben bestanden sein. Wenn 2 Aufgaben nicht bestanden wurden (das steht bis zum Ende des Semesters fest), besteht die Möglichkeit, eine der beiden Aufgaben einmalig zu überarbeiten. Diese Überarbeitung muss bzgl. Inhalt, Abgabetermin und Abgabeform mit der/dem jeweiligen Dozentin/Dozenten abgesprochen werden. Sollte die Aufgabe auch nach dieser Überarbeitung nicht bestanden sein (oder von Beginn an alle 3 Aufgaben nicht bestanden sein), ist die Veranstaltung insgesamt nicht bestanden und muss in einem späteren Wintersemester wiederholt werden. (Die freiwillige Abgabe von mehr als 3 Aufgaben hat keinen positiven Einfluss auf die Benotung; es wird je nur die erste Aufgabe des jeweiligen Veranstaltungsdrittels gewertet; zudem ist keine Überarbeitung von mehr als einer Aufgabe möglich.)
Plagiierte Arbeiten (z.B. von KommilitonInnen abgeschriebene Aufgabenbearbeitungen) führen bei allen (!) daran Beteiligten zu einem Nichtbestehen („n.b.“). Die Ringvorlesung gilt damit als nicht bestanden und kann frühestens in einem späteren Wintersemester wiederholt werden.
Eine Liste (ohne Namen, Matrikelnummer-sortiert) mit den bereits bewerteten Aufgaben wird regelmäßig aktualisiert (sobald Noten mehrerer DozentInnen vorliegen) in moodle hochgeladen.
Selbstverständlich können Sie, wenn Sie Fragen zum Thema und/oder zur Benotung haben, die jeweiligen DozentInnen in der Sprechstunde aufsuchen (bitte beachten Sie dafür ggf. im Vorfeld zu vereinbarende Gesprächstermine je nach DozentIn).

Falls Sie noch Fragen haben: In der ersten Sitzung werden Ihnen die Modalitäten der Veranstaltung genau erläutert.

Terminübersicht (Datum__DozentIn__Thema):

  • 08.10.19__Gerwinski__Organisation der Veranstaltung & Infos zum Studiengang SK
  • 15.10.19__Baumann__Grammatische Zweifelsfälle
  • 22.10.19__Klein__Sprachliche und andere Zeichen
  • 29.10.19__Koch__Europäische Sprachenpolitik
  • 05.11.19__Wolter__Sprachen lehren und lernen
  • 12.11.19 entfällt
  • 19.11.19__Rüdiger__Korpuslinguistik
  • 26.11.19__Gerwinski__Konversationsanalyse
  • 03.12.19__Habscheid__Textlinguistik
  • 10.12.19__Thörle__Mehrsprachigkeit
  • 17.12.19__Jautz__Mentales Lexikon
  • 07.01.20__Albers__Sprache und Gender
  • 14.01.20__Vogel, F.__Strategische Kommunikation
  • 21.01.20__Kunter__Sprache und Information

[LINK]

Mehr

Vortrag: „Maschinelle Sprachverarbeitung in der Diskursanalyse – Ein Überblick“ im Rahmen der „Ringvorlesung: Kommunikative Strategien des Politischen – Einblicke in die computergestützte Diskursforschung“ (Universität Siegen)

Vortrag: „Maschinelle Sprachverarbeitung in der Diskursanalyse – Ein Überblick“ im Rahmen der „Ringvorlesung: Kommunikative Strategien des Politischen – Einblicke in die computergestützte Diskursforschung“ (Universität Siegen)

Zeit & Ort: WS 2019/20 (immer Mi, 16-18 Uhr) im Hörsaal AR-B 2104/05 an der Universität Siegen

Die Ringvorlesung verknüpft zwei hochaktuelle wie auch brisante Themen unserer Gesellschaft, nämlich erstens Algorithmen und Methoden der maschinellen Sprachverarbeitung, zweitens strategische Kommunikation in öffentlichen Diskursen.

Die Entwicklung neuer Forschungsmethoden in der Korpus- und Computerlinguistik, Sprachinformatik oder auch in neueren Varianten der Medienwissenschaft erlauben uns heute die induktive Auswertung großer Datenmengen (mehrere Tausend bis Millionen von Texten), etwa zur Beschreibung von Sprachgebrauchsmustern, massenmedialen Images oder sozialen Netzwerken. Die Ergebnisse dieser algorithmisierten Forschung finden ihrerseits Anwendung in verschiedenen Bereichen, etwa in der Mensch-Computer-Interaktion (z.B. mit Einsatz von Sprachassistenten in immer mehr Haushalten und Gerätekategorien), in der automatisierten Erkennung von „Spam“/“Junk“-Nachrichten oder „Hatespeech“, in digitalen Nachschlagewerken oder Expertensystemen zur Optimierung von Gesetzesentwürfen in der Legislative. Nicht nur für angehende Geistes-, Sozial- und KulturwissenschaftlerInnen innerhalb der Universität, auch in der Alltagspraxis von Unternehmen und Verwaltung wird es zukünftig immer wichtiger, Kompetenzen zum Umgang mit algorithmisierter Sprachverarbeitung aufzubauen. Dies erfordert ein grundlegendes Verständnis der Funktionsweise und der Grenzen ihres Einsatzes, um die Methoden kritisch zu hinterfragen und aktiv zur Weiterentwicklung maschineller Sprachverarbeitung beizutragen.

Besonders deutlich wird dies in der computergestützten Kommunikation öffentlicher Diskurse: Ist es wirklich möglich, Wahlen mit „Chatbots“ zu beeinflussen? Wie funktioniert User-Tracking, staatliche Überwachung oder die automatisierte Auswahl von Job-BewerberInnen mithilfe algorithmisierter Sprachanalyse und welche Risiken ergeben sich daraus für den demokratischen Alltag des Einzelnen? Oder umgekehrt: Wie lassen sich computergestützte Analysemethoden fruchtbar machen, um die Verfasstheit von Diskursen – die Denk- und Machtmuster – in digitalisierten Gesellschaften zu untersuchen und Formen strategischer Kommunikation (von verdeckter Werbung, über Fake-News und Lobbyismus bis hin zu Propaganda) sichtbar(er) zu machen?

Studienleistung: Eine Studienleistung kann durch Bestehen eines kurzen (halbstündigen) Tests am Ende der Veranstaltung erworben werden.
Prüfungsleistung: Eine Prüfungsleistung kann erwerben, wer als Teil einer Studiengruppe eine kleine empirische Analyse im Rahmen des Veranstaltungsthemas erarbeitet, am Ende der Ringvorlesung mündlich vorstellt und im Anschluss in einem wissenschaftlichen Essay (im Umfang von etwa 8 Seiten) ausarbeitet.

[LINK]

Mehr

CorpusExplorer (Update Q3 2019)

Das Q3 2019 Update des CorpusExplorers bringt folgende Neuerungen und Verbesserungen:

Neue Funktionen:

  • Neue Formate:
    • FoLiA XML
    • RSS Feeds
    • Speedy (Import/Export) – Danke an/Thanks to: Iian Neill & Andreas Kuczera
    • YouTube JSON
    • Wiktionary
    • Redewiedergabe – http://www.redewiedergabe.de/korpus.html
  • QuickMode – Ursprünglich war der QuickMode nur für Entwickler*innen gedacht. Deren Programme konnte so Daten mit dem CorpusExplorer aufbereiten (annotieren/konvertieren). Der QuickMode ist jetzt auch für normale Nutzer verfügbar. Drücken Sie gleichzeitig die Tasten WINDOWS + R. Ausführen erscheint. Geben Sie dort folgendes ein: CorpusExplorer.exe –help und bestätigen Sie mit „Ok“.
    Eine Anleitung erscheint. Folgende Modi sind aktuell verfügbar:

    • –help – Zeigt die Hilfe an.
    • –anno – Annotiert Rohtext und zeigt einen Dialog zum Speichern der fertigen Daten an.
    • –conv – Konvertiert Korpora in unterschiedliche Formate.
    • –sreset – Soft Reset / Falls der CorpusExplorer nicht startet, probieren Sie diese Option aus.
    • –hreset – Sollte der „Soft Reset“ (s. o.) keine Wirkung zeigen, können Sie damit eine Neuinstallation des CorpusExplorers auslösen.

Verbesserungen:

  • Der CorpusExplorer lädt jetzt eine Visualisierung on-demand. D. h. wenn Sie eine Analysemodul erstmalig (nach Programmstart) aufrufen, wird es erst dann geladen. Zuvor wurden alle Analysemodule direkt bei Programmstart geladen. Dies reduziert (A) den RAM-Verbrauch von ca. 450 MB auf 220 MB und (B) die Startzeit des CorpusExplorers sinkt merklich.
  • Die CorpusExplorer Console schreibt Analysedaten jetzt direkt in den Ausgabestream. Dies führt zu einem höheren Durchsatz – gerade bei sehr großen Daten.
  • Verbesserte Darstellung auf HighDPI Displays. Wer meine Arbeit verfolgt weiß: ich schlage mich schon lange mit HighDPI rum. Jetzt ist die Lösung endlich soweit, dass sie gut funktioniert. Gelegentlich gibt es noch kleinere Unterschiede. Aber bis zu einer Skalierung von 150% kann ich eine gute Darstellung garantieren.
  • Verbesserte Suche nach Belegstellen. Wurden die Belegstellen z. B. zur Frequenzanalyse ausgeklappt, wurden bisher alle Belege des jeweiligen Token angezeigt. Jetzt werden nur noch die Belege angezeigt, die mit allen Einträgen POS/Lemma/Wort übereinstimmen.
  • Die COSMAS II wurde verbessert. RTF-Exporte lassen sich jetzt direkt einlesen.
  • APAEK PDF wurde verbessert.
  • Verbesserte Python Schnittstelle (Python > CorpusExplorer > Python).
  • Das Teilprojekt „Furious-Index“ ist weitgehend abgeschlossen. Dadurch beschleunigt sich der Zugriff auf CEC6-Dateien im STREAM-Modus um Faktor 10.
  • Der Server für die Telemetrie wurde umgezogen. Entsprechend werden die Telemetriedaten ab jetzt an den neuen Server geschickt.
  • Es werden neue Telemetrie-Daten erhoben. Hierzu zählt, welche Dateiformate für die Annotation und den Import verwendet werden. Ebenso wie viele Dateien geladen werden und wie lange die initiale Verarbeitung benötigt. Dadurch kann in einigen Wochen/Monaten die Performance für Annotation/Import weiter verbessert werden.
  • Weitere kleinere Verbesserungen und Performance-Optimierungen.
Mehr

Neues Add-on: DTA::CAB

Neues Add-on: DTA::CAB

DTA::CAB ist ein orthographischer Normalisierer für historische Sprachstufen des Deutschen (entwickelt von Bryan Jurish, Zentrum für digitale Lexikographie, Berlin-Brandenburgische Akademie der Wissenschaften). Mit diesem Add-on können Sie frühneuhochdeutsche und mittelhochdeutsche Texte automatisch normalisieren und annotieren. Nach der Installation wählen Sie dazu den Tagger „DTA::CAB + TreeTagger“ aus. Eine bestehende Internetverbindung während der Normalisierung/Annotation ist erforderlich, da die Daten an das „Zentrum für digitale Lexikographie, Berlin-Brandenburgische Akademie der Wissenschaften“ geschickt werden (es erfolgt keine Speicherung – die Texte werden direkt verarbeitet). Nach der Annotation stehen Ihnen vier Layer bereit (Wort = die normalisierte Wortform / Lemma = das Lemma der normalisierten Wortform / POS = Part-of-Speech bzw. Wortart / Original = der originale Rohtext). Wenn Sie dieses Add-on im Rahmen einer
wissenschaftlichen Arbeit nutzen, dann zitieren Sie bitte folgende Arbeit:

Jurish, B. Finite-state Canonicalization Techniques for Historical German.
PhD thesis, Universität Potsdam, 2012 (defended 2011). URN
urn:nbn:de:kobv:517-opus-55789

Weitere DTA::CAB relevante Arbeiten finden Sie unter:
http://odo.dwds.de/~jurish/software/dta-cab/#pubs

Das Add-on können Sie entweder direkt aus dem CorpusExplorer heraus installieren, oder über die Add-on-Seite herunterladen.

 

Mehr

CorpusExplorer (Update Q2 2019)

Das Mai Update des CorpusExplorers bringt einige Verbesserungen und Korrekturen.

Neu:

  • In Kooperation mit Bryan Jurish wird es ein Add-on für DTA::CAB geben. Dazu am Wochenende mehr.

Verbesserungen:

  • Die Performance des TreeTagger-Moduls wurde verbessert.
  • Das KWIT-Analysemodul erstellt nun keine 0-Kanten mehr.
  • Erste Verbesserungen des Ecosystems (System das im Hintergrund alle Teilkomponenten überwacht und ggf. nachinstalliert.). Weitere Verbesserungen, insbesondere was die Performance anbelangt, werden folgen.
  • Verbesserungen und Erweiterungen der Dateiformate.
Mehr

CorpusExplorer (Update Q1 2019 + März SP1)

Heute wurde ein kleines Zusatzupdate (SP) für den CorpusExplorer veröffentlicht. Folgendes wird dadurch verbessert:

  • Unterstützung für CoraXML 0.8 und CoraXML 1.0 – Damit können Dateien von https://www.linguistics.rub.de/comphist/resources/cora/index.html geöffnet werden. Zuvor war das Format nur über die Erweiterung Salt&Pepper verfügbar (hierbei wurde das Format zunächst nach Salt-XML, CoNLL und abschließend nach CEC6 konvertiert) – der jetzige Import-Prozess ist direkt CoraXML > CEC6.
  • Pandoc – hier wurde die Unterstützung für UTF-8 verbessert. Die Installationspakete wurden aktualisiert und die Installationsgröße konnte um 20 MB reduziert werden.
  • SDK: Layernamen müssen jetzt nicht mehr bereits bei der Instantiierung bekannt sein, sondern werden nachträglich (bei Gebrauch) automatisch erzeugt.
  • Der NexisLexis Import wurde verbessert – die Erkennung von Einsprungspunkten für den Formatparser ist jetzt flexibler.
Mehr

CorpusExplorer (Update Q1 2019)

CorpusExplorer (Update Q1 2019)

Es ist soweit – ein großes Update wartet auf alle Nutzer*innen des CorpusExplorers.

Hier eine Zusammenfassung der Neuerungen/Verbesserungen:

  • Eine persönliche Angelegenheit zuerst: Seit mehreren Versionen unterstützen mich viele Nutzer*innen bei der Entwicklung, indem Sie der Übermittlung anonymisierter Telemetrie-Daten zustimmen. Euch allen vielen Dank. Meine Erfahrungen die ich dadurch sammeln konnte, sind unersetzlich. Mich störte aber (A) das diese Daten an Dritte (Microsoft Azure) gehen – und – (B) das eigentlich mehr Daten gesammelt werden, als nötig (ich hatte das schon so restriktiv eingestellt wie möglich, aber Azure Application Insights ist sehr sammelfreudig). Als Verfechter von Datensparsamkeit habe ich jetzt eine eigenen Lösung gebaut – der Quellcode für den Server (der die Daten sammelt) findet ihr auf GitHub (https://github.com/notesjor/OpenSourceTelemetrie). Der CorpusExplorer nutzt jetzt also eine eigenen, OpenSource Infrastruktur, die außerdem sehr datensparsam ist. Es werden z. B. keine IP-Adresse mehr protokolliert.
  • Die neue Startseite / die neue Korpus Übersicht
    Für etwas mehr Komfort sorgen die neue Startseite und die neue „Korpus Übersicht“.
    Auf der Startseite gibt es jetzt die Sektion „Aktuelles und Neuigkeiten“ (vielleicht etwas doppelt gemoppelt). In diesem Bereich werden aktuell Meldungen zum CorpusExplorer angezeigt (ein per RSS synchronisierter Newsfeed). Dies Betrifft sowohl Programm-Updates als auch z. B. Workshops (Wer eigenen Workshops bewerben will, kann sich gerne melden – Kontakt). Darunter ist die Sektion „Verfügbar Add-ons“ zu finden. Hier werden alle offiziellen Add-ons des CorpusExplorers aufgelistet, die sich mit einem Klick installieren lassen (auch hier: wer eigene Entwicklung plant oder einstellen möchte – gerne melden).
    Auf der „Korpus Übersicht“ findet sich eine Sektion „Frei verfügbare Korpora“ – Auch diese lassen sich mit einem Klick installieren/abonnieren.
  • Neue Dateiformate:
    • Unterstützung für TEI-XML P5 des CAL²-Projekts
    • Unterstützung für OffeneGesetze.de
    • Export für das SQLite basierte Format von coquery.org (aktuell BETA) – setzt eine Installation des SQLite-Addons voraus.
  • Verbesserungen:
    • Cut-Off-Phrasen sind jetzt strenger (auf Begriff (A) muss Begriff (B) folgen). Die Spanne zwischen den Begriffe A+B wird jetzt ausgegeben und erlaubt ein nachträgliches Filtern.
  • Korrekturen:
    • Verbesserung des CEC6-Stream
    • Die RegEx-Suche in Tabellen wurde verbessert (Spalten wurden nicht korrekt angezeigt, Fehlermeldungen [Easteregg] wurde entfernt).
    • Schnappschuss Refresh wurde verbessert.
Mehr

Workshop 19.03./20.02.2019 – „Information Extraction aus frühneuhochdeutschen Texten“

Die automatisierte Erschließung historischer Texte, deren Sprache und Orthografie noch keiner Standardisierung unterliegt, ist schwierig. Am Zentrum für Informationsmodellierung laufen zur Zeit drei Projekte, die sprachlich im Frühneuhochdeutschen angesiedelt sind: die Erforschung frühneuzeitlicher Diplomatenkorrespondenz (fwf, P 30091), die Edition von Reichstagsakten von 1576 (fwf, I 3446) und die Erschließung und Auswertung spätmittelalterlicher Kochrezepte (fwf, I 3614). Um eine computergestützte Aufbereitung sprachlicher Inhalte bei der Texterschließung einsetzen zu können, richten die drei Projekte in Kooperation mit dem HRSM Projekt KONDE – Kompetenznetzwerk Digitale Edition einen Workshop aus, in dem NLP-Methoden und Werkzeuge zum Information Extraction auf frühneuhochdeutsche Texte angewandt werden sollen. Der Workshop umfasst folgende Einheiten:

 

Montag Nachmittag, 18.03.2019:

  • Einführung in die Varianz des Frühneuhochdeutschen (Erika Windberger-Heidenkummer, Universität Graz)

Dienstag, 19.03.2019:

Mittwoch Vormittag, 20.03.2019:

Der Workshop wird auf das Textmaterial der Projekte fokussieren, Interessierte sind aber prinzipiell willkommen! Die Teilnahme ist für zentrumsexterne Personen allerdings kostenpflichtig (€200.-/Person); Anmeldungen bitte bei ta.zarg-inunull@gulk.tumleh

Mehr

CorpusExplorer (XMAS Update Dez/Jan 2018/19)

Erstmal wünsche ich allen Nutzer*innen des CorpusExplorers frohe Feiertage und einen guten Rutsch ins Jahr 2019. Die letzten Tage des Jahres nutze ich, um ein paar Dinge im CorpusExplorer zu verbessert. Folgendes hat sich getan:

  • Übersichtsanzeige wurde verbessert. Bisher wurden die Token (z. B. auf den Übersichtsseiten zu Korpora und Schnappschüssen) immer in Mio. angegeben. Dies führte in letzter Zeit zu einigen Irritationen und Nachfragen wie: „Bei mir zeigt der CorpusExplorer nur 0,00 Token an“. Kleine Korpora erweckten also den Anschein leer zu sein. Die Anzeige der Token und Dokumente skaliert jetzt automatisch in Tausenderschritten – Tsd., Mio. Mrd.
  • OpenThesaurus steht jetzt als Zusatz-Tagger bereit. Damit kann eine Synonym-Suche realisiert werden.
  • AltoXML wurde verbessert (weniger Fehler – schnellere Verarbeitung).
  • Neue Datenformate für Blogger und Tumblr.
  • Geringfügige Verbesserungen an der GUI.
Mehr

CorpusExplorer (Update Nov/Dez 2018) – Reguläre Ausdrücke und CutOff-Phrasen

CorpusExplorer (Update Nov/Dez 2018) – Reguläre Ausdrücke und CutOff-Phrasen

Auf einem Workshop in Würzburg (2018-11-09) baten mich mehrere Teilnehmer*innen, dass ich Reguläre Ausdrücke (Regular Expression – kurz RegEx) im CorpusExplorer ermöglichen soll. Bisher habe ich RegEx vermieden – oder zumindest in der Oberfläche gut versteckt. Auch weiterhin halte ich diese hässlichen RegEx-Dinger, die mehr an Marsianisch oder Klingonisch erinnern, als an eine Abfragesprache, für überflüssig und hinderlich, wenn es um die Gestaltung einer grafischen Benutzerschnittstelle geht (als Programmierer weiß ich natürlich den Vorteil von RegEx zu schätzen – hier sei nur auf meinen Favoriten „<[^>]*>“ verwiesen, der sämtliche XML-Tags aus einer Datei entfernen kann).

Es gibt aber zwei Argumente die ich für überzeugend halte:

  1. Es gibt viel existierendes Wissen zu Regulären Ausdrücken – meist in Form mühsam zusammengeklöppelter Abfragen auf Schmierzetteln (ist bei mir nicht anders). Dieses Wissen will man natürlich weiterhin nutzen.
  2. Bei einigen Abfragen, z. B. bei der Suche nach verschiedenen Wortformen können RegEx der/dem Eingeweihten helfen, schneller ans Ziel zu kommen.

Daher führt dieses Update folgende neue Funktionen ein:

  • RegEx für die Erstellung von Schnappschüssen. Mit und ohne Satzgrenzenerkennung.
  • RegEx für alle Tabellen-Analysen, zum schnellen Suchen von Werten.

Zusätzlich gibt es folgende neue Funktionen / Verbesserungen:

  • Neue Analyse unter „Phrasen & Muster“ > „CutOff-Phrasen“.
    Hierbei lässt sich nach Phrasen suchen, die zwischen zwei Begriffen stehen. Eine maximale Spanne kann angegeben werden.

    Neue Analyse: CutOff-Phrasen

  • Das Problem mit hochauflösenden Bildschirmen kurz HighDPI tauchte leider wieder auf. Für diese Bildschirme wurden neue Korrekturen eingeführt.
  • Die Ikonografie für Filter wurde vereinheitlicht / Die Icons auf der Korpusübersichtsseite wurden aufgehübscht.

 

Mehr

CorpusExplorer (Update Aug/Sep/Okt 2018) – Favoriten, Formate, Flexibilität und neue Funktionen

Das August/September/Oktober Update des CorpusExploreres bringt eine ganze Liste neuer Funktionen mit sich. Einige vereinfachen die Bedienung, einige erlauben zusätzliche Dateiformate und andere bringen neue Funktionen für Nutzer*innen und Entwickler*innen.

  • Auf Nutzerwunsch wurde unter „Analysen“ ein neuer Menüpunkt hinzugefügt: Favoriten. Häufig genutzte Analysen werden hier per Schnellzugriff aufgelistet. Außerdem ist es möglich, in den Projekteinstellungen eigene Favoriten festzulegen. Diese Favoriten-Settings lassen sich auch Ex-/Importieren. Damit kann man z. B. für ein Seminar bestimmte Analysen voreinstellen.
  • Neue Analyse: Skipgram
  • Neue Dateiformate: Gutenberg DVD 13 (setzt eine entsprechend lizenzierte DVD voraus), DTAbf (vorher nur DTAbf.TCF – jetzt voller Support), PMG-XML, Direkter Import für zuvor mit dem TreeTagger annotierter Dateien (Nutzerwunsch), außerdem Import von CATMA-Dateien (mit und ohne bestehender Annotation). ALTO-XML wird jetzt in der Version 1.2 unterstützt (neuere Versionen folgen). Der WebLicht Im-/Export wurde überarbeitet. Es gab Probleme mit dem Dateiformat – der Im-/Export wurde mit unterschiedlichen Texten validiert.
  • Neue Funktionen für die Konsole:
    • Stilvergleich mittels N-Grammen und Burrows Delta.
    • Analyse mittels MTLD und VOCD
    • Ausgabe ganzer Dokumente mit: get-document
    • get-document-displaynames listet alle Dokumente mit Anzeigename und GUID auf.
    • get-document-metadata [GUID] – hiermit lassen sich die Metadaten eines gewählten Dokuments anzeigen.
    • query-list – Funktioniert wie query, nur das am Ende kein Schnappschuss/Korpus steht, sondern eine Liste mit Dokumenten Anzeigenamen und GUIDs.
    • cluster-list – Funktioniert wie cluster, nur das am Ende keine Schnappschüsse/Korpora stehen, sondern eine Liste mit Dokumenten Anzeigenamen und GUIDs.
    • N-Gramme können jetzt selektiv analysiert werden.
    • Die Hilfe wurde überarbeitet. Optionale Parameter werden zukünftig mit { } hervorgehoben.
    • Der Skript-Modus kommt jetzt mit weniger Aktualisierungen aus. Dies sorgt für eine bessere Anzeigequalität.
    • Die Konsole kann jetzt einen RESTful-Webservice starten. Die Funktion ist aktuell noch experimentell.
  • Der CorpusExplorer ist von Anfang an auf Flexibilität ausgelegt. Dateiformate, Tagger, Analysen, Visualisierungen, uvm. konnten bisher als Add-ons erstellt und nachinstalliert werden. Bei einem Workshop wurde ich gefragt, ob man nicht auch Analysen mit unterschiedlichen Metriken/Algorithmen erweitern könnte (z. B. Vokabularkomplexität – hier gibt es verschiedene Metriken)… also eine bestehende Analyse mit zusätzlichen Features ausstatten kann. Nach einigen Überlegungen ergab sich eine einfache und intuitive API – Diese Add-ons werden als Sideload-Addons bezeichnet. Jede Analyse/Visualisierung kann Sideload-Addons zulassen. Aufruf: Configuration.GetSideloadFeature<T>() – T ist hierbei der Typ (am besten ein Interface oder eine abstrakte Klasse) von dem alle Sideload-Addons erben müssen. Der Aufruf gibt IEnumerable<T> zurück – damit ist sichergestellt, dass eine Analyse/Visualisierung nur Sideload-Addons lädt, die sie auch verarbeiten kann.
  • Kleine Verbesserungen an der Oberfläche und Fehlerkorrekturen – z. B. wurden verschiedene Korpora geladen, so wurden in der Korpusübersicht Layer mit gleichem Namen mehrfach gezählt, jetzt gibt die Übersicht nur unterschiedliche Layer aus.
Mehr

CorpusExplorer (Update Juni/Juli 2018) – Sentiment-Detection, Layer wählbar, verbesserte Analysen

CorpusExplorer (Update Juni/Juli 2018) – Sentiment-Detection, Layer wählbar, verbesserte Analysen

Das Update für Juni/Juli 2018 bringt folgende Neuerungen und Verbesserungen mit sich:

  • Sentiment-Detection: Unter den Spezialfunktionen gibt es jetzt das neue Analysemodul „Sentiment Detection“. Damit lassen sich vordefinierte SD-Wörterbücher auf ein(en) Korpus/Schnappschuss anwenden. Eine Besonderheit: Wenn Sie die Analyse starten, können Sie entweder aus einem vorgefertigten Modell wählen, dieses manuell ändern oder ein eigenes Modell laden.

    Neu: Sentiment-Detection

  • KWIC Ansicht überarbeitet: Bisher war die KWIC-Ansicht (Volltextzugriff > Texte suchen (KWIC)) sehr umständlich zu bedienen. Man musste einzelne Ergebnisse nach erfolgreicher Suche manuell anwählen. Die neu überarbeitete KWIC Ansicht nutzt die bereits vielfach bewährte Tabellenansicht zur Darstellung von KWIC-Resultaten.

    Überarbeitet: KWIC

  • Keyword-Analyse überarbeitet: Die Keyword-Analyse wurde überarbeitet und bietet jetzt mehr Daten.

    Überarbeitet: Keyword-Analyse

  • Links/Rechts-Frequenz überarbeitet: Bisher war es nur möglich zu sehen, ob ein Wort rechts, links oder gar keine Tendenz im Verhältnis zum Suchwort hat. Die neu überarbeitete Fassung bringt eine ganze Fülle neuer Informationen mit sich. So ist jede einzelne Position links oder rechts erkennbar.

    Überarbeitet: Links/Rechts-Frequenz

  • Layer, Layer, Layer: Im letzten Update wurde für alle relevanten Analysemodule die Möglichkeit geschaffen, die Daten zu exportieren. Mit dem Juni/Juli 2018 Update kommt jetzt die Möglichkeit, die Analyselayer für fast alle Analyse abzuändern. Damit lassen sich z. B. Kookkurrenzen auf Lemma oder POS Ebene berechnen.
  • Korpora – Überprüfung: Wurde alles richtig annotiert? Funktioniert die Satzgrenzenerkennung? Wurde jedes Dokument mit den gleichen Einstellungen annotiert?
    Wenn Sie ein neues Korpus laden, überprüft der CorpusExplorer jetzt jede Datei auf Integrität. Nur wenn es Probleme gibt, meldet sich der CorpusExplorer und schlägt Ihnen mögliche Lösungen vor – Aus diesen Lösungen können Sie dann per Mausklick auswählen.

    Neu: Korpora werden automatisch überprüft

  • XML-Skripte für Console: Ein bisher noch wenig genutztes (weil auch bisher wenig dokumentiertes) Feature ist die Möglichkeit, den CorpusExplorer per Konsole (also ohne GUI) zu steuern. Dies ist besonders dann hilfreich, wenn Sie Analysen automatisieren möchten oder wenn der CorpusExplorer aus anderen Programmen/Programmiersprachen z. B. R aufrufen wollen. Dieses Feature wurde jetzt um die Möglichkeit erweitert, mehrere Befehle in einem XML-Skript zu speichern. Außerdem wurde das Feature jetzt besser Dokumentiert: [siehe]

    Neu: Abfragen mit XML-Skript

  • ElasticSearch: Der CorpusExplorer ist nun kompatibel mit ElasticSearch 6.x
  • Vereinheitlichung GUI: Die Eingabemasken für Suchausdrücke wurden vereinheitlicht. Der Farbauswahldialog (beta im letzten Update) ist jetzt für weitere Analysen verfügbar. Außerdem wurde der Dialog zum Anwählen alternativer Schnappschüsse (z. B. in Vergleichsanalysen) überarbeitet.
  • Fehler „Korpusname“: Wurde im Prozess „Dokumente annotieren“ ein Korpusname vergeben, der ungültige Pfadzeichen (wie z. B. „, :, \) enthielt, dann konnte dies zu zerstückelten Korpusnamen führen. Das Update behebt den Fehler, indem ungültige Pfadzeichen zukünftig durch Unterstriche „_“ ersetzt werden.
  • Überarbeitetes Installations-/Update-Packaging: Durch die neue Paketierung sind einzelnen Downloads kleiner – gerade Nutzer*innen mit schlechter Internetanbindung profitieren davon.
  • Aktiver Speicherschutz: Der CorpusExplorer ist so konzipiert, dass er das Maximum an Performance aus einem Rechner herausholt. Mehrere parallele Berechnungen und intensive Nutzung des Arbeitsspeichers erlauben Analysen, die viele andere Programme nicht oder nur wesentlich langsamer verarbeiten. Auf einigen Rechnern kann dies zu Problemen führen, insbesondere wenn weitere Programme im Hintergrund laufen und der Arbeitsspeicher knapp ist. Der neue Schutzmechanismus soll vermeiden, dass der Arbeitsspeicher überläuft – damit sollte der CorpusExplorer auf den betroffenen Rechnern weniger Abstürze verursachen.
  • Allgemeine Korrekturen und kleiner Bugfixes
Mehr

CorpusExplorer (Update Mai 2018)

Folgende Funktionen wurden in der Mai 2018-Version des CorpusExplorers hinzugefügt/verbesser:

  • Neue annotierbare Dateiformate:
    • Deutscher Bundestag Plenarprotokolle OpenAccess
    • Deutscher Bundestag Drucksachen OpenAccess
    • Deutscher Wortschatz Universität Leipzig
    • PostgreSQL Dump der Seite kleineanfrage.de
  • Neue Clone-Detection: Mittels Clone-Detection können Text-Dubletten erkannt und aus einem Korpus entfernt werden. Bisher gab es nur zwei Alternativen. Entweder die sehr schnelle und SHA512 basierte Analyse, die leider nur 100% Dubletten erkennt. Oder die sehr langsame vektorbasierte Analyse, die auch ähnliche Texte erkennen kann. Neu ist der Ansatz auf Basis von so gennaten Fuzzy Hashes (genauer: context triggered piecewise hashes (kurz: CTPH)). Dieser Ansatz kommt z. B. bei der Erkennung von SPAM/JUNK-Mails zum Einsatz und eignet sich hervorragend für die Analyse von stark recyelten Texten (z. B. Zeitungsartikeln in denen nur wenige Wörter oder Satzzeichen getauscht werden). CTPH verfügt über eine gute Performance und über eine gute Erkennungsrate und damit einen guten Mittelweg zwischen SHA512 und Vektoranalyse.
  • Neue Filter für Metadaten – Beginnt mit … & Endet auf …
  • Verbesserungen für einige weitere annotierbare Dateiformate wie PDF, APAEK (http://www.apaek.uni-frankfurt.de), etc.
Mehr

CorpusExplorer (Update April 2018) – schneller, exportfreudiger & neue Sprachmodelle

Auch wenn erst Ende März ist, so ist das April Update bereits fertig.

Neue Funktionen / Verbesserungen:

  • UDPipe – Teil 1: Der CorpusExplorer kann ab jetzt eine bestehende UDPipe inkl. Universal Dependencies Sprachmodelle ansprechen (Herstellerwebseite).
    UDPipe muss zuvor installiert und die UD-Sprachmodelle müssen im selben Verzeichnis liegen wie die „udpipe.exe“.
  • UDPipe – Teil 2: Für alle, denen die Installation von UDPipe zu kompliziert ist, gibt es ein CorpusExplorer-Addon. Dieses installiert UDPipe vollautomatisch inkl. aller verfügbaren Sprachmodelle (aktuell werden 69 Sprachen unterstützt). Das Addon wird auch zukünftig die Aktualisierung von UDPipe sicherstellen. Außerdem stellt das Addon einen performance-optimierten Tagger bereit.
    Daher: Wer UDPipe nur selten nutzen will oder nur wenige Sprachen benötigt, kann die integrierte Version (siehe: UDPipe – Teil 1) nutzen. Wer viele Sprachen benötigt oder große Korpora verarbeiten muss, der sollte das Addon nutzen. (UDPipe Addon herunterladen)
  • MarMoT: Als weiteres Addon wird der MarMoT POS-Tagger bereitgestellt. Dieser sehr exakte Tagger stellt 18 Sprachmodelle zur Verfügung. (MarMoT herunterladen)
  • Neue Autosplit-Optionen: Mittels Autosplit lassen sich Korpora in beliebige Subkorpora/Cluster zerteilen. Für Datumsangaben kommt die Möglichkeit hinzu, Jahrzehnte und Jahrhunderte zu splitten. Für alle Cluster-Splitter kann jetzt die Splitting-Methode gewählt werden. Zuvor war es nur möglich, die Cluster anhand der Werte zu befüllen. Dies führt jedoch in der Praxis zu Clustern mit sehr unterschiedlichen Größen. Cluster können jetzt einen gleichen (Dokument) oder ähnlichen (Token, Sätze) Umfang durch dynamische Grenzen erhalten. Gleichgroße oder ähnlich große Cluster lassen sich besser Vergleichen.
  • Export-Funktionen: Bisher hatten nur einige Analysen eine Export-Funktion. Ab jetzt können alle Analysedaten exportiert werden. Exportformate sind z. B. CSV, Excel, PDF, JSON, uvm.
  • Pivot-Tabelle Layout laden/speicher: Neben einer Export-Funktionalität für die Daten wurde alle Pivot-Analyse die Möglichkeit hinzugefügt, dass Layout (gewählte Spalten/Zeilen, Filterungen, Sortierungen, etc.) zu laden oder zu speichern.
  • Farbverlauf / Farbpalette (beta): Die Heatmap unter Korpusverteilung kann jetzt mit unterschiedlichen Farbverläufen eingefärbt werden. Unter anderem gibt es für den Druck einen Grauverlauf (falls keine Farbgrafiken erlaubt sind) und für Nutzer*innen mit eingeschränkter Farbwahrnehmung optimierte Farbverläufe (z. B. Orange <> Blau). Außerdem lässt sich der Farbverlauf invertieren. Für die Zukunft ist geplant weitere Analysen mit einer Farbauswahl auszustatten.
    Anmerkung: Falls Sie den CorpusExplorer nutzen und eine eingeschränkte Farbwahrnehmung haben, würde ich mich sehr freuen, wenn Sie mich kontaktieren und sich für Usability-Tests zur Verfügung stellen.
  • CEC6 [STREAM] – Neues Dateiformat (beta): Das CEC6-Format hat sich sehr bewährt und wird auch auf lange Sicht das Basisformat für den CorpusExplorer bleiben. Am Format selber wurden keine Änderungen vorgenommen, jedoch gibt es einen neuen Lese/Import-Prozess. Dieser lädt nicht wie üblich, alle Daten direkt in den Arbeitsspeicher (Pro: hohe Performance / Contra: Arbeitsspeicher ist stark begrenzt), sondern ließt nur die notwendigen Sprungmarken ein. Erst wenn eine Analyse startet, werden die notwendigen Daten von der Festplatte gelesen. Dadurch ist der Arbeitsspeicher ist nicht länger die Begrenzung, dafür reduziert sich jedoch die Performance etwas.
    Die bisherige Lösung zur Nutzung unbegrenzt großer Korpora auf Basis von Datenbanken (MySql, SQLite oder ElasticSearch – Addons siehe hier) wird dadurch keinesfalls obsolet. Zukünftig soll der STREAM-Zugriff automatisch aktiviert werden, wenn der CorpusExplorer Arbeitsspeicherengpässe erkennt. Die genannten Datenbank werden weiterhin gepflegt und erweitert – sie sind insbesondere für den Export und die Zusammenarbeit mit anderen Programmen vorgesehen.
  • Performance: Es gibt wie immer Performance-Optimierungen. Insbesondere für die Analysen „Volltext > Texte annotieren“ und „Frequenzanalyse > Tabelle“ – diese sind die meistgenutzten Analysen im Programm.
  • Fehlerkorrekturen: Wie immer wurden auch einige Fehler korrigiert.
Mehr

Folge mir auf Twitter