Operationalisierungen
ich würde sagen, ja - und zwar ab dem Punkt, wo das Output als wissenschaftlich valide behandelt wird-
Operationalisierungen
ich würde sagen, ja - und zwar ab dem Punkt, wo das Output als wissenschaftlich valide behandelt wird-
uf Basis einer Netzwerkanalyse von Shakespeares Hamlet fordert Moretti eine Neukonzeptualisierung von literarischen Figuren und ihrer Hierarchisierung. D
oben kritisiert ihr aber dass M. genau dies nicht tue. Dann bitte dort differenzieren...
ie zugrundeliegenden Annahmen transparent zu machen.
hier wäre Hinweis auf FAIR Prinzipien schön - die ja Operationalsierungen ganz praktisch leiten
das Gesamtverfahren zu betrachten, also sämtliche Erkennungs- oder Messverfahren, die in der Hierarchie von Messverfahren eine Rolle spielen. B
und auch die Entscheidungen bzgl. der zugrundeliegenden Einheiten und Daten
innerhalb einer größeren Sammlung von Daten
der Datenbegriff ist aber auch schon wieder voraussetzungsreich. Daten sind immer auch konstruiert. Johanna Drucker (2011): Daten als capta (abgeleitet vom lateinischen capere = nehmen, fangen, ergreifen), also nicht als „gegeben“, sondern als „genommen“. Sie stellen eine konstruierte Interpretation der Wirklichkeit dar.
Drucker, J. (2011). Humanities approaches to graphical display. Digital Humanities Quarterly, 5(1), 1–22. https://dhq-static.digitalhumanities.org/pdf/000091.pdf
Daten
zu Daten siehe oben...
ist komplex und herausfordernd.
in der Regel?
In diesem Fall können Einschätzungen über die Qualität des Messverfahrens ausschließlich empirisch anhand von Testdaten erfolgen
hier wäre ein Beispiel oder kurze Erläuterung schön (ggf. Hinweis auf Benchmarking bei LLMs)
automatischen Erkennung bzw. Messun
hier ggf. noch auf die Perspektive LLMs/Promting aktualisieren
In der Praxis sind viele Messverfahren lediglich Annäherungen an das Zielkonzept. E
m.E. ist Annäherung bei den latenten, abstrakten, komplexen Konstrukten die Regel. Also dies könnte und sollte stärker formuliert werden, insbesondere wenn man davon ausgeht dass "Daten" immer schon Resultat von Entscheidungen und oft auch Interpetationen sind. Selbst physikalische Messungen subatomarer Partikel werden indirekt vorgenommen. siehe "indirect data" in https://culturalanalytics.org/post/1210-mind-the-agent "what is actually studied as data are the vapor trails left by the subatomic particles in cloud chambers. These vapor trails are the clues to infer what the subatomic particles might actually be like."
im Regelfall andere, bereits operationalisierte Konzepte zunutze,
ggf. Beispiel? etwa character space .... siehe Kommentar zu Moretti/Woloch
Extension des Konzeptes, also die Menge seiner Instanzen,
dies ist eine recht weite Definition des semantischen Begriffs der Extension- brauchen wir ihn hier? - denn eine Operationalisierung verengt dochdie Intension auf wenige(re) spezifische Merkmale so dass die potenzielle Extension auch schrumpfen müsste
ohne tiefgreifende semantische Analysen
ist das Fehlen einer "tiefgreifenden semantischen Analyse" ausschlaggebend? Sind Operationalisierung nicht immer reduktionistisch, egal wie tiefgreifend oder komplex? Mir scheint neben der Parallelisierung ist auch die Frage wie komplex die Indikatoren selbst sind, also ob es sich um EInzelindikatoren handelt, oder um Indikatorenensembles: “Theoretische Konzepte können über Einzelindikatoren gemessen werden (...) häufiger werden komplexe Konzepte jedoch durch eine Zusammenfassung mehrerer Indikatoren erfasst" (Döring, 2023, p. 224). Döring gibt das Beispiel "sog. psychometrische Skalen (7 Abschn. 8.6) und Indizes (7 Abschn. 8.7).” (Döring, 2023, p. 224)
Die Operationalisierung mündet stattdessen in operationale Neudefinitionen der Begriffe.
da scheint mir zentral und eine wichtige Beobachtung des Artikels! Könnt Ihr ein Beispiel geben?
Beispielanalysen
z.B. Character space nach Alex Woloch als Frequenz der Wörter in Figurenrede. Wollochs noch vage Definition (“the amount of narrative space allocated to a particular character [...] the space of the character within the narrative structure [...] the space that he or she occupies within the narrative totality [...] the narrative’s continual apportioning of attention to different characters who jostle for limited space within the narrative totality...”( wird auf die Wörter in dramatischer Figurenrede heruntergebrochen: “the number of words allocated to a particular character”—and, by counting the words each character utters, we can determine how much textual space it occupies." (Moretti, Franco. “‘Operationalizing’: Or, the Function of Measurement in Modern Literary Theory.” Literary Lab Pamphlet 6 (2013). Seite 2.)
die durch das jeweilige Verfahren identifizierten Instanzen
dies ist die Messung? Die Detektion? Die Identifikation? Das Tagging? Automatisierte und/oder händische Annotation?
regelbasierte Verfahren verwendet,
wofür? (auch in der Folge)
Insbesondere für an den Naturwissenschaften orientierte Erkenntnistheorien wie den Phänomenalismus, eine Form des Empirismus, in dem als Quelle der erfahrungswissenschaftlichen Erkenntnis die (stets subjektive) Sinneswahrnehmung erachtet wird, stellt diese Frage ein Problem dar.
Nicht nur für diesen! Das ist ein/das Grundproblem unterschiedlicher mit Evidenz verfahrener Erkenntnistheorien
Wortarten
welche Rolle spielt O hier? Geht es um Detektion?
(z. B. bei Übersetzungen).
Rolle von O erschliesst sich mir noch nicht...
textorientierten
wann sind Konzepte "textorientiert"? Vielleicht eher in Texten nachzuweisen?
theoretischen Konstrukten
Stichwort Proxy, Stellvertreter-Variable, Ersatzgröße für latente, komplexe, abstrakte Variablen (auch Terminologie oben sichern/ansprechen: Begriff, Konzept, Konstrukt, Variable)
Operationalisierungen werden somit als Regeln verstanden, die spezifische wissenschaftliche Handlungen im Sinne operationaler Definitionen anleiten, um den Bedeutungsgehalt theoretischer Begriffe derart abzustecken, dass innerhalb dieses Anwendungsbereichs Messungen möglich werden.[20]
ja, aber ohne Beispiel ist das insbesondere für Neulinge im Feld schwer einzuordnen. Am Beispiel könnte gezeigt werden: Wie soll was gemessen werden? Gibt es dabei unterschiedliche und ggf. parallele Wege zum Ziel? (Stichwort Triangulation; Converging Evidence). Und wie geht man mit unterschiedlichen Operationalisierungen vpn Konstrukten nebeneinander um? Wichtig wohl auch Vorläufigkeit, Kontingenz von Operationalisierungen, und Falsifierbarkeit von dazugehörigen Annahmen/Hypothesen, die ggf. zu Neuoperationalisierungen führen.
ndererseits dient er zur wissenschaftstheoretischen Ausdifferenzierung unterschiedlicher soziologischer Forschungsansätze.
inwiefern? Als Label für ein Vorgehen, das im Unterschied zu den beiden anderen Genannten wie verfährt?
die Praxis der Rückführung theoretischer Begriffe auf phänomenale Instantiierungen derselben
aber doch unter anderen epistemologischen Vorzeichen als bei Bridgman?
Rahmen eines neuen empirischen Realismus wiederzubeleben.[14] [7]
was beeinhaltet dieser denn? Inwiefern unterscheidet er sich von dem Vorgenannten?
Bezüglich der Letzteren wird dabei die Auffassung vertreten, dass diese nur mehr partiell auf Beobachtbares zurückgeführt werden können müssen, um so die empirische Deutung des theoretischen Systems und die Relevanz der Voraussagen, die auf Basis dieses Systems getätigt werden, zu sichern.[13]
was heisst das denn konkret? Auch hier würde ein Beispiel sehr helfen.
Konzeption der empirischen Signifikanz
ist damit gemeint, dass "Bedeutung" eines Begriffes gemessen werden kann? Oder geht es um den Nachweis eines Phänomens mittels evidenzbasierter Methoden? Welche Rolle spielt Unsicherheit? Der Begriff der Signifikanz ist auch wegen der statistischen Denotation voraussetzungsreich.
zum Beispiel die Zuordnungsregeln von Hans Reichenbach[11] oder Rudolf Carnaps Reduktionssätze[12] –
sind die in diesem Artikel relevant? Hier kann man so nicht nachvollziehen, was sie leisten.
Messoperationen stets in einem bestimmten Kontext erfolgen. Auf Basis von Bridgmans früher Konzeption kann dementsprechend immer nur eine Bedeutungsdimension eines Begriffes bestimmt werden bzw. – so wurde Bridgman auch verstanden – je nach Messkontext und -praxis werden alternative Begriffe bestimmt (siehe die Unterscheidung von taktiler und optischer Länge).
mit Bezug auf obigen Kommentar - hier geht es zwar nun um Messoperationen, aber sie bleiben trotz des Hinweises auf "taktile und optische Länge" ziemlich abstrakt.
Das gilt insbesondere für die in Bridgmans The Logic of Modern Physics nahegelegte Gleichsetzung von Bedeutung mit den sie bestimmenden Operationen. Auf Basis einer derartigen Bedeutungskonzeption ist es nicht mehr möglich, die Validität von Messoperationen zu überprüfen, bestimmen diese Operationen doch die Bedeutung der in ihrem Vollzug angewandten theoretischen Begriffe.
genau - aber diese umfassende Herleitung von Bridgman scheint mir für den Glossarartikel zu voraussetzungsreich btw. umfänglich. Besser wäre es m.E. zu erörtern, welche Verwendungsweisen O. in den Geisteswissenschaften ( etwa: 'eine Begriffsdefinition z.B. von "Erzählperspektive" (z.B. nach Stanzel oder Genette), die sich ihrer Kontingenz und/oder Reduktivität und/oder Vorläufigkeit bewusst ist und daher -- gegeben eine umfängliche Konzeptualisierung des Forschungsstandes -- explizit nur im Rahmen einer Studie / eines Aufsatzes / einer Interpretation gilt') hat, und wie O. in den digitalen Geisteswissenschaften verstanden wird. Dabei sollte man vom stärker explizierten, szientifischen Begriff der Sozialwissenschaften ausgehen und differenzierend erörtern.
Bedeutung
die (induktive?) Genese von "Bedeutung" von Konzepten mag wissenstheoretisch historisch diskutiert werden - für den Begriff und die Verwendungsweisen der O. in den DH scheint doch mindestens so wichtig oder gar ausschlaggebender zu sein, dass und wie Konstrukte, (komplexe) Konzepte und latente Variablen formalisierend, algorithmisch und quantifizierend "zugerichtet" werden um sie messbar zu machen. Das würde ich, wie schon ankommentiert, durchgängig zentraler stellen.
theoretische Begriffe
hier wäre ein Beispiel hilfreich, um den wirklich hohen Abstraktheitsgrad dieses Artikels zu senken und anschaulich zu zeigen, warum Operationalisierung ein so zentraler Begriff/eine Schlüssel-Praktik ist.
der empirischen Signifikanz
hier wird die Empirie genannt, allerdings auf großer Flughöhe. In einem Glossarbeitrag zu O. für/aus digitalen GW sollte auch der empirische Forschungsprozess eingeführt werden. Dabei ist es wichtig, die unetrschiedlichen Asuprägungen von Empirie in den GW zu thematisieren, weil das Auswirkugen auf den Begriff und auch die Praktiken der Opartionalisierung hat (zB Groeben, mit Rückgriff auf Fricke. Zum Sozialwiss./Psychol. Standard siehe Döring (2023). Döring, Nicola. 2023. “Operationalisierung.” In Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften, edited by Nicola Döring, 223–91. Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-662-64762-2_8.
Bridgman bezeichnet diese neue Haltung entweder als »operational point of view«[1] oder, vor allem in späteren Beiträgen, als »operational analysis«.[2] Die Bedeutung von Begriffen ist dabei durch die Abfolge einzelner Operationen bestimmt, die man zu ihrer Identifikation bzw. Messung ausführt: »In general, we mean by any concept nothing more than a set of operations; the concept is synonymous with the corresponding set of operations.«[3] Er reagiert damit auf Albert Einsteins Erkenntnis, dass die Bewertung der Gleichzeitigkeit zweier Ereignisse, die räumlich getrennt voneinander geschehen, nach anderen Operationen verlangt als die Beurteilung der Gleichzeitigkeit zweier am selben Ort stattfindenden Ereignisse.[4] Für Bridgman folgt daraus, dass auch klassische und breit akzeptierte physikalische Konzepte einem Mangel an operationaler Schärfe unterliegen können. Physiker*innen dürften deshalb keine Grundsätze a priori anerkennen. [4]Bridgman exemplifiziert seine Überlegungen an verschiedenen (physikalischen) Konzepten wie Raum, Zeit oder Geschwindigkeit. Sein Paradebeispiel ist das der Längenmessung. Hieran verdeutlicht er den Unterschied zwischen Konzepten, die sich durch direkte Messoperationen bestimmen lassen – etwa wenn man die Grundfläche eines Hauses mit Hilfe eines genormten Messstabs misst – und durch indirekte Messoperationen, wenn beispielsweise der Abstand der Erde zu anderen Himmelskörpern über die Zeitdauer inferiert wird, die Lichtstrahlen auf ihrem Weg benötigen. Da sich die Operationen des Messvorgangs unterscheiden, hätten sich nach Bridgmans Ansicht auch die Begriffe zu unterscheiden. Er differenziert deshalb zwischen taktiler und optischer Länge.[5] [5]In späteren Arbeiten weicht Bridgman diese starke Variante der Operationalisierung zunehmend auf. In einem Beitrag von 1932 ergänzt er seine operationale Perspektive um geistige Operationen.[6] 1938 setzt er Operationen mit Aktivitäten gleich, um seine bis dahin vor allem auf physikalische Konzepte beschränkte Perspektive zu erweitern.[7] Zudem präzisiert er seine Definition von Begriffen, indem er zwischen notwendigen und hinreichenden Bedingungen unterscheidet. Die Analyse der Operationen bzw. Aktivitäten, die den Begriffsgebrauch anleiten, ist weiterhin notwendig, um die Bedeutung des Begriffs zu bestimmen. Sie ist aber nicht hinreichend, wie die Formulierung in The Logic of Modern Physics noch annehmen ließ.[8]
Brauchen wir hier in diesem Glossar so viel zu Bridgman? Was davon ist tatächlich relevant für die heutige Verwendung und die Praktiken, die wir unter Operationalisierung verstehen? Wichtig fände ich in jedem Fall, auf die Dimensionen von Standardisierung (ggf. der Meter, das Kilo etc) und die damit einhergehende Überprüfbarkeit und Reproduzierbarkeit von Forschung (auch in den DH) einzugehen - also das "physikalische Erbe" des Begriffs deutlicher anzuschliessen an die hier relevante Perspektive der digitalen GW.
physikalischen
das ist ja richtig, aber es wäre m.E. für die LEswer*innenschaft besser, etwas allgemeiner anzusetzen und den Begriff zunächst in den empirischen Wissenschaften generell einzuordnen, und darauf hinzuweisen, dass er in algorithmischen, formalen (formalisierenden) und quantifizierenden Verfahren der DH eine Schlüsselrolle spielt und hier wohl am wirkmächtigsten von Moretti zuerst verwendet wurde. Aber nicht nur von ihm, siehe Ansätze der empirischen Literaturwissenschaft, z.B. bei Groeben, Norbert. 2013. “Was kann/soll ›Empirisierung (in) der Literaturwissenschaft‹ heißen?” In Empirie in der Literaturwissenschaft, 47–74. Brill mentis. https://doi.org/10.30965/9783957439710_005. Siehe auch Forschung aus der kognitiven Korpuslinguistik/-stilistik zur Metapher als semiotisch-konzeptuelles und potenziell kognitives Schema mit sprachlichen Indikatoren : Herrmann, J. Berenike. 2022. “Operationalisierung der Metapher zur quantifizierenden Untersuchung deutschsprachiger literarischer Texte im Übergang vom Realismus zur Moderne.” In Digitale Literaturwissenschaft, edited by Fotis Jannidis, 629–62. Germanistische Symposien. Stuttgart: J.B. Metzler. https://doi.org/10.1007/978-3-476-05886-7_25.
Begriffes oder Konzeptes
ggf. schon hier, aber sicher an anderer Stelle des Artikels sollte auch der Begriff des "Proxy" fallen - und es sollte deutlich werden, dass es sich bei dem Begriff der Operationalisierung um einen zentralen Begriff einer empirischen Forschung handelt. Der empirische Forschungsprozess wird noch nicht klar herausgestellt. - Der Begriff der O. beschreibt einen Prozess der "Übersetzung", um Konstrukte, Konzepte und latente Variablen beobachtbar und insebsondere quantitativ messbar zu machen. Dabei ist auch immer ein Aspekt der Kontingenz oder Arbitraität eingebaut. Operationalisierung braucht es insbesondere, um komplexe, “nicht unmittelbar beobachtbare Merkmale, d. h. „theoretisch[e] resp. abstrakt[e] Begriff[e]“ (Aeppli et al. 2016, S. 125) d.h. “latente Merkmale oder Konstrukte oder Konzepte” (Brück and Toth, 2022, p. 1) erforschbar zu machen.
m.E. wäre es für das Verständnis hilfreich, hier und im Weiteren deutlicher auf die Messbarmachung, den Prozess für die Herbeiführung von Beobachtbarkeit abzuheben. Das steht zwar drin, könnte aber noch mehr akzentuiert werden. Wichtiger ist dabei wohl, dass die Bestimmung von "Indikatoren" in der Regel als Teil der "Operationalisierung" begriffen wird. Indikatoren sind also nicht vorgelagert (so könnte die Definition im jetzigen Wortlaut missverstanden werden), sondern werden im Prozess konstruiert bzw. festgelegt. D.h. "identifiziert werden können" ist also missverständlich und sollte m.E. in "festgelegt" o.ä. verändert werden. Auch das "werden können" sollte verändert werden in "werden". Das wird ja tatsächlich so gemacht. :-)
Dieser Glossareintrag wurde abweichend nicht im Rahmen eines externen Begutachtungsverfahrens geprüft. Das Reviewverfahren war ein Open Public Peer Review. Leider konnten die Autoren keine Gutachtenden für diesen Beitrag gewinnen.
dies bitte ändern wenn ich den Beitrag begutachtet habe
next steps
Thanks so much for taking the initiative! I think it is so important! What I understand from the manifesto is that it demands us DH scholars to reflect on what we are doing. What it doesnt do so far is to "demand /recommend things", beyond the active reflection. If we want to go there, a first thing that I can think of is to recomend "organizing" ourselves and find a voice in our local contexts, be that universities, labs, or even neighborhoods etc. I know this involves actions beyond doing DH (such as biking to work or using PT, who to vote for in politcial elections and so on), but after all this is all so very connected. I know there are different perspectives on what impact the single individuum can have. I personally think that in order to make a difference, action needs to be taken at the highest possible level (governments, multinationals etc.), but I think in order for this to happen there needs to be a mass movement.
manifesto asks if our research
do manifestos normally "ask"? I guess it could demand ...
STS
I'd resolve acronym