Testing knowledge of whole English collocations available for use in written production: Developing tests for use with intermediate and advanced Danish learners. Unpublished phd dissertation, Aarhus University.

English (Dansk nedenfor)
Testing knowledge of whole English collocations available for use in written production: Developing tests for use with intermediate and advanced Danish learners
The present foreign language acquisition research derives its impetus from four assumptions regarding knowledge of English collocations. These are: (a) collocation knowledge can be conceptualized as an independent knowledge construct, (b) collocations are lexical items in their own right, (c) testing of collocation knowledge should also target knowledge of whole collocations, and (d) the learning burden of a whole collocation is in part a function of its semantic composition. One of the main objectives of the present research was to empirically investigate the validity of these assumptions. Thus, the CONTRIX test was developed with the objective of exploring first-hand whether it was at all possible to operationalize the assessment of collocation knowledge to target knowledge of whole collocations. Likewise, the CONTRIX was equipped with a constituent matrix capable of eliciting responses from learners that would illuminate their productive knowledge of whole collocations. Also, in order to explore whether semantic transparency supports knowledge of whole collocations, the CONTRIX was constructed with an internal structure comprising three semantic categories of collocation: transparent, semi-transparent, and non-transparent. Another main objective of the present research was to use the CONTRIX to measure and chart the development of Danish EFL learners’ productive knowledge of whole English collocations.
Five empirical studies were designed to generate information that would shed light on the reliability and validity of the CONTRIX as a measure of collocation knowledge available for use in written production. Study 1 was designed to pilot the CONTRIX. The main aim of the pilot administration was to generate performance data that could give an initial impression of the reliability and validity of the CONTRIX as a productive measure of collocation knowledge among intermediate and advanced learners of English. For this reason, CONTRIX-1 was administered to small groups of Danish intermediate and advanced learners of English. An analyses of the observed scores indicated very good reliability and signs of construct validity. An indication of the validity of the overall construct was observed in the total test scores, which discriminated fairly well among proficiency levels. An indication of the validity of the internal construct was observed in the section scores, which within each proficiency level featured a stair-step pattern of collocation knowledge. On the basis of this pilot study, a preliminary conclusion was reached, namely that (productive) knowledge of whole collocations could indeed be assessed in a reliable and valid way, and that (productive) collocation knowledge did appear to be supported, at least to some degree, by semantic transparency.
Study 2 served as the main administration of the CONTRIX. This study was intended to serve multiple purposes. One main objective of the study was to generate a large set of performance data that could be used to confirm the performance data observed in the small-scale pilot administration. Another objective was to investigate more closely the extent to which semantic transparency, as well as L1-L2 congruence, supported collocation knowledge. Another central objective of this study was not only to measure but also to begin to chart the development of Danish EFL learners’ productive knowledge of whole English collocations. Insight of this kind could be beneficial in the design of foreign language instruction and the development of teaching material. For these reasons, CONTRIX-2 was administered to a relatively large body of intermediate and advanced Danish learners of English, representing three levels of formal education. With respect to instrument validation, an analysis of the observed scores confirmed the results observed in Study 1. The CONTRIX-2 scores indicated similar levels of reliability and also similar signs of construct validity. The results of this study, as such, confirmed that (productive) knowledge of whole collocations could be assessed in a reliable and valid way. The results also confirmed that collocation knowledge was partially supported by semantic transparency. The results additionally indicated that L1-L2 congruence supported collocation knowledge, particularly in relation to semi-transparent collocations. In regard to the informants’ performance, the results suggested that their overall (productive) collocation knowledge had developed in step with their general English proficiency, but that the pattern of development for each of the three categories of collocation was unique. The dominant knowledge component for all education levels was the knowledge of transparent collocations. While the gap between knowledge of semi-transparent and transparent collocations conspicuously narrowed over time, the same pattern of development was not observed with knowledge of non-transparent collocations. Thus, even though knowledge of non-transparent collocations increased over time, the relative gap separating knowledge of non-transparent collocations and transparent collocations remained largely constant.
Study 3 was specifically designed to investigate the productive quality of the CONTRIX. On the basis of a theoretical discussion, it was argued that the CONTRIX had the capacity to tap into learners’ productive knowledge of English collocations. Thus, the objective of this study was to test the validity of this assumption. Consequently, CONTRIX-3 was administered together with both a receptive and a productive version of COLTRANS-2, which also was designed by the present author to test knowledge of whole English collocations on the basis of translation. In effect, the COLTRANS served as a criterion measure of productive collocation knowledge, against which CONTRIX scores could be compared. A comparison of the three sets of test scores generated by a group of Danish learners of English yielded mixed results. As expected, the total test scores observed with CONTRIX-3 aligned very closely, in quantitative terms, with the total test scores obtained with the productive version of the COLTRANS. The scores obtained with the receptive version of the COLTRANS were much higher than those obtained with the productive version. The section scores observed with CONTRIX, however, contrary to expectation, did not align entirely with the section scores obtained with the productive version of COLTRANS-2. In other words, the section scores obtained with the productive version of the COLTRANS did not show the expected stair-step pattern in relation to the three categories of collocation.
Study 4 was explicitly designed to investigate the capacity of the CONTRIX to capture and track the development of collocation knowledge in foreign language learners over (relatively short intervals of) real time. Generalizations about the development of collocation knowledge among Danish leaners of English in Study 2 were based on the pseudo-longitudinal effect of cross-sectional data. The objective of Study 4 was to generate true longitudinal data. To this end, CONTRIX-1 was administered a second time to the same groups of learners who, one full year earlier, had participated in Study 1. The results showed that the sensitivity of the CONTRIX was sufficient to capture significant growth in collocation knowledge over a period of a year. This was found to be the case for both groups of participants, intermediate and advanced learners alike. In light of these findings, there would appear to be some validity in using cross-sectional data obtained with the CONTRIX to map out the development of collocation knowledge among Danish learners of English.
Study 5 was primarily designed to validate version 4 of the CONTRIX against other language ability tests. In contrast to earlier versions, CONTRIX-4 exclusively featured semi-transparent collocations. The target collocations were furthermore systematically selected to represent three successive frequency levels. The frequency bands, forming the basis of three test sections, provided the opportunity to investigate whether or not frequency of occurrence supported collocation knowledge. In an attempt to generate correlational data, CONTRIX-4 was administered to advanced Danish learners of English together with four other language tests, which were selected to serve as either convergent or divergent measures. Total scores observed with CONTRIX-4 showed desirable discrimination among learners representing successive levels of general language use. Section scores obtained with CONTRIX-4 also showed the expected stair-step frequency profile. The analysis of the observed inter-correlations identified indications of convergence validity between CONTRIX-4 and other related measures of multiword lexical knowledge as well as divergence validity between CONTRIX-4 and a measure of general language use.
The results observed with the various versions of the CONTRIX highlight a relative deficiency in Danish learners’ knowledge of English collocations. Throughout the development period investigated in this research, test takers’ knowledge of semi-transparent and non-transparent collocation clearly lagged behind their knowledge of transparent collocations. Although the results also show that their knowledge of semi-transparent collocations eventually caught up with their knowledge of transparent collocations, this development was a long and slow process. Furthermore, even at the end of the investigated four-year period, participants’ knowledge of non-transparent collocations remained notably deficient relative to their knowledge of collocations belonging to the other two categories of transparency. The observed deficiency points toward the need for intervention in the form of collocation instruction. Intervention targeting the development of idiomaticity through the learning of collocations, particularly of the semi-transparent and non-transparent kind, may well simultaneously promote high levels of fluency, precision, and accuracy.

Dansk (English above)
Denne forskning i fremmedsprogstilegnelse udledes af fire antagelser om viden om engelske kollokationer. Disse er: (a) kollokationsviden kan betegnes som et selvstændigt videnskonstrukt, (b) kollokationer er leksikalske enheder i sig selv, (c) testning af kollokationsviden bør også sigte mod at måle viden om hele kollokationer, og (d) læringsbyrden af hele kollokationer er dels en funktion af deres semantiske opbygning. Ét af hovedformålene med denne forskning var empirisk at undersøge validiteten af disse antagelser. Derfor blev CONTRIX-testen udviklet med henblik på empirisk at afprøve om det overhovedet var muligt at operationalisere evalueringen af kollokationsviden således, at den sigtede mod at måle viden om hele kollokationer. Ligeledes var testens valgmatrice designet til at elicitere besvarelser fra elever og studerende, som ville kunne afdække deres viden om hele kollokationer. For derudover at afprøve om semantisk gennemsigtighed understøtter helhedsviden om kollokationer blev testen opbygget med en intern struktur bestående af tre semantiske kategorier af kollokationer: transparente, delvis transparente, og ikke transparente. Et andet hovedformål med denne forskning var at anvende CONTRIX-testen med henblik på at måle og kortlægge udviklingen af produktiv viden om hele kollokationer på engelsk hos danske elever og studerende.
Fem empiriske undersøgelser blev tilrettelagt med henblik på at generere oplysninger, der ville kunne kaste lys over CONTRIX-testens reliabilitet og validitet med hensyn til dens evne til at måle kollokationsviden, som formodedes at være til rådighed for brug i skriftlig produktion. Den første undersøgelse blev tilrettelagt som en pilotundersøgelse af CONTRIX-testen. Hensigten med pilotadministrationen var at generere testdata, der kunne give et foreløbigt indtryk af, om testen ville kunne måle produktiv kollokationsviden hos danske elever og studerende på en pålidelig og retvisende måde. Med denne hensigt blev CONTRIX-1 administreret til små grupper af danske elever og studerende med engelsk på mellem- og avanceret niveau. En analyse af testresultaterne gav en indikation af et forholdsvis højt niveau af reliabilitet såvel som evidens af konstruktsvaliditet. En indikation på den overordnede konstrukts validitet fremgik af resultaterne for hele testen, som viste en forholdsvis god evne til at diskriminere blandt eleverne og de studerende på forskellige færdighedsniveauer. En indikation af validiteten af den interne konstrukt fremgik af resultaterne på testdelene, der inden for hvert færdighedsniveau viste en trappetrinsprofil af kollokationsviden. På baggrund af denne pilotundersøgelse blev det foreløbigt antaget, at (produktiv) viden om hele kollokationer nok kunne testes på en pålidelig og retvisende måde, og at (produktiv) kollokationsviden nok forekom at være understøttet af semantisk gennemsigtighed.
Den anden undersøgelse udgjorde hovedadministrationen af CONTRIX-testen. Denne undersøgelse skulle tjene flere formål. Ét hovedformål med undersøgelsen var at fremstille et stort datasæt, som kunne bruges til at bekræfte de resultater, som blev indsamlet i den mindre pilotadministration. Ét andet formål var nærmere at undersøge i hvilket omfang semantisk gennemsigtighed såvel som L1-L2 kongruens skulle understøtte kollokationsviden. Endnu et centralt formål med denne undersøgelse var ikke kun at måle men også at kortlægge udviklingen af produktiv viden om hele kollokationer hos danske elever og studerende. Indsigt af denne slags forventes at kunne gavne tilrettelæggelsen af fremmedsprogsundervisning og udviklingen af undervisningsmateriale. Af disse grunde blev CONTRIX-2 administreret til en forholdsvis stor samling af danske elever og studerende på tre forskellige uddannelsesniveauer. Med hensyn til instrumentvalideringen bekræftede en analyse af de seneste testresultater de resultater, som blev indsamlet ved den første undersøgelse. Resultaterne på CONTRIX-2 viste et lignende reliabilitetsniveau og lignende indikationer af konstruktvaliditet. Derved bekræftede resultaterne af denne undersøgelse, at (produktiv) viden om hele kollokationer kunne testes på en pålidelig og retvisende måde. Resultaterne bekræftede også, at kollokationsviden var delvis understøttet af semantisk gennemsigtighed. Resultaterne viste desuden, at L1-L2 kongruens understøttede kollokationsviden, især i forhold til delvis transparente kollokationer. Hvad angår informanternes præstation, pegede resultaterne på, at deres overordnede (produktive) kollokationsviden havde udviklet sig i takt med deres almene engelsk sprogfærdighed, men at udviklingsmønstret for hver af de tre kategorier var unikt. Den dominerende videnskomponent på alle uddannelsesniveauer var viden om transparente kollokationer. Da kløften mellem viden om delvis transparente og transparente kollokationer tydeligvis blev snævre med tiden, blev det sammen mønster ikke iagttaget i forhold til viden om ikke transparente kollokationer. Selvom viden om ikke transparente kollokationer blev større med tiden, forblev den relative kløft mellem viden om ikke transparente og transparente kollokationer stort set uændret.
Den tredje undersøgelse blev decideret designet til at afdække CONTRIX-testens produktive egenskab. Med afsæt i en teoretisk diskussion blev det fremhævet, at testen besad kapaciteten til at kunne måle informanternes produktive viden om engelske kollokationer. Den undersøgelse havde derfor til formål at afprøve denne antagelse. CONTRIX-3 blev følgelig administreret sammen med både en receptiv og en produktiv udgave af COLTRANS-2, som også blev udviklet af undertegnende til at teste viden om hele engelske kollokationer ved brug af oversættelse. Som sådan optrådte COLTRANS-testen som en ekstern test af produktiv kollokationsviden, som CONTRIX-testens resultater kunne sammenlignes med. En sammenligning af de tre sæt data, som blev genereret af en gruppe af danske elever, gav blandede resultater. Som forventet stemte resultaterne for hele CONTRIX-testen overens med resultaterne for den produktive udgave af COLTRANS-testen. Resultaterne opnåede på den receptive udgave af COLTRANS-testen var langt bedre end de resultater, som blev opnået med den produktive udgave af sammen test. Modsat forventning stemte resultaterne på testdelene derimod ikke helt med resultaterne på delene i den produktive udgave af COLTRANS-testen. Med andre ord viste resultaterne på den produktive udgave af COLTRANS-testen ikke den forventede trappetrinsprofil med hensyn til de tre semantiske kategorier af kollokationer.
Den fjerde undersøgelse havde til hensigt at undersøge CONTRIX-testens egnethed til at opfange og kortlægge udviklingen af kollokationsviden hos fremmedsprogslærende inden for forholdsvis korte intervaler af realtid. Generaliseringer om udviklingen af kollokationsviden på engelsk hos danske elever og studerende i den anden undersøgelse var bygget på tværsnitsdata. Formålet med den fjerde undersøgelse var at indsamle ægte langtidsdata. Med denne hensigt blev CONTRIX-1 administreret en gang til med samme grupper af elever, som året inden havde deltaget i den første undersøgelse. Resultaterne viste, at testen var tilstrækkelig følsom til at kunne opfange signifikant udvikling af kollokationsviden over et tidsrum på et år. Dette var tilfældet for begge grupper af deltagere, engelsklærende på mellem- såvel som på avanceret niveau. Disse resultater giver belæg for brugen af tværsnitsdata indsamlet ved CONTRIX-testen i kortlægningen af udviklingen af kollokationsviden på engelsk hos danske elever og studerende.
Den femte undersøgelse blev primært designet som en validering af den fjerde udgave af CONTRIX-testen mod andre sprogfærdighedstest. Modsat tidligere udgaver bestod CONTRIX-4 udelukkende af delvis transparente kollokationer. Målkollokationerne var endvidere systematisk udvalgt til at repræsentere tre successive hyppighedsniveauer. Hyppighedsniveauerne, som dannede grundlag for tre testdele, gav lejlighed til at undersøge om forekomsthyppigheden understøttede kollokationsviden. I et forsøg på at skaffe korrelationsdata blev CONTRIX-4 administreret til danske studerende med engelsk på et avanceret niveau sammen med fire andre sprogfærdighedstest, som enten blev valgt til at tjene som en konvergerende eller divergerende måling. Resultaterne for hele CONTRIX-testen viste det eftertragtede niveau af diskriminering hos de lærende, som repræsenterede successive niveauer af almen sprogbrug på engelsk. Testdelresultaterne viste desuden den forventede trappetrinsprofil for hyppighed. Analysen af de opnåede korrelationer pegede på indikationer af konvergerende validitet mellem CONTRIX-testen og andre beslægtede test, som sigtede mod viden om flerordsforbindelser såvel som divergerende validitet mellem CONTRIX-testen og en test, der sigtede mod måling af almen sprogbrug på engelsk.
Resultaterne, som blev iagttaget med de forskellige udgaver af CONTRIX-testen, fremhæver en relativ mangel på viden om engelske kollokationer hos danske lærende. Gennem hele det undersøgte udviklingsforløb haltede deltagernes viden om delvis transparente og ikke transparente kollokationer bagefter deres viden om transparente kollokationer. Selvom resultaterne også viste, at deres viden om delvis transparente kollokationer efterhånden indhentede deres viden om transparente kollokationer, var denne udvikling længe og langsom undervejs. Endvidere forblev deltagernes viden om ikke transparente kollokationer mangelfuld i forhold til deres viden om kollokationer, som tilhørte de andre to transparenskategorier selv ved slutningen af det undersøgte fire-årige forløb. Den iagttagede mangel peger på et behov for en didaktisk indsats i form af kollokationsundervisning. Sådan et tiltag, der tilstræber udviklingen af idiomatik gennem læring af kollokationer, især af slagsen som er delvis transparente og ikke transparente, synes samtidig at ville kunne fremme fluency, præcision og korrekthed.