De PI theorie is gebaseerd op het concept van parallellisme. De laatste drie jaar hebben we geprobeerd de PI theorie zo goed mogelijk te omschrijven. De komende drie jaar zullen we gebruiken om de PI theorie te bewijzen. We zijn bezig daartoe een empirisch onderzoek op te starten. De onderzoeker zal een goede cognitieve basis moeten hebben. Vooralsnog is het fenomeen en het concept van parallellisme omlijnd en omschreven. Wij hopen met deze theorie (achteraf) aan te kunnen geven waarom en waardoor tutoriele courseware en geprogrammeerde instructie vooralsnog gefaald hebben - althans nog bijna nergens dat succes hebben als dat er oorspronkelijk aan toegekend was. Indirect hopen we te kunnen bewijzen dat ms.dos computers met lage beeldschermresolutie en slechte of geen windows, als leermiddel in het onderwijs ook niet hebben kunnen slagen. Overigens voor de goede orde: de PI theorie is dan ook een 'ontwerp theorie'. Het is een theorie waarmee ontwerpers van educatieve software rekening moeten houden op straffe van het falen van hun product.
De PI theorie - als veronderstelling - is als volgt te omschrijven:
ALS men een open leer-, werk- of doe-omgeving moet ontwerpen en vormgeven DAN moet men alles in het werk stellen dat alle losse onderdelen voor het oprapen (voor het grijpen en/of in het zicht) liggen en wel zodanig dat ze direct voor gebruik gereed zijn en dat ze in de 'stand' (c.q. 'state') blijven staan, die ze (dan) hebben (of die ze hadden). Gebeurt dit niet dan loop u een grote kans dat uw product niet zal aanslaan.
De centrale onderzoeksvraag is: Waarom loopt de ontwikkelaar een grote kans dat zijn product zal falen als hij een te lineair product maakt en te weinig of geen rekening houdt met de concept-ideeen van parallellisme?
De veronderstelling is dat het nut van parallellisme bij open werk-, leer- en doe-omgevingen te maken heeft met:
ALS men een open leer- of werkomgeving moet ontwerpen en vormgeven DAN moet men alles in het werk stellen dat de gebruiker het eerder gelezene kan zien en als referentie kan gebruiken. Met name kunnen simultane processen het beste parallel en niet met elkaar in de paslopend op een zo groot mogelijk beeldscherm aangeboden worden. De veronderstelling van het nut van parallellisme bij open doe-omgevingen is dat een en ander te maken heeft met:
Omdat in een lineair medium altijd een verhaallijn zit is het mogelijk om het verhaal goed te volgen. Het geheugen van de luisteraar of van de kijker kan - mits op de juiste wijze toegepast - worden geprikkeld. De lerenden kunnen een aantal dingen onthouden. Bij tutoriele courseware is - vanwege de interactiviteit - het probleem dat fragmenten en frames door elkaar - en vooral voor de ontwerper vaak niet van te voren te voorspellen wijze - op het scherm worden gepresenteerd. Doordat de verhaallijn nu zwaar op de proef wordt gesteld en de beeldschermen meestal nog veel te klein zijn en/of dat de ontwerper geen rekening heeft gehouden met de aspecten van de PI-theorie kan het gebruik van courseware in de praktijk behoorlijk tegen vallen. De PI-theorie kan een mogelijke verklaring geven waarom op een bepaalde manier gedimensioneerde interactieve courseware of COO (dus niet conform het parallellisme concept of conform de PI theorie ontworpen) (bijvoorbeeld op verkeerde computers) tot op heden niet erg succesvol is gebleken. Vooralsnog is dit een stelling. Parallellisme als ontwerp-variabele is dus belangrijk genoeg voor een cognitief- en ontwerp-gericht nader onderzoek.
Onderzoek zal moet uitwijzen welke psychologische variabelen en ontwerp-variabelen er bij de gebruiker en bij de software een rol spelen, en waarom, en onder welke condities de gebruiker in een dergelijke 'omgeving' optimaal tot ontplooiing komt. Een voorbeeld is Randstad in Diemen. Bij de hoofdzetel van dat bedrijf had men een probleem met de overzichtelijkheid van grote interactieve spreadsheets voor plant-managers. Dat leidde tot contacten over en weer. De oplossingen lagen om de hoek: bij het parallellisme concept voor werkomgevingen.
De parallelle instructie theorie of parallellisme voor doe-omgevingen in het algemeen is nog niet bewezen. Maar de voorlopige bevindingen zijn van dien aard dat verder empirisch onderzoek uitsluitsel moet kunnen geven of de veronderstellingen juist zijn.
Het onderzoek - wat hieromtrent momenteel aan de universiteit Twente loopt - wil een wetenschappelijke basis leggen onder de 'PI theorie' bij werk- en leeromgevingen (in relatie tot taken) (Min, 1992, 1994 en 1996). Tot nu is deze theorie - en het onderliggende concept - vooral onderzocht in het kader van simulatie-omgevingen. Empirisch zal verder onderzocht worden of dit concept ook geldig is in meer algemene werk- en leeromgevingen, met name bij teleleer-situaties in WEB omgevingen.
In specifiek opzicht wordt nagegaan of in technologisch rijke omgevingen de efficiency en effectiviteit van leer- en werktaken wordt verhoogd door een speciale vormgeving of dimensionering van de werkplek. Daarbij zal speciaal de userinterface en de beeldscherm-opbouw worden onderzocht en geanalyseerd.
In meer algemeen opzicht wordt het onderzoek uitgevoerd met het oogmerk om via optimalisatie van taken, leerprocessen en bijkomende coaching, in relatie tot het parallel aanbieden van stimuli, te komen tot vergroting van de studeerbaarheid van het onderwijs.
Bovendien wil het onderzoek bijdragen aan theorievorming binnen de instrumentatietechnologie en in het bijzonder aan de methodologie van het ontwerpen en vormgeven van effectieve en efficiënte van multimediale leer- en werkomgevingen.
De centrale onderzoeksproblematiek van de vakgroep is het zoeken naar theoretische inzichten en ontwerprichtlijnen voor het samenstellen van optimale media-taak combinaties in het bijzonder bij het gebruik van digitale netwerken en bij teleleren en tele-werken.
Media-taak combinaties worden steeds meer gebruikt in een context waarbij leer- en werkomgevingen ter beschikking worden gesteld die door individuen of groepjes van twee personen zonder inmenging van anderen worden gebruikt. Een centraal kenmerk van dit soort electronische leer- en werkomgevingen is meestal de multimediale dimensionering en daarbij de beschikbaarheid over interactiviteit.
In eerder onderzoek zijn de consequenties van gebruik van interactieve multimedia op het leer- en werkgedrag bestudeerd. In zijn promotie-onderzoek bestudeerde Van Schaick Zillesen (1990) bepaalde simulaties en de rol van papieren materiaal versus electronische instructie materiaal daarbij. Daarbij werd het papieren materiaal naast of op een beeldscherm beschikbaar gesteld. Tegelijkertijd werden in die periode ook in andere projecten vergelijkbare onderzoekingen uitgevoerd, o.a. bij het Akzo-project (Gmelich Meijling, 1990), het Fokker-project (ter Hedde, 1989), het Waterloopkundig Laboratorium-project (Zwart, 1988; Min, 1995), het SLO-project (Wolters, 1986; Min, 1994b), het ArcView-project i.s.m. de University of Southampton (Gritter, 1993) en recent het parallellisme-project (ter Burg en Groenewoud, in proceedings 'onderzoeks-project' TO; 1996). Momenteel loopt er een pilot-studie naar simulaties op het WEB met java-applets (Min en Sikken, on-line test, 1997). Een aantal prototypes zijn gereed en worden momenteel getest op gebruikersgemak ('usability', 'scaffolding', etc.). Voorheen werden veelal kwalitatieve analysemethoden gebruikt (van Schaick Zillesen, Gmelich Meijling, Reimerink en Min, 1995). Maar omdat uit de op kwalitatieve analyse gebaseerde benadering voldoende stabiele elementen konden worden geïdentificeerd is in 1996 een vooreerst goed opgezet kwantitatief (en vergelijkend) onderzoek uitgevoerd (ter Burg en Groenewoud, 1996).
De meeste van deze onderzoeken beperkten zich tot off-line leersituaties. De hier te onderzoeken situaties zullen grotendeels on-line situaties (op de digitale snelweg) zijn, en niet alleen leer-omgevingen maar vooral zogenaamde doe-omgevingen betreffen (Min, 1996b).
Vanuit deze serie onderzoeken ontstond in 1992 een bepaalde hypothese (de 'PI-theorie') rondom het verschijnsel van 'parallellisme' als oplossing voor het inrichten van werkplekken. Speciaal multi-processing werkplekken eisen op dit punt veel aandacht. Ontwerpers van userinterfaces dienen - conform deze theorie - rekening te houden met de manier waarop gebruikers informatie opnemen en enige momenten kunnen vasthouden, alvorens ze er iets mee gaan doen. De theorie die aan deze oplossing ten grondslag ligt is nog niet helder omschreven en geformuleerd, en kan - volgens de indieners van dit voorstel - met de 'theorie-constructie'-methode van Broers (1994) nauwkeurig worden vastgelegd (de 'facet theorie') (Broers, 1994).
Benshoof en Hooper (1993) geven op dit punt - om overzicht over processen op beeldschermen te kunnen houden - aanwijzingen dat bij instructie aan opgroeiende kinderen er een relatie is tussen 'multiple-windowing environments' en geheugenproblemen (en dientengevolge: geheugenstrategieen). Ook Barfield (1994) doelt daar op in zijn paper 'learning about user userinterfaces for learning'. Deze onderzoeker geeft ook richtlijnen voor bepaalde typen dynamische (en met name visuele) feedback en aanwijzingen om leerling in de gelegenheid te stellen om op een goede manier een mentaal model te laten opbouwen. Ook in andere vakgebieden (cinomatografie) waren vergelijkbare verschijnselen (van een beperking in het korte geheugen en des-orientatie) waargenomen.
In figuur 1 (links in de figuur) is aangegeven dat er bij het parallellisme-concept in open leersituaties vele soorten informatie als 'instructie' mogen worden beschouwd (Min, 1996). Een aantal van deze instructie-vormen of instructie-onderdelen zijn:
Al deze vormen van informatie of instructie zijn van belang bij het ontwerp van de uiteindelijke werk-omgeving en moeten zich (volgens Min) op het juiste tijdstip en op de juist plaats bevinden in het zicht van de gebruiker (in 'view' c.q. 'parallel'). Deze vormen van instructie worden hier input genoemd. De arrangering en de leesbaarheid van deze type onderdelen zijn zeer belangrijk, vooral bij allerlei vormen van tele-learning, distance-learning en bij distributed learning environments waarbij niemand aanwezig is om de gebruiker te helpen. Elbro en Christoffersen verrichtten aangaande de 'indringendheid' van instructieteksten op beeldschermen in 1988 een interessante studie (Elbro & Christoffersen, 1988). Ook Oliver deed iets dergelijks in 1994 (Oliver, 1994). Hij onderzocht het verschil in lezen van papier versus lezen van teksten op beeldschermen. De achtergronden en de rationale bij het arrangeren van deze losse onderdelen in de werk-omgeving (in digitale of niet-digitale vorm) is het onderwerp van dit onderzoek. Ook al de in deze figuur voorkomende vormen van 'gestuurde' feedback (rechts in figuur 1) zijn in dit soort electronische leer-, werk- of doe-omgevingen van belang, zoals:
Deze vormen van feedback worden hier output genoemd. Dit is echter output van een niet-reversibele soort en inhoud, d.w.z. met voor de gebruiker niet te voorspellen volgorde of soort informatie-elementen. Ook de informatiestromen moeten, goed geordend, op de juiste plaats en in de juiste verhouding in de leeromgeving worden opgenomen (in 'view') (Min, 1996). In off-line werkomgevingen zijn veel van deze inzichten onderkent, maar op het WEB, d.w.z. on-line, zijn de eisen die wij op dit punt denken te moeten stellen nog lang niet duidelijk en (nog) niet goed te verwezenlijken.
In de 'parallelle instructie voor simulatieleefomgevingen (de 'PI-theorie'), die in 1992 door Min is voorgesteld, wordt veronderstelt dat een gebruiker in een open leeromgeving alleen maar goed kan werken (en dus leren), als de omgeving zodanig is ontworpen dat alle relevante informatie om beslissingen te kunnen nemen 'expliciet en direct zichtbaar' is of met een simpel hanteren van de muis zichtbaar kan worden gemaakt. De manier van vormgeving van werkomgevingen die conform deze ideeën zijn ontworpen, noemt Min 'parallellisme'. Als een multimediale, interactieve omgeving te weinig parallellisme kent en teveel sequentieel - dus frame na frame - is opgebouwd faalt deze als leer- en werkomgeving. Voor de gebruiker zijn er dan te weinig vrijheidsgraden in het systeem. De gebruikers zullen in een verkeerd ontworpen omgeving, waar actief moet worden opgetreden, geblokkeerd raken of datgene wat gedaan moet worden niet doen; en/of wat geleerd moet worden niet leren.
De 'PI-theorie' is dan ook op de eerste plaats een ontwerp-theorie; een theorie die bij het ontwerp gebruikt kan worden en rekening houdt met de geheugenstrategieen van gebruikers. Bij nadere bestudering bleek keer op keer dat de combinatie simulatie-instructie die op een traditionele manier gepresenteerd was (zoals instructie op papier; beschikbaar naast de monitor), betere resultaten opleverden dan andere oplossingen waarbij de simulatie en de bijbehorende instructie via een computersysteem (met een hypertekst-systeem) gecombineerd werden. Een experiment voor een opdracht bij de AKZO in Hengelo bracht de onderzoekers op het spoor van de gebreken van het werken met beeldschermen en de daarbij toegepaste software-techniek (Van Schaick Zillesen & Gmelich Meijling et al., 1995). Leeromgevingen waarbij de instructie-component niet goed werkte bleken in het algemeen veel te sequentieel ontworpen en veel te star gekoppeld te zijn. Dat wil zeggen dat de instructie te veel 'gesynchroniseerd was met de simulatie' en te dwingend was, terwijl de instructietekst geheel van het beeldscherm verdween als er met de simulatie werd gewerkt.
De implicaties van parallellisme voor leer- en werkomgevingen in een tele-leersituatie is duidelijk. Ook in die situaties is het goed kunnen communiceren met afzonderlijke onderdelen van belang, in het bijzonder met het werken met (vaste) 'viewports' of met (verschuifbare) 'windows', met de snelheid waarmee van de ene plek naar de andere plek gesprongen kan worden en met het gemak waarmee dat kan (Seymour, 1996). Zijn daarvoor grotere beeldschermen nodig, meer viewports of multi-windowing-systemen? Zijn leer- en werkomgevingen op kleine beeldschermen gedoemd te mislukken?
De implicaties voor de specificaties rond userinterface design in de context van tele-leren en tele-werken liggen nog gecompliceerder. Het gemak van electronische instructie of help-systemen is in een on-line omgeving duidelijk. Men kan snel de nieuwste en laatste gegevens inzien en bestanden in zijn geheel laden in het eigen systeem. Maar: of dan de werkplek ruimtelijk goed en overzichtelijk kan worden ingericht zodanig dat het gewenste effect wordt bereikt is een vraag van een andere orde. Bovendien is het een centrale vraag hoe een cursist zich oriënteert binnen een via teleleren aangeboden cursus (en hoe hij daarbij niet alleen in de 'diepte', maar ook in de 'breedte' navigeert).
Het werk van Benshoof en Hooper, maar ook van Barfield en Min geven een indicatie dat er voor de inrichting van leer- en werkplekken nog geen algemeen aanvaarde oplossingen zijn (Barfield, 1994; Benshoof en Hooper, 1993; Min, 1996b). Het idee dat in het kader van het hierboven genoemde 'parallellisme' is geformuleerd, kan bijdragen aan een oplossing. Kwalitatief onderzoek naar de betekenis van parallellisme kan voor de ontwerpers van moderne multimediale werk- en leeromgevingen van grote waarde zijn. Immers, op basis daarvan kunnen opdrachtgevers overtuigd worden van het nut van bepaalde voorzieningen: grotere monitoren, meerdere schermen of gewoon papieren instructiemateriaal? Bij teleleren is een goed ontworpen werkplek nog belangrijker dan in traditionelere situaties, omdat er geen fysieke hulp aanwezig is.
Theorievorming aangaande de inrichting van een optimale werkomgeving kan (hoogstwaarschijnlijk) het beste op basis van de door Broers in 1994 uitgewerkte 'facet theorie' worden gedaan. Deze methode is volgens De Diana (en anderen) geschikt om theorieën (qua formulering en in toetsbare hypothese-vorm) op te stellen (De Diana, mondelinge contacten, 1997). Daartoe dienen alle ontwerp-variabelen uit de werkomgeving op een bepaalde manier te worden geanalyseerd en dienen zogenoemde 'mapping sentences' van fenomenen en relaties te worden opgesteld. (Zie N.J. Broers, proefschrift, 1994, blz. 25). Voor deze algemene methode voor het opstellen van een theorie is het noodzakelijk om taken, zowel als type instructie als type presentaties te onderscheiden ('condities'). Deze condities (of hier 'facetten' genoemd) dient de onderzoeker in categorieën onder te verdelen. Vooralsnog denken wij aan ontwerp-variabelen uit deze drie dimensies: 'taken', 'instructievormen' en 'presentatievormen'. Het aantal categorieën per dimensie zal rond de drie schommelen.
De (voorlopige) veronderstellingen zijn: dat het nut van parallellisme bij open werk-omgevingen te maken heeft met de volgende fenomenen:
of anders gezegd: onze hypotheses zijn: dat het nut van parallellisme bij open werk-omgevingen te maken heeft met
Empirisch onderzoek moet uitwijzen of deze veronderstellingen, in relatie tot eerder genoemde facetten, waaronder deze uitspraken, wetenschappelijk zijn te onderbouwen.
Het fenomeen van parallellisme en de achtergronden van de 'PI-theorie' zullen dus verder in relatie tot allerlei 'facetten' moeten worden omschreven. Fenomenen, determinanten en ontwerpvariabelen dienen geanalyseerd en gedefinieerd te worden. Dat is grotendeels de taak van de onderzoeker. De onderzoeker moet van alle facetten de juiste formulering en de juiste condities opstellen en het resultaat (de theorie) toetsen aan praktijkvoorbeelden. Garlikov heeft hiervoor recent een interessante theoretisch raamwerk beschreven (Garlikov, 1995). De uiteindelijk opgestelde theorie, over de mate van parallellisme, dient de onderzoeker - middels empirisch onderzoek - te bewijzen. De onderzoeker ontkomt er niet aan ook enkele karakteristieke prototypes te (laten) vervaardigen en te onderzoeken. (Zie sectie 7.4.)
Problemen
Er zijn een aantal problemen binnen interactieve werk-omgevingen. Er zijn ten eerste problemen in een open werk-omgeving met de aanbiedingswijze of presentatievorm bij instructie-materialen; ten tweede problemen met het manipuleren van windows en ten derde het door Min zogenoemde 'lineaire' karakter van monitoren. (Min, 1996). Er wordt al jaren gezocht naar alternatieven voor papier of voor distributie van papier, manuals en help-systemen, die perse noodzakelijk zijn bij werk-omgevingen. De onderzoeker zal te maken krijgen met moderne viewport- en/of windowing- en/of multitasking-technieken die nog heel onhandig en onpraktisch zijn vormgegeven. Onervaren gebruikers van deze informatiebronnen reageren hier heel verschillend op. Iedere persoon reageert anders op pull down menu's, windows, multi-tasking systemen of hele onoverzichtelijke, compacte tools. De industrie speelt onvoldoende in op problemen die de gebruiker bij het kopen en inwerken van nieuwe software heeft. Bij educatieve software is een inwerkperiode van een kwartier al een probleem, laat staan als je voor een multimediaal product een lange of korte cursus nodig hebt. Alleen fabrikanten die de thuismarkt bedienen (en spelletjes fabrikanten) testen hun software structureel op dit type gebruikersgemak. Andere software fabrikanten gaan er notabene zelfs vaak vanuit dat gebruikers cursussen nodig hebben om producten te begrijpen. Onderwijskundigen ervaren deze problemen - met aanbieders van software - dagelijks aan den lijve. Instrumentatie- technologen dienen de problemen echter aan de bron aan te pakken. Niet alleen door het probleem te benoemen, maar vooral ook door op een wetenschappelijke manier de achtergronden bij specifieke problemen product-gericht, empirisch te onderzoeken en daarover te publiceren. Wetenschappers onderbouwen hun richtlijnen nog te weinig wetenschappelijk. Men geeft wel richtlijnen, maar nog te weinig 'het waarom' en onder welke condities richtlijnen of methodologen gelden.
De literatuur maakt weinig melding van condities (per doelgroep, per taak en per andere categorie) waaronder bepaalde ontwerpregels gelden of niet gelden. Laat staan dat er gerichte aanbevelingen worden gedaan. We weten weinig over welke type personen welke type werk-omgevingen behoeven en in welke interactie- of presentatievorm een specifiek product gestoken dient te worden. (Op een paar uitzonderingen na zoals Elbro & Christoffersen, 1988 en Oliver, 1994) Vaak worden alle type werkvorm met EEN en dezelfde soort oplossing afgevangen. Wij hebben ontdekt dat dat niet correct is. Grote groepen mensen vallen bij het gebruik van een type werkomgevingen daardoor tussen de wal en het schip.
Onderzoeksframework
De nieuwe ontwikkelingen in ICT, o.a. teleleren en via dat concept de wereldwijde toegang tot bronmateriaal, en de steeds krachtiger systemen, grotere monitoren, en betere multimediale mogelijkheden, openen nieuwe dimensies voor parallelle instructiemethoden. De onderzoeksvragen zijn daarom heel divers. Ze variëren van eenvoudige technische vragen tot psychologische vragen. Om er enkele te noemen: Hoeveel vrijheidsgraden mag een leerplek voor teleleren hebben? Hoeveel vrijheidsgraden kan een gebruiker eigenlijk aan? Verschilt dat per type leerling? Waarom kan een gebruiker achter een monitor niet onthouden wat hij/zij zoeven zag? Waarom wil een gebruiker kunnen refereren en vergelijken? Hoe ver moeten windows uit elkaar liggen? Waarom willen sommige studenten perse iets - op papier - kunnen opschrijven? Waarom kan een leerling soms wel zijn aandacht bij een les houden en soms enorm afgeleid worden? Waarom kunnen kinderen wel direct met spelletjes werken maar niet met educatieve software? Waarom is bij het ene programma wel een handleiding nodig en bij een ander programma niet? Heeft het nut ergens in een hoekje van het beeldscherm een video window te hebben waar de leraar - voor in de zaal - je kan toespreken? Maar ook: Is de behoefte aan parallellisme bij sommige personen soms een kwestie van iemands slechte kort geheugen?
facetten: dimensies & categorieën: Voor de methode van Broers is het nodig dat er toetsbare uitspraken worden opgesteld en dus dat alle dimensies en categorieën (facetten) worden vastgelegd. De eerste dimensie (a) die onderzoeker kan gebruiken is dat wat we voorlopig de 'mediavorm' kunnen noemen (of output of presentatievorm of mate van lineariteit). Daartoe rekenen we
De eerste en de tweede catagorie is wat wordt genoemd 'statisch'; de derde is 'beweging' en de laatste categorie is 'dynamisch'. De tweede dimensie (b) die de onderzoeker kan gebruiken is dat wat we voorlopig de mate van 'voorspelbaarheid' (van de informatie in de tijd) kunnen noemen. Daartoe rekenen we
Er bestaat informatie die voortdurend aanwezig is, maar ook die reproduceerbaar is als hij verdwijnt of informatie voortdurend 'over elkaar heen rolt'. Er is ook informatie die volstrekt niet reproduceerbaar is (de derde categorie) en voor de user, tijdens een sessie, schijnbaar willekeurig op het beeldscherm te voorschijn komt. Bij simulatie komt dat veel voor. Als de onderzoeker deze indeling heeft opgesteld kan hij uitspraken doen.
De derde dimensie (z) in dit geheel is de 'taak' (en de taakuitvoering) die de gebruiker (de proefpersoon) uit dient te voeren. Daar kunnen we vooralsnog (voorlopig) vier categorieën in onderscheiden, t.w.
De eerste taak komt vooral voor bij toetsen, bij simulatie en bij drill & practice. De tweede taak bij simulaties waar men - gegeven een probleem (een casus), een diagnose moet stellen en een therapie moet leren geven. De derde taak komt bij veel moderne werk-omgevingen voor. Bij de laatste taak is het voor de onderzoekers (bijvoorbeeld) van groot belang het werken van programmeurs achter een SUN werkstation te observeren. Dat kan nuttig zijn voor dit onderzoek. Die werken bijna altijd met grote beeldschermen, waarbij vele windows permanent open staan. Op het beeldscherm zijn dan ook vele losse, simultane, en veelal a-synchrone processen - verspreid over het grote beschikbare oppervlak - te zien. Werkers zowel als fabrikanten doen dat waarschijnlijk vrij onbewust op deze manier. (Of heeft de fabrikant hier al dan niet wetenschappelijk over nagedacht?) Elk facet in de boven vastgestelde driedimensionale facet ruimte (a, b, z) speelt een rol bij de beoordeling in het verdere ontwerp-proces van het programma dat de programmeur interactief aan het ontwerpen is. Al zijn belangrijkste informatie en processen zijn simultaan en lijken grotendeels a-synchroon te zijn: Ergens staat een tekst-window met de source. Elders een window met (bijvoorbeeld) een Nasi-Sneiderman-(stroom)diagram dat elke tiende seconde wordt gerefreshed, d.w.z. een 'dynamische graphic' met een 'willekeurige' informatie-stroom. Kortom het bestuderen van proefpersonen bij het uitvoeren van een programmeer-taak lijkt een ideale test voor deze theorievorming. De onderzoeker dient zelf - op basis van een voorstudie - een of twee taken te selecteren en zich gedurende dit onderzoek daartoe te beperken.
De onderzoeker dient al zijn opgestelde (en bruikbare) hypotheses conform de methode (c.q. theorie) van Broers te formuleren. Daarna dienen er experimenten gedaan te worden om de uitspraken (en dus de theorie) te bewijzen.
In die context zijn een aantal vragen relevant:
Wat voor relevante taken kunnen we experimenteel laten uitwerken? Welke type instructie zijn hierbij belangrijk? Welke presentatievormen dienen we hierbij nader te preciseren? (Kortom welke facetten spelen hierbij een rol?)
Hoe kan het concept van parallellisme (en de tussentijdse bevindingen) worden toegepast op een mondiaal netwerk, in relatie tot voor het leerproces adequate terugkoppelingen? Met andere woorden, wat is de gewenste structuur en wat zijn de nodige communicatiefaciliteiten binnen een mondiaal netwerk opdat het parallellisme concept optimaal kan worden benut?
Hoe moeten deze bevindingen worden toegepast bij het inrichten en vormgeven van de userinterface, rekening houden met de huidige en te verwachten mogelijkheden van multimedia en complexe moderne virtuele omgevingen?
Is (bijvoorbeeld) het werken met grote beeldschermen en twee of drie losse (a-synchrone) simultane processen aan thuiswerkers of scholen aan te bevelen? En zo ja, onder welke condities dan wel?
Hoe kan het begrip 'parallellisme' bij simultane processen worden geconceptualiseerd (en geformuleerd) en hoe kan dit vertaald worden in specifieke ontwerp-richtlijnen?
Kun je (en moet je) het netto-effect van toevoeging van parallellisme in werk-, leer- en doe-omgevingen en met name bij telewerken en tele-leren meten of moet je de bevindingen anders interpreteren?
Bekeken zal worden wat de invloed is van een groot aantal facetten van de leerplekinrichting. Onderzocht zullen worden: (1) ontwerp-aspecten, (2) structuur-aspecten en (3) communicatie-aspecten, met name on-line communicatie. Onderzocht worden die ontwerp-variabelen, parameters, randvoorwaarden of systeem-determinanten, die de bruikbaarheid en de inzetbaarheid van een programma voor de lerende en de docent vergroot en die van belang zijn om de leer- en werk-doelen zo gemakkelijk mogelijk te kunnen halen. De onderzoeker zal zich zelf moeten zien te beperken in al de mogelijkheden die de(ze) voorstudie oplevert.
Veel van wat hier aan de orde is, is reeds conceptueel ontwikkeld op de Universiteit Twente. Op het gebied van vormgeving en de realisatie van open leeromgevingen heeft het concept van parallellisme reeds enkele concrete zaken opgeleverd. Er is een boek over geschreven, een CD.ROM met concepten uitgegeven en bij de uiteindelijk presentatie (premiere) van het algemene concept - op een seminar van IBM - zijn er direct een aantal contacten en opdrachten uit voort gekomen, waaronder een probleem bij interactieve werk-omgevingen bij Randstad Holding BV te Diemen. En na het plaatsen van een advertentie in een internationaal tijdschrift (Byte, maart 1996) kwamen er meer dan 300 reacties voor verdere informatie. Dit zegt iets over de mogelijke impact van deze ideeën.
Parallellisme heeft uiteindelijk bijgedragen aan het vinden van een oplossing voor een aantal praktijkproblemen, waaronder een probleem dat Randstad met een plannings-systeem bij hun plant-managers had. Dit probleem werd door het bureau Gritter en Koopal te Hengelo in samenwerking met TO en het TO-lab, en met behulp van het parallellisme concept binnen een jaar opgelost. De meeste managers van hoofdvestigingen van Randstad in Europa bleken vrij snel met het concept en de richtlijnen voortvloeiende uit de PI-theorie uit de voeten te kunnen.
Als blijkt dat simultane processen verspreid over een groot oppervlak aantoonbaar functioneel zijn, en als blijkt dat dergelijke processen, bij bepaalde taken, a-synchroon mogen werken, dan heeft dat repercussies voor het ontwerpproces van software en software-gereedschappen. Dan kunnen de afzonderlijke stukken software met aparte, specialistische tools en programmeer-systemen worden gemaakt. Dan hoeven ontwerpers en fabrikanten zich niet meer in allerlei bochten te wringen om EEN groot en integraal ontwikkelsysteem voor de realisatie van werk-omgevingen na te streven.
Er wordt door de indieners van dit project samengewerkt met het CTIT, maar ook met TRC. De projectgroep zal dit project ook toetsen aan de idee‘n en inzichten van de daar aangestelde medewerkers, die ook werkzaam zijn op het gebied van on-line learning en tele-werken. Het voorstel past geheel in de onderzoekslijn van de vakgroep en het onderzoeksinstituut CTIT (telewerken; electronische snelweg) en de onderzoeksschool ICO (interactieve leermiddelen; ontwerpgericht onderzoek). De indieners van dit voorstel (projectleider en supervisor) participeren beiden zowel in het CTIT als in het ICO.
Algemene aanpak
De algemene aanpak geschied in grote lijnen conform de 'design cycle for the design of a prototypical product': 'behoefte analyse'; 'ontwerp analyse en specificatie'; 'prototype ontwikkeling'; 'Experimenteel testen effectiviteit van cruciale ontwerp-opties'; 'validering, implementatie en evaluatie van prototype(s)'; 'generalisatie en rapportering'. We zullen voornamelijk werken met het aangepaste model, het 'W.J.-Zwart'-model (Moonen, 1991). Er zal tegelijkertijd een gecombineerde aanpak nodig zijn om experimenten te kunnen uitvoeren conform het door De Diana uitgewerkte stramien, te weten: 'by combining a generally acknowledged cycle for product design with analytical-experimental testing however, some of the most pronounced options for design can be evaluated on their merits within the design cycle itself' (De Diana in: 'Advisory Agents for Virtual Study Environments', AIO-voorstel, 1997).
Het plan van aanpak kent de volgende belangrijke componenten:
Behoefte analyse
Wat zijn problemen bij bepaalde multimedia producten? Kloppen de oplossingen die ontwerpers aangedragen hebben en onderzoekers voorstellen? Hoe moet je onderzoek naar parallellisme opzetten? Welke producten zou je moeten hebben of maken?
Literatuuronderzoek (onderwijskundig, instrumentatietechnologisch, zowel als over puur technische zaken) is in alle fases noodzakelijk.
Ontwerp analyse en specificatie
Voortbouwen op bestaande expertise: de onderzoeker kan ruim gebruik maken van prototypen en pre-prototypen zoals die door de vakgroep ISM en het TO-lab zijn ontwikkeld.
Technische problemen oplossen: een belangrijke component van het onderzoek is het overwinning van bepaalde, te verwachten technische complicaties bij de nieuwe prototypen. De AIO zal daarom al in een vroegtijdig stadium hierover uitsluitsel moeten zien te verkrijgen.
Concepten testen: er zal regelmatig en zeer intensief met vele deskundige gebrainstormd moeten worden (op interne of externe wetenschappelijke bijeenkomsten) of concepten aan bepaalde minimale voorwaarden voldoen.
Prototype ontwikkeling
Afhankelijk van het verloop van de analyse van problemen die zijn gesignaleerd bij de bouw van het pre-prototypen, en de resultaten die uit de eerste experimenten zijn gekomen, en afhankelijk van inzichten verkregen uit de literatuur, en uit gesprekken met deskundigen, zullen er (eenvoudige) prototypen gebouwd moeten gaan worden. En verder zal er gekeken moeten worden naar welke prototypen en producten er intern en extern beschikbaar zijn.
Er zijn bij de vakgroep in samenwerking met het TO-lab diverse prototypes ontwikkeld waar de onderzoeker gedurende zijn onderzoek gebruik van kan maken, o.a. java-applets (FARMA, PLANET, AORTA, etc., J. Sikken) die draaien onder Netscape3.0, talking head-instructie-materiaal (QuickTime-movies) en ook prototypes met intelligente video-messages (CARDIO, versie 5.0x, B. Reimerink). Als het onderzoeksteam geschikte middelen (resources) vindt, kunnen deze prototypes verder door hem/haar, of anderen, geschikt gemaakt worden voor on-line learning-situaties. De indieners van dit voorstel stellen voor de java-applets die gemaakt zijn bij TO verder te (laten) ontwikkelen en daar simulatiemodellen van Min in te implementeren en uit te testen op het WEB. Daarbij dient dan gekeken te worden naar de leer- of werk-situatie bij twee simultane parallelle processen: de (losse) simulator en de opdrachtomschrijvingen (WEB-pages).
Een goed gedefinieerde leer- of werkomgeving voor dit onderzoek zou (bijvoorbeeld ook) kunnen zijn: drie aparte, simultane, a-synchrone processen, zoals een simulatie (al of niet een java-applet op het net) en parallel daaraan een instructie-filmpje (een QuickTime movie; een 'talking head') met overige instructiematerialen (bijv. een WEB-browser met HTML-files). Ook heel goed zou zijn een knip en plak-taak rondom drie openstaande tekstverwerkingsprogramma's: een tekstverwerker met een e-mail applicatie met bijvoorbeeld een WEB informatiepagina.
Experimenteel testen effectiviteit van cruciale ontwerp-opties.
Het project wordt afgesloten met een empirisch onderzoek. Er moet een goed onderzoeks design worden opgesteld met verschillende groepen proefpersonen. (Zie ook het onderzoeks-project van Ter Burg en Groenewoud; Ter Burg en Groenewoud, 1996) Er dient een goede matching op voorkennis plaats te vinden. De totale interactietijd zal vrij gelaten kunnen worden. De interactietijd zal moeten worden vastgelegd en zonodig als covariaat worden meegenomen. De onderzoeker zal de kennis van de verschillende groepen moeten toetsen met een goed geselecteerde batterij van testen voor conceptuele en operationele kennis.
Je ziet vaak een overkill aan multimediaal verkeer. In een aantal gevallen zal parallelliteit averechts werken. Alleen audio kan dan bijvoorbeeld schoner overkomen. Video leidt eerder tot imago opbouw en emotionele ballast. De onderzoeker zal moeten onderzoeken en aangeven of in waar en in welke mate parallellisme wel of niet werkt of relevant is. (Wanneer is bijvoorbeeld het effect andersom.)
Er zal voornamelijk gekeken moeten worden naar werk- en doe-omgevingen op afstand. Er zijn een aantal relevante prototypen en producten - gebaseerd op parallellisme - aanwezig in de vakgroep en bij het TO-lab. Om relevante gegevens te krijgen zullen er een of meerdere casussen moeten worden uitgekozen of worden opgezet en zal er (denken wij) met Java een en ander ontwikkeld moeten worden. Vormgeving en het concreet maken van situaties spelen in deze fase een doorslaggevende rol.
Validering, implementatie en evaluatie van prototype(s)
Het testen van methoden, technieken en effecten zal in eerste instantie bij TO en waarschijnlijk in de studio plaatsvinden. Er zal gekeken moeten worden hoe een en ander gelogd kan worden. Er bestaat bij TO-lab, in de studio ruimte, een goede mogelijkheid om gedragobservatie-studies op videotape en de bijbehorende dialogen tussen de (twee) proefpersonen op geluidstape te registreren. Er is een usability lab. De onderzoeker zal ook groepen moeten testen in het onderwijsveld.
Generalisatie en rapportering
Van de onderzoeker wordt verwacht dat hij in staat is, gevonden wetmatigheden generaliseerbaar te krijgen c.q. te maken. De onderzoeker zal effecten van zijn ontwerp-keuzen methodisch goed moeten analyseren, indelen en beschrijven. De onderzoeker zal met andere betrokkenen een of twee tussentijdse papers moeten publiceren in internationale tijdschriften. Hij zal een proefschrift moeten schrijven met doelen, aanpak, ontwikkelde methoden en resultaten van zijn onderzoek.
De output uit het onderzoek zal wetenschappelijk gezien van verschillend karakter en aard zijn:
Een theorie. De ontwerp-theorie en de idee‘n rondom het begrip parallellisme worden door de onderzoekers geacht een oplossing te bieden voor een aantal veel voorkomende problemen bij het inrichten van onderwijskundig verantwoorde, interactieve multimediale leer- en werkomgevingen. En zal bijvoorbeeld een oplossing bieden voor het probleem van het ongebruikt laten van bepaalde type multimedia in het onderwijs en waarom docenten van sommige vormen van hard- en software een afkeer hebben gekregen?
Regels. Het project moet uitmonden in resultaat-regels gebaseerd op onderzoek van bepaalde combinaties van facetten en/of ontwerpvariabelen, zoals:
De 'PI-theorie' heeft - naar onze mening - vooral ook betekenis voor andere soorten interactieve doe-omgevingen dan ALLEEN maar voor leer-omgevingen en ALLEEN maar voor instructie. Het toepassen van inzichten uit deze theorie (over het - korte - geheugen-gebruik) geven ontwerpers hopelijk een houvast bij het ontwerpen van nieuwe producten. Dit onderzoek zal mede moeten uitwijzen welke psychologische parameters en variabelen samen met andere ontwerp-variabelen er bij de gebruiker en bij de software een hoofdrol spelen en waarom en onder welke condities de gebruiker in een dergelijke 'doe-omgeving' optimaal tot ontplooiing komt.
Kennistoename. We verwachten een kennistoename qua methoden en technieken voor het ontwerpen van multimedia-producten en moderne werk- en/of leer-omgevingen binnen het vakgebied van de instrumentatietechnologie en in de ontwerpwetenschappen en ontwerp-methodologie. We verwachten een kennistoename op het gebied van de vormgeving, inrichting en de arrangering en de human-computer interaction technologie (HCI). We verwachten ook een kennistoename op het gebied van hoe - gegeven een bepaalde werk- of leertaak - er gekozen kan worden uit vastliggende en wetenschappelijk beproefde gegevens op het gebied van: design choices, human-computer interfaces, mediakeuzes, een mogelijk verbeterde 'enriched' design cycle en bij toekomstige analyses.
Producten. We verwachten dat we dit onderzoek en haar mogelijke software eindproduct(en) en/of concepten in ons curriculum (mogelijk bij keuze-vakken) kunnen gebruiken.
Barfield, L. (1994) Learning about user userinterfaces for learning; science, art of craft? Interact, vol. 1, no. 4, 8-10.
Benshoof, L.A., en S. Hooper (1993) The effectes of single- and multiple-Window Presentation on Archievements During Computer-Based Instruction. J. of Comp. Based Inst. vol.20, no.4, 113-117.
Broers, N.J. (1994) Formalized theory of appraisive judgments; a general methodology for questionnaire research integrating facet design, theory construction and psychometrics. PhD thesis, Kath. Univ. Nijmegen.
Diana, I. De en A.N. Ladhani (19xx) Relating Generic Tutoring Environments and Knowledge-base courseware Engineering: Some epistemological issues. Instructional Science.
Diana, I. De en J. Moonen (1995) Courseware engineering en de gebruikersinterface; studiehandleiding, syllabus en manual; Univ. Twente. Vakcode 193526.
Diana, I. De en P. van Schaick (1995) Courseware Engineering Outlined: an overview of some research Issues. In: Diana, I. De en J. Moonen (1995), Courseware engineering en de gebruikersinterface; studiehandleiding, syllabus en manual; Univ. Twente. Vakcode 193526.
Elbro, C. and J. Christoffersen (1988) Reading in a moving text-window: differences between fast and slow adult readers. Univ. of Copenhagen. Paper in bezit van indieners.
Garlikov, R. (1995) Philosophy of science: theories. Discussie op AERA lijst C. (15 okt. 1995) Tekst in bezit projectgroep. 8 pagina's.
Hart, H.'t, J. van Dijk, M. de Goede, W. Jansen en J. Teunissen (1996) Onderzoeksmethoden. Boom, Meppel. ISBN 90.5352.238.7
Kroes, P. (1996) Ideaalbeelden van wetenschap. Boom, Meppel. ISBN 90.5352.249.2
Ladhani, A-N., (1995) Modelling and using performance knowledge for courseware design. PhD thesis, Universiteit Twente. (proms.: J. Moonen en I. De Diana)
Ladhani, A.-N. en I. De Diana (1994) Knowledge for courseware engineering. Comp. in Human Beh. 10 (1) 155-173.
Min, F.B.M., (1996b) Parallellism in Working, Learning and Doing Environments; the Parallel Instruction Theory for Coaching in Open Learning Environments. In: the proceedings of EuroMedia 96; Telematics in a multimedia environment, dec. 19-21, 1966; A publication of the society for computer simulation International (SCS) (Eds. A. Verbraeck & P. Geril)
Oliver, R. (1994) Proof-reading on paper and screens: The influence of practice and experience on performance. J. of Comp. Based Instr., Vol. 20, no. 4. (118-123).
Papert, S. (1980) Mindstorms; children, computers and powerfull ideas. Basic Books Harper. ISBN 0.465.04629.0.
Parreren, C.F. (1978) Psychologie van het leren I. Van Loghum Slaterus, Deventer. ISBN 90.6001.509.6.
Preece, J. (1994) Human-Computer Interaction; Addison-Wesley. ISBN 0-201-62769-8.
Reuling, A. (1986) Methodologie‘n; een inleiding in onderzoeksstrategie‘n, H. Nelissen, Baarn. ISBN 90.244.0989.6.
Schaick Zillesen, P.G. van, M. Gmelich Meijling, B. Reimerink en F.B.M. Min, (1995), Computer support of operator training based on an instruction theory about parallelism. Kluwer Academic Publishers (Eds: M. Mulder, W. Nijhof en R. Brinkerhof). ISBN 0-7923-9599-9. p.209-226.
Veer, G. van der, en E. Lammers (1985) Programmatuur naar menselijke maat; cognitieve ergonomie van mens-computer systemen; Proceedings van conferentie over dit onderwerp, dd. 6 nov. 1985. Uitgave: Stichting Informatica Congressen, ISBN: 90-70621-24-X
Zwart, W. J. (1988) FLOWSIM: een computersimulatieprogramma voor het waterloopkundig laboratorium met GEM op Atari 1040ST gebaseerd op het wiskundig model WAFLOW; M Sc thesis, internal publication, University of Twente,Enschede (in cooporation with the dutch Waterloopkundig Laboratorium, Delft / Marknesse, Holland, J. Moonen en F.B.M. Min)
Ball, G., (1993) Redesign of simulation materials for CD-ROM. OKT verslag / Rapport (writen in English). University of Twente, Enschede (Begeleiding/Supervisor: Rik Min)
Doorn, van, F. (1993) MacSimAuthor, een autheurssysteem voor computersimulaties; ontwerp en realisatie. M Sc Thesis, University of Twente, Enschede (in coop. with W.J. Zwart of the ODB-project, J. Moonen and F.B.M. Min).
Gritter, H., W. Koopal and F.B.M. Min, (1994) A New Appraoch to Computer Simulations; Interact, European Platform for Interactive Learning, Vol. 1, no. 2, ISSN 0929-4465.
Groenewoud, U.A., J. ter Burg, W. Akkermans en R. Min (1996) Effect van mate van parallellisme op taakuitvoering en gepercipieerd gebruiksgemak. Verslag van een onderzoeksopdracht, Toegepaste Onderwijskunde. Proceedings onderzoeksopdracht TO (Eds. Oosterloo en v.d. Linden); ook gepubliceerd op Internet.
Gritter, H. (1993) Het ontwerpen, ontwikkelen en evalueren van ISAV (Instructional Support for ArcView): een COO-programma ter ondersteuning van het geografische informatiesysteem ArcView. M Sc Thesis, University of Twente, Enschede (in cooporation with the University of Southampton, J. Moonen and F.B.M. Min).
Koopal, W., (1993) Ontwerp, ontwikkeling en evaluatie van leeromgevingen voor simulatie; een onderzoek naar de empirische waarde van parallelle instructie. M Sc thesis Universiteit Twente, Enschede (in cooporation with J. Moonen and F.B.M. Min).
Min, F.B.M., (1987) Computersimlatie als leermiddel; een inleiding in methoden en technieken. Academic Services B.V., Schoonhoven, ISBN 90 6233 282 X. Min, F.B.M., (1992a) Parallel Instruction: a theory for educational computer simulation; Interactive Learning International, Vol.8, no.3 (1992) 177-183.
Min, F.B.M., (1992b) Pilot-onderzoek naar leermodellen bij computersimulatie aan de hand van observaties van leergedrag; proceedings van Gezond onderwijscongres door de Nederlandse Ver. voor medisch onderwijs in samenwerking met de vakgroep Onderwijsontwikkeling en Onderwijsresearch, Rijksuniversity of Limburg op 28-29 november 1991 te Velthoven. Redactie: C.P.M. van der Vleuten, A.J.J.A. Scherpenbier en M.C. Pollemans; Uitgever: Bohn, Stafleu Van Loghum BV. Houten. pg. 130-137.
Min, F.B.M. (1994a), Parallelism in open learning and working environments. Britsh Journal of Educational Technology, Vol. 25, No. 2, pp. 108-112. ISSN 0007-1013.
Min, F.B.M. (1994b), Parallelism bij coachen van gebruiker in open leeromgevingen. In: Simulatie: een State of the Art. Proceedings van Conferentie 'Simulatie 1993' te Utrecht; Organisatie SISWO (TIM), Amsterdam; (Editors: C. van Dijkum & D. de Tombe).
Min, F.B.M., (1995) 'Simulation Technology & Parallelism in Learning Environments'; 'Methods, Concepts, Models and Systems' Book, Uitgeverij: Academisch Boekencentrum, ABC, De Lier. ISBN 90-5478-036-3.
Min, F.B.M., (1996) Parallellisme bij werk-, leer- en doe-omgevingen; De Parallelle Instructie Theorie voor Coaching in Open Leeromgevingen voor Simulatie. In: Interact, een tijdschrift op Internet. (17 pages.).
Min, F.B.M., (1996b) Parallelism in working-, learning- and doing-environments; The Parallel Instruction Theory for Coaching in Open Learning Environments for Simulation; Proceedings of EuroMedia 96; Telematics in a multimedia environment, dec. 19-21, 1966; A publication of the society for computer simulation International (SCS) (Eds. A. Verbraeck & P. Geril).
Min, F.B.M., P.G. van Schaick Zillesen, B. Reimerink, M.R. Gmelich Meijling (1991) Computer simulation with HyperMedia for training operators in chemical industry. 4th international conference 'Computer and Video in corporate training, ADCIS / Istituto Dalle Molle di Methodology Interdisiplinari (IDMI) Technoloy Transfer, CBT-developers workshop, nov. 19th 1990, Lugano. (T. Bernold and J.H. Finkelstein, eds)
Min, F.B.M., P.G. van Schaick Zillesen, B. Reimerink, M.R. Gmelich Meijling (1992) MacTHESIS, an universal design system for building Computer simulation modules for education and training. In: Modellbildungssysteme - Konzepte und Realisierungen; conference about CBT on Univ. of Tubingen, nov. 1990; COMET Verlag fur Unterrichtssoftware, Duisburg (J. Wedekind and W. Walser, eds) ISBN 3-89418-709-9.
Moonen, J., (1990) Computers veranderen de wereld, doch veranderen ze ook het onderwijs? Inaugurele rede, Universiteit Twente Enschede, (jan. 1990)
Moonen, J. (1991) Toegepaste onderwijskundigen; Architecten of ingenieurs? In: Dijkstra S., H.P.M. Krammer & J.M. Pieters (Red.) (1991) De onderwijskundige ontwerper; Liber amicorum prof. E. Warries. Swets & Zeitlinger b.v., Amsterdam.
Moonen, J., and J. Schoenmaker; (1992) Evolution of courseware development methodology: recent issues. In: Plomp, Tj. & J. Moonen (Eds), Implementation of computers in education. Intern. J. of Educ. Res. , Vol. 17, no. 1, 109-121.
Schaick Zillesen, P.G. van (1990), Methods and techniques for the design of educational computer simulation programs and their validation by means of emperical research. Academisch proefschrift, Universiteit Twente (promotor E. Warries, assistent-promotor F.B.M. Min) ISBN 90-9003874-4.
