Onderzoeksaanvraag
Naam, titel, voorletters:
Projectleiding: dr. ir. F.B.M. (Rik) Min
_________________________________________________________________________
English:
R & D study to cognitive aspects of the parallelism concept and the Parallel Instruction theory in doing-, working- en learning-enviroments.
_________________________________________________________________________
In specifiek opzicht wordt nagegaan of in technologisch rijke omgevingen de efficiency en effectiviteit van leer- en werktaken wordt verhoogd door een speciale vormgeving of dimensionering van de werkplek. Daarbij zal speciaal de userinterface en de beeldscherm-opbouw (in relatie tot taken) worden onderzocht en geanalyseerd.
In meer algemeen opzicht wordt het onderzoek uitgevoerd met het oogmerk om via optimalisatie van taken, leerprocessen en bijkomende coaching, in relatie tot het parallel aanbieden van stimuli - cueing - te komen tot vergroting van de studeerbaarheid van het onderwijs. Door een eerdere promovendus is 2 jaar veel voorwerk gedaan (Cleassens, 1999).
Tot op heden hebben wij grote overeenkomsten ontdekt tussen de 'dual-code'-theorie, de 'split-attention'-theorie van Mayer en Sweller, de 'cognitive load' theorie van Sweller en de parallel instruction theorie van Min (Sweller, 1994; Mayer & Moreno, 2000; Min, 2002).
Dit onderzoek wil bijdragen aan een betere theorievorming binnen de instrumentatietechnologie en in het bijzonder aan de methodologie van het ontwerpen en vormgeven van effectieve en efficiënte van multimediale leer-, werk- en doe-omgevingen.
Er zal worden samengewerkt met de Open Universiteit. Voor dat doel zijn afspraken gemaakt om hun instrumentarium en laboratorium te gebruiken voor experimenten met taken die proefpersonen goed moeten kunnen uitvoeren. Contacten met Stichting Leerplan Ontwikkeling, SLO Enschede, ROC Hengelo, het van Hall Instituut Leeuwarden, Holland Signaal (Thales Ned. BV) Hengelo, Shell Rijswijk en het Telematica Instituut (TI) Enschede maken het mogelijk ook daar experimenten (mee) uit te voeren. In het voorafgaand PhD-onderzoek zijn in dit netwerk al daadwerkelijk experimenten gedaan (Cleassens, Moonen en Min, 2000).
_________________________________________________________________________
In a specific view there will be traced if in a technological rich environment the efficiency and effectivity of learning- and working tasks will be increased by a special design of levels of the workingenvironment. Specially the user-interface and the screen layout will be researched and analysed.
In a more general view the research will be done to optimalizing the tasks, the learning processess and the coaching, in connection with offering stimuli parallel for increasing the 'stuurdeerbaarheid' of education. Moreover the research will contribute to theoretical design theory within the instrumentation technology and in particularly the methodology of designing and composite of effective and efficiente multimedial working- and learning- environments.
There is a cooperation in our netwerk with the Open University in Heerlen, SLO Enschede, ROC Hengelo, the Van Hall Instituut Leeuwarden, Holland Signaal Hengelo, Shell Rijswijk and the Telematica Instituut Enschede. In this netwerk we can use subjects and research time for our experiments.
_________________________________________________________________________
De centrale onderzoeksproblematiek van de vakgroep is het zoeken naar theoretische inzichten en ontwerprichtlijnen voor het samenstellen van optimale media-taak combinaties in het bijzonder bij het gebruik van digitale netwerken en bij teleleren en tele-werken.
Media-taak combinaties worden steeds meer gebruikt in een context waarbij leer- en werkomgevingen ter beschikking worden gesteld die door individuen of groepjes van twee personen zonder inmenging van anderen worden gebruikt. Een centraal kenmerk van dit soort electronische leer- en werkomgevingen is meestal de multimediale dimensionering en daarbij de beschikbaarheid over interactiviteit.
In eerder onderzoek zijn de consequenties van gebruik van interactieve multimedia op het leer- en werkgedrag bestudeerd. In zijn promotie-onderzoek bestudeerde Van Schaick Zillesen (1990) bepaalde simulaties en de rol van papieren materiaal versus electronische instructie materiaal daarbij. Daarbij werd het papieren materiaal naast of op een beeldscherm beschikbaar gesteld. Tegelijkertijd werden in die periode ook in andere projecten vergelijkbare onderzoekingen uitgevoerd, o.a. bij het Akzo-project (Gmelich Meijling, 1990), het Fokker-project (ter Hedde, 1989), het Waterloopkundig Laboratorium-project (Zwart, 1988; Min, 1995), het SLO-project (Wolters, 1986; Min, 1994b), het ArcView-project i.s.m. de University of Southampton (Gritter, 1993) en het parallellisme-project (ter Burg en Groenewoud, in proceedings 'onderzoeks-project Toegepaste Onderwijskunde'; 1996). Vanaf 1996 lopen er tientallen pilot-studies naar web-based simulaties en animaties met java-applets en veelsoortige en veelvormige instructiematerialen (Min en Sikken, 1997; Min, 1998, Min, 2000); o.a. met de Stichting Leerplan Ontwikkeling en het Van Hall Instituut; o.a. 'Een viskweekvijver in de computer'. Een aantal prototypes zijn gereed en worden momenteel getest op gebruikersgemak ('usability', 'scaffolding' en motivatieverhogende werking). Voorheen werden veelal kwalitatieve analysemethoden gebruikt. Maar omdat uit de op kwalitatieve analyse gebaseerde benadering voldoende stabiele elementen konden worden geïdentificeerd is in 1996 een vooreerst goed opgezet kwantitatief (en vergelijkend) onderzoek uitgevoerd (ter Burg en Groenewoud, 1996) en later door Cleassens in gewijzigde vorm herhaald.
De samenwerking in ons netwerk zal gericht zijn op het uitwerken van ideeen, voorstellen en mogelijke implementaties van parallellisme bij allerlei soorten applicaties, voornamelijk hypermedia-applicaties maar ook stand alone doe-, werk- en/of leer-omgevingen.
Als zodanig zal specifiek voor de genoemde vakgebieden onderzocht worden in hoeverre efficiency en effektiviteit van klanten-trainingen verbeterd kunnen worden door zorgvuldige analyse van beschikbare informatie zoals tydens de ontwerp, produktie, assemblage en test-processen wordt gegenereerd.
In nauwe samenwerking met instrukteurs en auteurs uit ons netwerk zal door de betreffende AIO worden onderzocht in hoeverre optimaal van bestaande visuele en tekstuele informatie gebruik gemaakt kan worden. Zodanig dat ingewikkelde, lange beschrijvingen tot een minimum beperkt kunnen worden en zonder dat er verlies van gerichte kennisoverdracht optreedt. Met name beeldmateriaal, al dan niet met animaties, zullen worden geselecteerd. Voor mensen die taken moet uitvoeren, in doe-omgevingen, gaat het om meer zicht te krijgen op de door hen verrichte handelingen en de optredende gevolgen.
De onderzoeken zullen zowel off-line als online experimenten betreffen. De hier te onderzoeken situaties zullen grotendeels on-line situaties zijn. Dus niet alleen leer-omgevingen maar ook en vooral zogenaamde werk- en zogenaamde doe-omgevingen betreffen (Min, 1996b).
6.2 Parallellisme
Vanuit deze serie onderzoeken ontstond in 1992 een bepaalde hypothese; een theorie (de 'PI-theorie') rondom het verschijnsel van 'parallellisme' als oplossing voor het inrichten van werkplekken. De afgelopen vier jaar hebben de hier betrokkenen deze theorie beschreven (Min, 1997). De theorie geeft vanuit de cognitieve psychologie een verklaring voor problemen bij digitale leer- en werk-omgevingen rondom 'gewone' beeldscherm. Deze theorie kan wellicht zelfs ook uitsluitsel geven over het falen van traditionele COO, oudere PC's en web-media in het algemeen en web-sites on het bijzonder. Wij willen middels empirisch onderzoek bewijsvoering vinden voor de PI theorie. Als dit lukt hebben we gevonden waarom (en welke mensen) in web-sites heel vaak het spoor bijster raken.
Speciaal multi-processing werkplekken eisen op het punt van parallellisme veel aandacht. Ontwerpers van userinterfaces dienen - conform deze theorie - rekening te houden met de manier waarop gebruikers informatie opnemen en enige momenten kunnen vasthouden, alvorens ze er iets mee gaan doen. De theorie die aan deze oplossing ten grondslag ligt is nog niet helder omschreven en geformuleerd, en kan - volgens de indieners van dit voorstel - met de 'theorie-constructie'-methode van Broers (1994) nauwkeurig worden vastgelegd (de 'facet theorie') (Broers, 1994). Zie hiervoor sectie 7 en 7.1. Benshoof en Hooper (1993) geven op dit punt - om overzicht over processen op beeldschermen te kunnen houden - aanwijzingen dat bij instructie aan opgroeiende kinderen er een relatie is tussen 'multiple-windowing environments' en geheugenproblemen (en dientengevolge: geheugenstrategieën). Ook Barfield (1994) doelt daar op in zijn paper 'learning about user userinterfaces for learning'. Deze onderzoeker geeft ook richtlijnen voor bepaalde typen dynamische (en met name visuele) feedback en aanwijzingen om leerling in de gelegenheid te stellen om op een goede manier een mentaal model te laten opbouwen. Ook in andere vakgebieden (cinomatografie) waren vergelijkbare verschijnselen (van een beperking in het korte geheugen en des-orientatie) waargenomen.
In het first year PhD rapport van Cleassens is aangegeven dat er bij het parallellisme-concept in open leersituaties vele soorten informatie als 'instructie' mag worden beschouwd (Cleassens, 1999; Min, 1996). Een aantal van deze instructie-vormen of instructie-onderdelen zijn:
Al deze vormen van informatie of instructie zijn van belang bij het ontwerp van de uiteindelijke werk-omgeving en moeten zich (volgens Min) op het juiste tijdstip en op de juist plaats bevinden in het zicht van de gebruiker (in 'view' c.q. 'parallel'). Deze vormen van instructie worden hier input genoemd. De arrangering en de leesbaarheid van deze type onderdelen zijn zeer belangrijk, vooral bij allerlei vormen van tele-learning, distance-learning en bij distributed learning environments waarbij niemand aanwezig is om de gebruiker te helpen. Elbro en Christoffersen verrichte aangaande de 'indringendheid' van instructieteksten op beeldschermen in 1988 een interessante studie (Elbro & Christoffersen, 1988). Ook Oliver deed iets dergelijks in 1994 (Oliver, 1994). Hij onderzocht het verschil in lezen van papier versus lezen van teksten op beeldschermen. De achtergronden en de rationale bij het arrangeren van deze losse onderdelen in de werk-omgeving (in digitale of niet-digitale vorm) is het onderwerp van dit onderzoek. Ook al de in deze figuur voorkomende vormen van 'gestuurde' feedback (rechts in figuur 1) zijn in dit soort electronische leer-, werk- of doe-omgevingen van belang, zoals:
6.3 De hypothese achter het concept van 'parallellisme'
In de 'parallelle instructie'-theorie-benadering voor simulatieleeromgevingen (de 'PI-theorie'), die in 1992 door Min in voorgesteld, wordt veronderstelt dat een gebruiker in een open leeromgeving alleen maar goed kan werken (en dus leren), als de omgeving zodanig is ontworpen dat alle relevante informatie om beslissingen te kunnen nemen 'expliciet en direct zichtbaar' is of met een simpel hanteren van de muis zichtbaar kan worden gemaakt. De manier van vormgeving van werk-omgevingen die conform deze ideeën zijn ontworpen, noemt Min 'parallellisme'. Als een multimediale, interactieve omgeving te weinig parallellisme kent en teveel sequentieel - dus frame na frame - is opgebouwd faalt deze als leer- en werkomgeving. Voor de gebruiker zijn er dan te weinig vrijheidsgraden in het systeem. De gebruikers zullen in een verkeerd ontworpen omgeving, waar actief moet opgetreden, geblokkeerd raken of datgene wat gedaan moet worden niet doen; en/of wat geleerd moet worden niet leren.
De 'PI-theorie' is dan ook op de eerste plaats een ontwerp-theorie; een theorie die bij het ontwerp gebruikt kan worden en rekening houdt met de geheugenstrategieën van gebruikers. De cognitieve psychologie kan volgens ons hiervoor een verklaring leveren. (Zie briefwisseling met prof. Sweller, dr. Beishuizen en prof. Merrienboer; bij ondergetekende in te zien) Bij nadere bestudering bleek keer op keer dat de combinatie simulatie-instructie die op een traditionele manier gepresenteerd was (zoals instructie op papier; beschikbaar naast de monitor), betere resultaten opleverden dan andere oplossingen waarbij de simulatie en de bijbehorende instructie via een computersysteem (met een hypertekst-systeem) gecombineerd werden. Een experiment voor een opdracht bij de AKZO in Hengelo bracht de onderzoekers op het spoor van de gebreken van het werken met beeldschermen en de daarbij toegepaste software-techniek (Van Schaick Zillesen & Gmelich Meijling et al., 1995). Leeromgevingen waarbij de instructie-component niet goed werkte bleken in het algemeen veel te sequentieel ontworpen en veel te star gekoppeld te zijn. Dat wil zeggen de instructie was te veel 'gesynchroniseerd met de simulatie' en te dwingend, terwijl de instructietekst geheel van het beeldscherm verdween als er met de simulatie werd gewerkt.
De literatuur maakt weinig melding van condities (per doelgroep, per taak en per andere categorie) waaronder bepaalde ontwerpregels gelden of niet gelden. Laat staan dat er gerichte aanbevelingen worden gedaan. We weten weinig over welke type personen welke type werk-omgevingen behoeven en in welke interactie- of presentatievorm een specifiek product gestoken dient te worden. (Op een paar uitzonderingen na zoals Elbro & Christoffersen, 1988 en Oliver, 1994) Vaak worden alle type werkvorm met één en dezelfde soort oplossing afgevangen. Wij hebben ontdekt dat dat niet correct is. Grote groepen mensen vallen bij het gebruik van een type werkomgevingen daardoor tussen de wal en het schip.
De implicaties van parallellisme voor leer- en werkomgevingen in een tele-leersituatie is duidelijk. Ook in die situaties is het goed kunnen communiceren met afzonderlijke onderdelen van belang, in het bijzonder met het werken met vaste beeldschermplekken ('viewports') of met verschuifbare beeldschermplekken ('windows'), met de snelheid waarmee van de ene plek naar de andere plek gesprongen kan worden en met het gemak waarmee dat kan (Seymour, 1996). Zijn daarvoor grotere beeldschermen nodig, meer viewports of multi-windowing-systemen? (En onder welke condities?) Zijn leer- en werkomgevingen op kleine beeldschermen gedoemd te mislukken?
De impact die een en ander heeft op de specificaties rond de userinterface in de context van tele-leren en tele-werken liggen nog gecompliceerder. Het gemak van electronische instructie of help-systemen is in een on-line omgeving duidelijk. Men kan snel de nieuwste en laatste gegevens inzien en actuele nieuwe bestanden in zijn geheel laden in een eigen systeem (off-line). (Op schepen en in vliegtuigen van luchtmacht en marine speelt dat een rol.) Maar het is wel de vraag of het gewenste effect wordt bereikt en dat een en ander ruimtelijk goed en overzichtelijk kan worden ingericht. Bovendien is het een centrale vraag hoe een cursist (of iemand die een onderhoudsklus moet doen) zich oriënteert binnen een via teleleren aangeboden cursus of de taak (en hoe hij daarbij niet alleen in de 'diepte', maar ook in de 'breedte' navigeert).
Het werk van Benshoof en Hooper, maar ook van Barfield en Min geven een indicatie dat er voor de inrichting van leer- en werkplekken nog geen algemeen aanvaarde oplossingen zijn (Barfield, 1994; Benshoof en Hooper, 1993; Min, 1996b). Het idee dat in het kader van het hierboven genoemde 'parallellisme' is geformuleerd, kan bijdragen aan een oplossing. Kwalitatief onderzoek naar de betekenis van parallellisme kan voor de ontwerpers van moderne multimediale werk- en leeromgevingen van grote waarde zijn. Immers, op basis daarvan kunnen opdrachtgevers overtuigd worden van het nut van bepaalde voorzieningen: grotere monitoren, meerdere schermen of gewoon papieren instructiemateriaal? Bij teleleren is een goed ontworpen werkplek nog belangrijker dan in traditionelere situaties, want er is geen fysieke hulp aanwezig.
________________________________________________________________________
Theorievorming aangaande de inrichting van een optimale werkomgeving kan (hoogstwaarschijnlijk) het beste op basis van de door Broers in 1994 uitgewerkte 'facet theorie' worden gedaan. Deze methode is volgens De Diana (en anderen) geschikt om theorieën (qua formulering en in toetsbare hypothese-vorm) op te stellen (De Diana, mondelinge contacten, 1997). Daartoe dienen alle ontwerp-variabelen uit de werkomgeving op een bepaalde manier te worden geanalyseerd en dienen zogenoemde 'mapping sentences' van fenomenen en relaties te worden opgesteld. (Zie N.J. Broers, proefschrift, 1994, blz. 25). Voor deze algemene methode voor het opstellen van een theorie is het noodzakelijk om taken, zowel als type instructie als type presentaties te onderscheiden ('condities'). Deze condities dient de onderzoeker in categorieën onder te verdelen verdeeld. Vooralsnog denken wij aan ontwerp-variabelen uit deze drie dimensies: 'taken', 'instructievormen' en 'presentatievormen'. Het aantal categorieën per dimensie zal rond de drie schommelen.
De (voorlopige) veronderstellingen (hypotheses) zijn dat het nut van parallellisme bij open werk-omgevingen te maken heeft met het volgende:
7.2 Problemen en probleemstelling
Problemen
Er zijn een aantal problemen binnen interactieve werk-omgevingen. Er zijn ten eerste problemen in een open werk-omgeving met de aanbiedingswijze of presentatievorm bij instructie-materialen; ten tweede problemen met het manipuleren van windows en ten derde het door Min zogenoemde 'lineaire' karakter van monitoren. (Min, 1996). Er wordt al jaren gezocht naar alternatieven voor papier of voor distributie van papier, manuals en help-systemen, die persé noodzakelijk zijn bij werk-omgevingen. De onderzoeker zal te maken krijgen met moderne viewport- en/of windowing- en/of multitasking-technieken die nog heel onhandig en onpraktisch zijn vormgegeven. Onervaren gebruikers van deze informatiebronnen reageren hier heel verschillend op. Iedere persoon reageert anders op pull down menu's, windows, multi-tasking systemen of hele onoverzichtelijke, compacte tools. De industrie speelt onvoldoende in op problemen die de gebruiker bij het kopen en inwerken bij nieuwe software heeft. Bij educatieve software is een inwerkperiode van een kwartier al een probleem, laat staan als je voor een multimediaal product een lange of korte cursus nodig hebt. Alleen fabrikanten die de thuismarkt bedienen (en spelletjes fabrikanten) testen hun software structureel op dit type gebruikersgemak. Andere software fabrikanten gaan ervan notabene zelfs vaak vanuit dat gebruikers cursussen nodig hebben om producten te begrijpen. Onderwijskundigen ervaren deze problemen - met aanbieders van software - dagelijks aan den lijve. Instrumentatie-technologen dienen de problemen echter aan de bron aan te pakken. Niet alleen door het probleem te benoemen, maar vooral ook door op een wetenschappelijke manier de achtergronden bij specifieke problemen product-gericht, empirisch te onderzoeken en daarover te publiceren. Wetenschappers uit deze disipline onderbouwen hun richtlijnen nog te weinig wetenschappelijk. Men geeft wel richtlijnen, maar nog te weinig 'het waarom' en onder welke condities richtlijnen of methodologieën gelden.
Eenzelfde aktiviteit voor onderhoud om door middel van de juiste beelden het preventief en het correctief onderhoud aan te leren lijkt een logische stap, omdat door kwaliteitsonderhoud de beschikbaarheid van een combat systeem groter wordt,en tevens de kosten zullen verminderen.
Onderzoeksframework
De nieuwe ontwikkelingen in ICT, o.a. teleleren en via dat concept de wereldwijde toegang tot bronmateriaal, en de steeds krachtiger systemen, grotere monitoren, en betere multimediale mogelijkheden, openen nieuwe dimensies voor parallelle instructiemethoden. De onderzoeksvragen zijn daarom heel divers. Ze variëren van eenvoudige technische vragen tot psychologische vragen. Om er enkele te noemen: Hoeveel vrijheidsgraden mag een leerplek voor teleleren hebben? Hoeveel vrijheidsgraden kan een gebruiker eigenlijk aan? Verschilt dat per type leerling? Waarom kan een gebruiker bij een eenvoudige taak, achter een monitor soms niet onthouden wat hij/zij zoëven zag? Waarom wil een gebruiker kunnen refereren en vergelijken? Hoe ver moeten windows uit elkaar liggen? Waarom willen sommige studenten persé iets - op papier - kunnen opschrijven? Waarom kan een leerling soms wel zijn aandacht bij een les houden en soms enorm afgeleid worden? Waarom kunnen kinderen met spelletjes wel direct werken en met educatieve software niet? Waarom is bij het ene programma wel een handleiding nodig en bij een ander programma niet? Heeft het nut ergens in een hoekje van het beeldscherm een video window te hebben waar de leraar - voor in de zaal - je kan toespreken? Maar ook: Is de behoefte aan parallellisme bij sommige personen soms een kwestie van iemands slechte kort geheugen?
facetten: dimensies & catagorieën
Voor de methode van Broers is het nodig dat er toetsbare uitspraken worden opgesteld en dus dat alle dimensies en categorieën ('facetten' volgens Broers) worden vastgelegd. De eerste dimensie (a) die onderzoeker kan gebruiken is dat wat we voorlopig de 'mediavorm' van 'het probleem' of 'de taak' op het beeldscherm kunnen noemen. Daartoe rekenen we de categorieën:
Onderzoeksvragen
In die context zijn een aantal onderzoeksvragen relevant. We hebben er ook af en toe onze hypotheses achter gezet. T.w.:
7.3 Wetenschappelijk en praktisch belang
Veel van wat hier aan de orde is reeds conceptueel ontwikkeld op de Universiteit Twente. Op het gebied van vormgeving en de realisatie van open leeromgevingen heeft het concept van parallellisme reeds enkele concrete zaken opgeleverd. Er is een boek over geschreven, een cd.rom met concepten uitgegeven en bij de uiteindelijk presentatie (première) van het algemene concept - op een seminar van IBM - zijn er direct een aantal contacten en opdrachten uit voort gekomen, waaronder een probleem bij interactieve werk-omgevingen bij Randstad Holding BV te Diemen. En na het plaatsen van een advertentie in een internationaal tijdschrift (Byte, maart 1996) kwamen er meer dan 300 reacties voor verdere informatie. Dit zegt iets over de mogelijke impact van deze ideeën.
Parallellisme heeft uiteindelijk bijgedragen aan het vinden van een oplossing voor een aantal praktijkproblemen, waaronder een probleem dat Randstad met een plannings-systeem bij hun plant-managers had. Dit probleem werd door het bureau Gritter en Koopal te Hengelo in samenwerking met TO en het TO-lab, en met behulp van het parallellisme concept binnen een jaar opgelost. De meeste managers van hoofdvestigingen van Randstad in Europa bleken vrij snel met het concept en de richtlijnen voortvloeiende uit de PI-theorie uit de voeten te kunnen (het 'Randstad'-project; ter inzage bij de indiener).
Als blijkt dat simultane processen verspreid over een groot oppervlak aantoonbaar functioneel zijn, en als blijkt dat dergelijke processen, bij bepaalde taken, a-synchroon mogen werken, dan heeft dat repercussies voor het ontwerpproces van software en software-gereedschappen. Dan kunnen de afzonderlijke stukken software met aparte, specialistische tools en programmeer-systemen worden gemaakt. Dan hoeven ontwerpers en fabrikanten zich niet meer in allerlei bochten te wringen om één groot en integraal ontwikkelsysteem voor de realisatie van werk-omgevingen na te streven.
Er wordt door de indieners van dit project samengewerkt binnen het centrum voor telemativa en IT, CTIT, te Enschede, maar ook wellicht met het Telematica Instituut (TI) te Enschede. (Met dr. De Poot, van het TI, hebben we al diverse malen ideeen over parallellisme-toepassingen uitgewisseld.)
De projectgroep zal dit project ook toetsen aan de ideeën en inzichten van de daar werkzame medewerkers, die ook werkzaam zijn op het gebied van on-line learning en tele-werken. Het voorstel past in de onderzoekslijn van de vakgroep en het onderzoeksinstituut CTIT (telewerken; electronische snelweg) en de onderzoeksschool ICO (interactieve leermiddelen; ontwerpgericht onderzoek). De indieners van dit voorstel (projectleider en supervisor) participeren zowel in het CTIT alsmede deels ook in het ICO. (Waar en hoe de betreffende AIO wordt gestationeerd laten we over aan de dekaan van TO, de voorzitter van de vakgroep ISM en de bovengenoemde projectleider.)
7.4 Overzicht van aanpak
Vooraf
Over de volgende belangrijke aandachtspunten, onderzoekskeuzes en bijbehorende doelstellingen, dienen de projectmedewerkers nadere afstemming en overeenstemming te bereiken:
Algemene aanpak
De algemene aanpak geschied in grote lijnen conform de 'design cycle for the design of a prototypical product': 'behoefte analyse'; 'ontwerp analyse en specificatie'; 'prototype ontwikkeling'; 'Experimenteel testen effectiviteit van cruciale ontwerp-opties'; 'validering, implementatie en evaluatie van prototype(s)'; 'generalisatie en rapportering'. We zullen voornamelijk werken met het aangepaste model, het 'W.J.-Zwart'-model (Moonen, 1991).
Het plan van aanpak kent (derhalve) minstens de volgende belangrijke componenten: een behoefte analyse, ontwerp analyse & specificatie, prototype ontwikkeling, experimenteel testen effectiviteit van cruciale ontwerp-opties, validering, implementatie & evaluatie van prototype(s) en generalisatie & rapportering.
Behoefte analyse
Ontwerp analyse en specificatie
Voortbouwen op bestaande expertise: de onderzoeker kan ruim gebruik maken van prototypen en pre-prototypen zoals die door de vakgroep ISM en haar medewerkers in de loop der jaren zijn ontwikkeld.
Technische problemen oplossen: een belangrijke component van het onderzoek is het overwinning van bepaalde, te verwachten technische complicaties bij de nieuwe prototypen. De AIO zal daarom al in een vroegtijdig stadium hierover uitsluitsel moeten zien te verkrijgen.
Concepten testen: er zal regelmatig en zeer intensief met vele deskundige gebrainstormd moeten worden (op interne of externe wetenschappelijke bijeenkomsten) of concepten aan bepaalde minimale voorwaarden voldoen.
Prototype ontwikkeling
Afhankelijk van het verloop van de analyse van problemen die zijn gesignaleerd bij de bouw van het pre-prototypen, en de resultaten die uit de eerste experimenten zijn gekomen, en afhankelijk van inzichten verkregen uit de literatuur, en uit gesprekken met deskundigen, zullen er (eenvoudige) prototypen ontwikkeld moeten gaan worden. Maar vooral moet er gekeken moeten worden naar situaties die reeds bestaan of prototypen en producten die intern of extern beschikbaar zijn.
Er zijn bij de vakgroep in samenwerking met het TO-lab diverse prototypes ontwikkeld waar de onderzoeker gedurende zijn onderzoek gebruik van kan maken, o.a. java-applets ('Vijver', 'Farma', 'Planet', 'Watertank', 'Enzym', 'Aorta', 'Maurice', 'Marietje', 'Zonneboiler', etc.; Min en Sikken, 1997; Min en De Goeijen, 2002) die draaien onder Netscape, lopend video-materiaal (QuickTime-movies) en ook prototypes met intelligente video-messages (intelligente computersimulaties, ICS) (CARDIO, versie 5.0x, Min & Reimerink en anderen, 1999 online). Als het onderzoeksteam geschikte middelen (resources) vindt, kunnen deze prototypes verder door hem/haar, of anderen, geschikt gemaakt worden voor on-line learning-situaties; anders zullen er eenvoudige leer- werk- en doe-omgevingen moeten worden ontworpen en ontwikkeld (of samengesteld worden c.q. hergebruiken van losse delen).
De indieners denken drie of vier (geheel) verschillende situaties te moeten onderzoeken, t.w. een gewone niet-software situatie; een stand alone werk- of leer-omgeving; en/of een online omgeving op het web; en een online omgeving in een VR-ruimte (zoals Holland Signaal of Shell Rijswijk hebben). (In beide researchgroepen hebben we contacten die dit onderzoek kennen.)
Een goed gedefinieerde leer- of werkomgeving voor dit onderzoek zou (bijvoorbeeld ook) kunnen zijn: drie aparte, simultane, a-synchrone processen, zoals een simulatie (al of niet een java-applet op het net) en parallel daaraan een instructie-filmpje (een QuickTime movie; een 'talking head') met overige instructiematerialen (bijv. een web-browser met html-files). Ook heel goed zou zijn een knip en plak-taak rondom drie openstaande tekstverwerkingsprogramma's: een tekstverwerker met een e-mail applicatie met bijvoorbeeld een web informatiepagina.
Experimenteel testen effectiviteit van cruciale ontwerp-opties.
Het project wordt afgesloten met een empirisch onderzoek. Er moet een goed onderzoeks design worden opgesteld met verschillende groepen proefpersonen. (Zie ook het onderzoeks-project van Ter Burg en Groenewoud; Ter Burg en Groenewoud, 1996) Er dient een goede matching op voorkennis plaats te vinden. De totale interactietijd zal vrij gelaten kunnen worden. De interactietijd zal moeten worden vastgelegd en zonodig als covariaat worden meegenomen. De onderzoeker zal de kennis van de verschillende groepen moeten toetsen met een goed geselecteerde batterij van testen voor conceptuele en operationele kennis.
Je ziet vaak een overkill aan multimediaal verkeer. In een aantal gevallen zal parallelliteit averechts werken. Alleen audio kan dan bijvoorbeeld schoner overkomen. Video leidt eerder tot imago opbouw en emotionele ballast. De onderzoeker zal moeten onderzoeken en aangeven of in waar en in welke mate parallellisme wel of niet werkt of relevant is. (Wanneer is bijvoorbeeld het effect andersom.)
Er zal voornamelijk gekeken moeten worden naar werk- en doe-omgevingen op afstand. Er zijn een aantal relevante prototypen en producten - gebaseerd op parallellisme - aanwezig in de vakgroep en bij het TO-lab. Om relevante gegevens te krijgen zullen er een of meerdere casussen moeten worden uitgekozen of worden opgezet en zal er (denken wij) met Java een en ander ontwikkeld moeten worden. Vormgeving en situaties concreet maken spelen in deze fase een doorslaggevende rol.
Validering, implementatie en evaluatie van prototype(s)
Het experimenteren en testen van methoden, technieken en effecten zal in eerste instantie bij TO en waarschijnlijk in het TO-lab plaatsvinden. Er zal gekeken moeten worden hoe de gegevensstroom geregistreerd kan worden. Er bestaat bij TO-lab, in de studio ruimte, een goede mogelijkheid om gedragobservatie-studies op videotape en de bijbehorende dialogen tussen de (twee) proefpersonen op geluidstape te registreren. Er zijn usability lab-faciliteiten. Wij rekenen in dit verband ook een week per jaar te kunnen experimenteren in het lab van de Open Universiteit bij Jeroen van Merrienboer. De onderzoeker zal ook groepen proefpersonen testen in het onderwijsveld; in scholen.
Generalisatie en rapportering
Van de onderzoeker wordt verwacht dat hij in staat is, gevonden wetmatigheden generaliseerbaar te krijgen c.q. te maken. Onderzoeker zal effecten van zijn ontwerp-keuzen methodisch goed moeten analyseren, indelen en beschrijven. Onderzoeker zal met andere betrokkene een of twee tussentijdse papers moeten publiceren in internationale tijdschriften. Hij zal een proefschrift moeten schrijven met doelen, aanpak, ontwikkelde methoden en resultaten van zijn onderzoek.
7.5 Beoogd resultaat
De output uit het onderzoek zal wetenschappelijk gezien van verschillend karakter en aard zijn:
Een theorie
De ontwerp-theorie en de ideeën rondom het begrip parallellisme worden door de onderzoekers geacht een oplossing te bieden voor een aantal veel voorkomende problemen bij het inrichten van onderwijskundig verantwoorde, interactieve multimediale leer- en werkomgevingen. En zal bijvoorbeeld een oplossing bieden voor het probleem van het ongebruikt laten van bepaalde type multimedia in het onderwijs en waarom docenten van sommige vormen van hard- en software een afkeer hebben gekregen? Wij verwachten dat we de PI theorie kunnen uitbouwen tot een algemene theorie op het gebied van informatiebehoefte, tijdens het werken met computers in het algemeen, en dat we PI theorie dan de Parallelle Informatie theorie dienen te noemen.
Regels
Het project moet uitmonden in resultaat-regels gebaseerd op onderzoek van bepaalde combinaties van facetten en/of ontwerpvariabelen, zoals:
Kennistoename.
We verwachten een kennistoename qua methoden en technieken voor het ontwerpen van multimedia-producten en moderne werk- en/of leer-omgevingen binnen het vakgebied van de instrumentatietechnologie en in de ontwerpwetenschappen en ontwerp-methodologie. We verwachten een kennistoename op het gebied van de vormgeving, inrichting en de arrangering en de human-computer interaction (HCI). We verwachten ook een kennistoename op het gebied van hoe - gegeven een bepaalde werk- of leertaak - er gekozen kan worden uit vastliggende en wetenschappelijk beproefde gegevens op het gebied van: design choices, human-computer interfaces, mediakeuzes, een mogelijk verbeterde 'enriched' design cycle en bij toekomstige analyses.
Producten.
We verwachten heel concreet dat we deze studie en de mogelijke eindproduct(en) en/of concepten in ons onderwijs (mogelijk bij keuze-vakken) kunnen gebruiken.
We verwachten een aantal concrete publicaties (ook web-publicaties), een proefschrift, mogelijk een boek i.s.m. anderen, een serie her-te-gebruiken prototypen en andere (web) producten.
We verwachten ook dat deze AIO daadwerelijk de PI theorie en haar implicaties op grote schaal bekendheid gaat geven op congressen zowel als in de media.
7.6 Inhoudelijke referenties (betreffende het onderwerp)
Agelink, E. ; W. de Boer; N. Tebbe and O. Peters (1997)
The parallel instruction theory; a philosophy for multiwindowing environments. Paper. This article has been made as an assignment for the course 'Capita Selecta Instrumentation Technology' in association with R. Min.
Barfield, L. (1994)
Learning about user userinterfaces for learning; science, art of craft? Interact, vol. 1, no. 4, 8-10.
Benshoof, L.A., en S. Hooper (1993)
The effectes of single- and multiple-Window Presentation on Archievements During Computer-Based Instruction. J. of Comp. Based Inst. vol.20, no.4, 113-117.
Broers, N.J. (1994)
Formalized theory of appraisive judgments; a general methodology for questionnaire research integrating facet design, theory construction and psychometrics. PhD thesis, Kath. Univ. Nijmegen.
Cleassens, F.F.M., (1999)
The effect of different ICT-designs on learning specific tasks. First year report of PhD study; period: jan. - oct. 1999; 127 pages (supervisor: Jef Moonen; projectleider: Rik Min)
Cleassens, M., R. Min & J. Moonen, (2000)
The use of virtual objects in multimedia for training procedural skills; a theoretical foundation (short paper on the web) In: proceedings IWALT, Intern. Workshop Adv. Learning Technology, IEEE Learning Technolology Task Force (4-6 dec 2000 Palmerston North, New Zealand) p. 229-230. IEEE Computer Society, Los Alamitos, PR00653; ISBN 0-7695-0653-4 (Eds. Kinshuk, C. Jesskope & T. Okamoto)
Elbro, C. and J. Christoffersen (1988)
Reading in a moving text-window: differences between fast and slow adult readers. Univ. of Copenhagen. Paper in bezit van indieners.
Garlikov, R. (1995)
Philosophy of science: theories. Discussie op AERA lijst C. (15 okt. 1995) Tekst in bezit projectgroep. 8 pagina's.
Hart, H.'t, J. van Dijk, M. de Goede, W. Jansen en J. Teunissen (1996)
Onderzoeksmethoden. Boom, Meppel. ISBN 90.5352.238.7
Kroes, P. (1996)
Ideaalbeelden van wetenschap. Boom, Meppel. ISBN 90.5352.249.2
Mayer, R. E. and R. Moreno (2000)
A split attention Effect in multimedia Learning: Evidence for Dual Processing Systems in Working Memory. J. of Educ. Psych., Vol. 90, no. 2, p. 312-320.
Min, F.B.M., (1996b)
Parallelism in Working, Learning and Doing Environments; the Parallel Instruction Theory for Coaching in Open Learning Environments. In: the proceedings of EuroMedia 96; Telematics in a multimedia environment, dec. 19-21, 1966; A publication of the society for computer simulation International (SCS) (Eds. A. Verbraeck & P. Geril)
Ook uitgebreid met 8 figuren en screendumps op het web beschikbaar onder: www.to.utwente.nl/user/ism/min/Paper1.htm
Oliver, R. (1994)
Proof-reading on paper and screens: The influence of practice and experience on performance. J. of Comp. Based Instr., Vol. 20, no. 4. (118-123).
Papert, S. (1980)
Mindstorms; children, computers and powerfull ideas. Basic Books Harper. ISBN 0.465.04629.0.
Parreren, C.F. (1978)
Psychologie van het leren I. Van Loghum Slaterus, Deventer. ISBN 90.6001.509.6.
Preece, J. (1994)
Human-Computer Interaction; Addison-Wesley. ISBN 0-201-62769-8.
Reuling, A. (1986)
Methodologieën; een inleiding in onderzoeksstrategieën, H. Nelissen, Baarn. ISBN 90.244.0989.6.
Schaick Zillesen, P.G. van, M. Gmelich Meijling, B. Reimerink en F.B.M. Min, (1995),
Computer support of operator training based on an instruction theory about parallelism. Kluwer Academic Publishers (Eds: M. Mulder, W. Nijhof en R. Brinkerhof). ISBN 0-7923-9599-9. p.209-226.
Sweller, J. (1994)
Cognitive Load Theory. Learning & Instruction. vol. 4; pp 295-312.
Sweller, J., van Merrienboer, J. J. G., and Paas, F. G. W. C. (2001)
Cognitive Architecture and Instructional Design. Educational Psychological Review, Vol. 10, No. 3, p. 251-296.
Veer, G. van der, en E. Lammers (1985)
Programmatuur naar menselijke maat; cognitieve ergonomie van mens-computer systemen; Proceedings van conferentie over dit onderwerp, dd. 6 nov. 1985. Uitgave: Stichting Informatica Congressen, ISBN: 90-70621-24-X
Zwart, W. J. (1988)
FLOWSIM: een computersimulatieprogramma voor het waterloopkundig laboratorium met GEM op Atari 1040ST gebaseerd op het wiskundig model WAFLOW; M Sc thesis, internal publication, University of Twente,Enschede (in cooporation with the dutch Waterloopkundig Laboratorium, Delft / Marknesse, Holland, J. Moonen en F.B.M. Min)
___________________________________________________________________________
In het 1e jaar:
Gedurende het eerste jaar zal de 'requirements analysis', de 'design analysis' en de 'specification'-fase moeten worden uitgewerkt. Op basis van een literatuursearch dient er een studie te worden gemaakt naar de virtuele wereld van het web, de architectuur van werk- en leer-omgevingen die daar en elders (bijvoorbeeld op cd.roms) voorkomen, faciliteiten te bekijken en eventueel aan te vragen die mogelijk nodig zijn. Aansluiting te zoeken bij gangbare en minder gangbare onderzoeken en onderzoeksterminologie. Colleges te volgen of deel te nemen aan colleges van collega's in de vakgroep of in dezelfde vakgebied. Er zullen wat analyse met bestaand pre-prototypes (van ISM en TO-lab) moeten worden gemaakt. In dit jaar moet ook duidelijk zijn wat voor componenten en hoe de architectuur er van een ideale werk- en leeromgeving er uit ziet. Zal er getoetst gaan worden op grote beeldschermen (SUN's) of zal er met windows op kleine (PC's) beeldschermen gewerkt worden? Wordt er gekeken naar 1e, 2e of derde orde parallellisme of alleen naar eerste orde parallellisme? Wat de belangrijkste cellen en hun inhoud uit de facet ruimte ('taken', 'mediavorm' en 'voorspelbaarheid' ) en de lijst met taken wordt. Moeten er instructie-filmpjes gemaakt worden? En welke taken, opdrachten en domeinen kiezen we. Verder moet het duidelijk worden welke aannames (in de zin van beperkingen) er gedaan moeten worden om overzichtelijke en werkbare experimenten te kunnen doen. Alle randvoorwaarden moeten in beginsel vastgelegd worden. Er zal een tijdspad en een soort beslissingsboom moeten worden ontwikkeld waarlangs alle problemen een voor een wel overwogen en goed beargumenteerd opgelost of geskipt moeten worden. Al deze knowledge moet systematisch bijeen worden gezocht en methodisch verwerkt worden in overleg met de projectleiding. Moeilijke keuzes moeten in en door de gehele promotiebegeleidingscommissie worden genomen. Er zal waarschijnlijk gewerkt worden met het W.J. Zwart model, waarbij problemen niet direct opgelost dienen te worden maar op het juiste moment in de ontwerp-cyclus aan de orde komen.
In het 2e jaar.
In het tweede jaar zal de onderzoeker bezig moeten gaan met: 'development and experimental testing of prototype variants'. In dat jaar moet ook helder zijn welke varianten en welke facetten er een rol zullen gaan spelen in het verdere onderzoek. Op basis van literatuur onderzoek en gesprekken met experts moeten de dimensies en de categorieën vaststaan, d.w.z. voor praktische en experimentele redenen. En verder zal aan de orde moeten komen:
Het ontwerp van ideale werk- en leer-omgevingen en de creatie van een 'set of variant' moet afgerond worden in deze fase; 'experimenting' en 'drawing design decisions' ook. In deze fase moet ook duidelijkheid komen welke populatie proefpersonen genomen wordt. TO-studenten kunnen hierbij ingeschakeld worden. De taken die de indieners van dit projectvoorstel in gedachten hebben kunnen door TO-studenten worden uitgevoerd. We denken dat TO studenten een 'representative sample' of 'prospective users' kunnen zijn. Binnen het vak 'Multimedia programmeren' komt het maken van opdrachten en programmeren, en binnen het vak 'computersimulatie als leermiddel' het bouwen van een leermiddel met tools voor. In deze fase moeten op dit punt ontwerpkeuzes worden gemaakt. In de experimenten zal blijken welke facetten on der welke omstandigheden en bij welke condities relevant zijn en in het vervolgonderzoek overeind moeten blijven. Vanwege het karakter van de driedimensionale ruimte ontkomen we er niet aan een goed kwalitatieve ordening der categorieën. Zoals wij bij eerdere experimenten (Ter Burg en Groenewoud, 1996) al zagen zal de onderzoeker al vanaf dit jaar rekening moeten houden met een gedegen multivariantie analyse periode en alles daarvoor moeten prepareren. Bij alle experimenten ligt dat in de lijn der verwachtingen.
In het 3e jaar
In het derde jaar moet het eindopzet van het laatste experiment klaar zijn en moeten er al heel wat resultaten van experimenten liggen. De validiteit van de resultaten en de correctheid van de producten die nog getest gaan worden moeten in het team worden besproken en er moeten bindende afspraken worden gemaakt om het project binnen vier jaar af te kunnen ronden met een grote kans op succes. Samengevat:
Eind 3e jaar moeten de experimenten grotendeels zijn afgerond. Er moet nu bijna uitsluitend aan een methodologisch kader worden gewerkt waarin alle bevindingen een plaats krijgen. De contouren van de theorie en de onderliggende aannames moeten al duidelijk zijn.
In het 4e jaar
In het vierde jaar zal het duidelijk moeten zijn welke generaliserende conclusies er mogelijk zijn en wat de waarde van het parallellisme concept en de PI-theorie is. Ook zal duidelijk zijn geworden welke facetten, dimensies en categorieën er van belang zijn en welke effecten ze hebben op de eerdere aannames. Deze conclusies moeten zijn gebaseerd op 'systematic design analysis', 'experimentation', 'validation', en 'field testing'. In dit jaar moet het proefschrift geschreven worden (en klaar zijn) met de doelstelling(en), doel(en), benaderingswijze(n), methode(n) en resultaten van het onderzoek.
Tijdspad
Het tijdspad dat wij voor ogen hebben ziet er - kort - als volgt uit:
Eerste jaar: het deelnemen aan de volgende cursussen:
* methoden en technieken van onderwijs-onderzoek (gegeven door R. Min);
* schrijf- en leesvaardigheid Engels;
* additionele cursus variantie analyse;
* CTIT colloquia en/of ICO besprekingen;
Tweede jaar: het deelnemen aan de volgende activiteiten en cursussen:
* nader te bepalen ICO of CTIT cursussen (gegeven door R. Min);
* schrijfvaardigheid Engels;
* additionele cursus variantie analyse (vervolg);
* CTIT colloquia en/of ICO besprekingen;
Derde jaar: het deelnemen aan de volgende activiteiten en cursussen:
* deelname aan algemene vergaderingen van CTIT;
* toegepaste statistiek (TO) (indien nodig);
* enkele colleges verzorgen bij het vak 'technologie & simulatie' (van Min)
* spreekvaardigheid in het Engels (P & O);
* mogelijk deelname aan het vak 'onderzoekspracticum' (TO).
Vierde jaar: n.v.t.
_________________________________________________________________________
Samenstelling onderzoeksgroep
| Uren | per | week | per | jaar: | |
| Naam | 2002 | 2003 | 2004 | 2005 | 2006 |
| Projectleiding: Rik Min | 4 | 4 | 4 | 4 | 4 |
| Onderzoeker: AIO vacature | 12 | 36 | 36 | 36 | 24 |
| Programmeur: | p.m. | p.m. | p.m. | p.m. | p.m. |
Samenwerking
Bij dit project zal p.m. worden samengewerkt met mensen uit de afdeling ISM, de faculteit TO, het TO-lab en het onderzoeksinstituut CTIT.
Begroting
Standaard werkplek: eerste geldstroom; standaard PC: eerste geldstroom; klein aantal dagen technische ondersteuning: eerste geldstroom. Het lijkt me wel relevant om hier, voor proefpersonen en begeleiding of een student assistent, een bedrag van Euro 500,= per jaar op te voeren.
Faciliteiten
Geen bijzondere dingen noodzakelijk. Er kan worden begonnen met bestaande apparatuur, software en expertise van de vakgroep. Er is een ontwikkelwerkplek en er zijn onderzoekswerkplekken mogelijk. De onderzoeker heeft de beschikking over een uitgebreide web-site met honderden prototypen. Die web-site kan worden ingezet om allerlei situaties na te bootsen en te creeeren die het mede mogelijk moeten maken nog beter specifiek geeiste condities en concepten aangaande parallellisme te ontdekken. ___________________________________________________________________________
Hij/zij dient te starten met een literatuursearch. Na zijn/haar oriëntatie-periode dient de onderzoeker vele contacten (nationaal en internationaal) te leggen. Tegelijkertijd zal hij/zij bepaalde technieken en methoden voor het ontwerpen van software uitwerken. Nog tijdens de ontwerp-fase zal hij, mogelijk samen met anderen, pre-prototypes maken om een goede schatting te kunnen doen van kritische ontwerp-variabelen. Hij/zij zal een goede (definitieve) programmeeromgeving moeten zoeken om de gekozen doelstellingen (m.n. de programmeerbaarheid, de performance, de usability, etc.) te kunnen verwezenlijken. Hij/zij zal verder zelf bepalen of methoden als "rapid prototyping", of meer gestructureerde software ontwikkelmethoden, moeten c.q. kunnen worden gebruikt. De assistent in opleiding (AIO) heeft daarbij de volgende taken:
Ball, G., (1993)
Redesign of simulation materials for CD-ROM. OKT verslag / Rapport (writen in English). University of Twente, Enschede (Begeleiding/Supervisor: Rik Min)
Doorn, van, F. (1993)
MacSimAuthor, een auteurssysteem voor computersimulaties; ontwerp en realisatie. M Sc Thesis, University of Twente, Enschede (in coop. with W.J. Zwart of the ODB-project, J. Moonen and F.B.M. Min).
Gritter, H., W. Koopal and F.B.M. Min, (1994)
A New Appraoch to Computer Simulations; Interact, European Platform for Interactive Learning, Vol. 1, no. 2, ISSN 0929-4465.
Groenewoud, U.A., J. ter Burg, W. Akkermans en R. Min (1996)
Effect van mate van parallellisme op taakuitvoering en gepercipieerd gebruiksgemak. Verslag van een onderzoeksopdracht, Toegepaste Onderwijskunde. Proceedings onderzoeksopdracht TO (Eds. Oosterloo en v.d. Linden); ook online beschikbaar op internet: www.to.utwente.nl/user/ism/min/Paper4.htm.
Gritter, H. (1993)
Het ontwerpen, ontwikkelen en evalueren van ISAV (Instructional Support for ArcView): een COO-programma ter ondersteuning van het geografische informatiesysteem ArcView. M Sc Thesis, University of Twente, Enschede (in cooporation with the University of Southampton, J. Moonen and F.B.M. Min).
Koopal, W., (1993)
Ontwerp, ontwikkeling en evaluatie van leeromgevingen voor simulatie; een onderzoek naar de empirische waarde van parallelle instructie. M Sc thesis Universiteit Twente, Enschede (in cooporation with J. Moonen and F.B.M. Min).
Min, F.B.M. en anderen (2002)
Methodology & technology about multimedia and simulation. WEB sites of Rik Min, University of Twente, the Netherlands. Online [available on http://users.edte.utwente.nl/min]
Min, F.B.M. (2002)
Parallellisme in interfaces; Een speurtocht naar cognitieve overload bij de gemiddelde users en ergonomische plosssingen daarvoor. Een artikel geschreven voor het blad 'Informatie' van de NGI. (geaccepteerd).
Min, F.B.M. (2001)
Ontdekkend leren en simulatie in een tijd van zappen en zoeken; een verhandeling over de onderwijskundig kracht en inzetbaarheid van digitale leermiddelen en simulaties op het world wide web. Hoofdstuk gepubliceerd in boek 'Leren in perspectief' (een uitgave van het ICO). Redactie: A. Wald & J. v.d. Linden. Garant, Leuven-Apeldoorn. ISBN 90-441-1160-4. ppn. 115-130.
Min, F.B.M., De Goeijen, J. (2001)
Vergelijkend onderzoek tussen op twee manieren vormgegeven open web-based leermiddelen. Abstract van paper presentatie. In: 28ste onderwijs research dagen 2001 (ORD-2001); SCO - Kohnstamm Instituut / ILO / Univ. van Amsterdam (Red. E. van Eck, D. Griffioen, H. van Hout & T. Peetsma) ISBN 90-6813-663-1.
Min, F.B.M., en Claessens, M. (2000)
Theoretische en empirische onderbouwing voor het inrichten van rijke doe-, werk- en leer-omgevingen. Abstract van paper presentatie in: Onderwijs Research Dagen, ORD 2000, Universiteit Leiden. p.358-359. ISBN 90-804722-2-0.
Min, F.B.M. (1999)
Interactive Micro-worlds on the World Wide Web. Int. J. of Continuing Engineering, Education and Long-life Learning, vol.9, no.2/3/4, p.302-314, ISSN 0957-4344. (Also published on the web)
Min, F.B.M. (1997a)
Het web als werk-, doe- en leeromgeving en de kracht van applets. Paper ten behoeve van het congres van consortium COO HBO en SUNCOO: 'Studeren in digitale leeromgevingen'; Organiseren van hoger onderwijs voor de kennismaatschappij; Universiteit Utrecht te Utrecht op 11 en12 december 1997. Gepubliceerd in de Hoger Onderwijs Reeks van Wolters-Noordhoff Groningen. Titel: 'De Digitale Leeromgeving'. Ed. M. Mirande, J. Riemersma & W. Veen (1997) ISBN 90-01-88662-0. Hst. 10. pp. 149-159 (hoofdstuk in een boek).
Min, F.B.M., (1997b)
Multimedia en Simulatie; methoden, concepten en technieken; interactief, dynamisch boek op internet met 10 aparte hoofdstukken; 20 losse paragrafen 40 figuren en enkele dynamische graphics (simulaties, e.d.) (c.q. universeel collegediktaat d.w.z. te gebruiken in vier vakken en/of cursussen). (Inhoudsopgave).
Min, F.B.M., en J. Sikken (1997)
Java-applets en leeromgevingen voor simulatie op het web. Artikel in: Informatie Bulletin, het blad van de Vereniging voor informatiekunde en informatietechnolgie in onderwijs; en School en Computer, 9e jaargang, nummer 2, pp. 20-22.
Min, F.B.M., (1997c)
Nieuwe ontwikkelingen op het gebied van computersimulaties en multimediale leermiddelen in het hoger onderwijs: het World Wide Web en Java. Tijdschrift voor hoger onderwijs & managment; Themanummer 'Hoger Onderwijs Online', no. 4. (Sept. 1997).
Min, F.B.M., (1997d)
Multimediale leermiddelen in een wereld van zappen en zoeken; leer-, werk- en doe-omgevingen en de kracht van visualisatie en van Java). Abstract van een lezing tbv. GEWIS symposium: Overdracht en vergaring van kennis met moderne middelen. In: I/O Vivat', het blad van de studievereniging Informatica Inter-Actief. Technische Universiteit Eindhoven, Eindhoven. (Sheets van de lezing, 14 Mei 1997).
Min, F.B.M., (1997e)
Een WYSIWYG-editor voor het ontwikkelen van simulaties: MacSimAuthor; Een onderzoek naar nieuwe gereedschappen voor het bouwen van leeromgevingen voor simulaties. Concept paper (gepubliceerd op Internet.)
Min, F.B.M., (1996)
Parallellisme bij werk-, leer- en doe-omgevingen; De Parallelle Instructie Theorie voor Coaching in Open Leeromgevingen voor Simulatie. In: Interact, een tijdschrift op Internet. (17 pages.) op: www.dds.nl/~interact/artikel/data/0603min/0603mins.htm.
Min, F.B.M., (1995)
"Simulation Technology & Parallelism in Learning Environments"; "Methods, Concepts, Models and Systems" Book, Uitgeverij: Academisch Boekencentrum, ABC, De Lier. ISBN 90-5478-036-3 (also partly published on web: www.to.utwente.nl/prj/min/Book/chapter1)
Min, F.B.M. (1994a),
Parallelism in open learning and working environments. Britsh Journal of Educational Technology, Vol. 25, No. 2, pp. 108-112. ISSN 0007-1013.
Min, F.B.M. (1994b),
Parallelism bij coachen van gebruiker in open leeromgevingen. In: Simulatie: een State of the Art. Proceedings van Conferentie 'Simulatie 1993' te Utrecht; Organisatie SISWO (TIM), Amsterdam; (Editors: C. van Dijkum & D. de Tombe) (also published in short version, in English, on the web: www.to.utwente.nl/prj/Min/Papers/Monitor.htm)
Min, F.B.M., (1992a) Parallel Instruction: a theory for educational computer simulation; Interactive Learning International, Vol.8, no.3 (1992) 177-183.
Min, F.B.M., (1992b)
Pilot-onderzoek naar leermodellen bij computersimulatie aan de hand van observaties van leergedrag; proceedings van Gezond onderwijscongres door de Nederlandse Ver. voor medisch onderwijs in samenwerking met de vakgroep Onderwijsontwikkeling en Onderwijsresearch, Rijksuniversity of Limburg op 28-29 november 1991 te Velthoven. Redactie: C.P.M. van der Vleuten, A.J.J.A. Scherpenbier en M.C. Pollemans; Uitgever: Bohn, Stafleu Van Loghum BV.
Houten. pg. 130-137.
Min, F.B.M., P.G. van Schaick Zillesen, B. Reimerink, M.R. Gmelich Meijling (1991)
Computer simulation with HyperMedia for training operators in chemical industry. 4th international conference "Computer and Video in corporate training, ADCIS / Istituto Dalle
Molle di Methodology Interdisiplinari (IDMI) Technoloy Transfer, CBT-developers workshop, nov. 19th 1990, Lugano. (T. Bernold and J.H. Finkelstein, eds)
Min, F.B.M., P.G. van Schaick Zillesen, B. Reimerink, M.R. Gmelich Meijling (1992)
MacTHESIS, an universal design system for building Computer simulation modules for education and training. In: Modellbildungssysteme - Konzepte und Realisierungen; conference
about CBT on Univ. of Tubingen, nov. 1990; COMET Verlag fur Unterrichtssoftware, Duisburg (J. Wedekind and W. Walser, eds) ISBN 3-89418-709-9.
Min, F.B.M., (1987)
Computersimlatie als leermiddel; een inleiding in methoden en technieken. Academic Services B.V., Schoonhoven, ISBN 90 6233 282 X.
Moonen, J., (1990)
Computers veranderen de wereld, doch veranderen ze ook het onderwijs? Inaugurele rede, Universiteit Twente Enschede, (jan. 1990)
Moonen, J. (1991)
Toegepaste onderwijskundigen; Architecten of ingenieurs? In: Dijkstra S.,
H.P.M. Krammer & J.M. Pieters (Red.) (1991) De onderwijskundige ontwerper; Liber amicorum prof. E. Warries. Swets & Zeitlinger b.v., Amsterdam.
Moonen, J., and J. Schoenmaker; (1992)
Evolution of courseware development methodology:
recent issues. In: Plomp, Tj. & J. Moonen (Eds), Implementation of computers in education.
Intern. J. of Educ. Res. , Vol. 17, no. 1, 109-121.
Schaick Zillesen, P.G. van (1990),
Methods and techniques for the design of educational computer simulation programs and their validation by means of emperical research. Academisch proefschrift, Universiteit Twente (promotor E. Warries, assistent-promotor F.B.M. Min) ISBN 90-9003874-4.