Het Parallellisme bij multimedia-project

Onderzoeksaanvraag
Dossiernummer TO.97.23.034
versie: 24 maart 1998
Vakgroep: Instrumentatietechnologie (ISM)
Toegepaste Onderwijskunde (TO)
Universiteit Twente (UT)
Geldstroom: eerste

GOEDGEKEURD / ONDERTEKEND: Pieters (dekaan), Moonen (voorz. ISM), Clerx (Holland Signaal), Claessens (AIO) & Min (projectleider)
STARTDATUM: 1/1/99
Onderzoekster (AIO): mw. drs. M. Claessens, cognitief psycholoog
Werkplek: Holland Signaal / Unversiteit Twente (TO/ISM)
Externe begeleiders: Clerx en Wientjes
__________________________________________________________________________

1. Aanvragers

Naam, titel, voorletters:
Projectleiding: dr. ir. F.B.M. Min
Promotor: prof. dr. J. Moonen
_________________________________________________________________________

2. Titel van het project

English:
Parallelism and multimedia
_________________________________________________________________________

3. Aard van het project

4. Samenvatting voor het Meerjarenplan Onderzoek

In specifiek opzicht wordt nagegaan of in technologisch rijke omgevingen de efficiency en effectiviteit van leer- en werktaken wordt verhoogd door een speciale vormgeving of dimensionering van de werkplek. Daarbij zal speciaal de userinterface en de beeldscherm-opbouw (in relatie tot taken) worden onderzocht en geanalyseerd.

In meer algemeen opzicht wordt het onderzoek uitgevoerd met het oogmerk om via optimalisatie van taken, leerprocessen en bijkomende coaching, in relatie tot het parallel aanbieden van stimuli, te komen tot vergroting van de studeerbaarheid van het onderwijs. Er zal worden samengewerkt met Holland Signaalapparaten NV. Voor dat doel zijn afspraken gemaakt om hun 'virtual reality room' te gebruiken voor experimenten met operators en maintainers van dat bedrijf die taken - al dan niet op grote afstand - goed moeten kunnen uitvoeren.

Bovendien wil het onderzoek bijdragen aan theorievorming binnen de instrumentatietechnologie en in het bijzonder aan de methodologie van het ontwerpen en vormgeven van effectieve en efficiënte van multimediale leer-, werk- en doe-omgevingen.
_________________________________________________________________________

5. Engelse samenvatting

In a specific view there will be traced if in a technological rich environment the efficiency and effectivity of learning- and working tasks will be increased by a special design of levels of the workingenvironment. Specially the user-interface and the screen layout will be researched and analysed.

In a more general view the research will be done to optimalizing the tasks, the learning processess and the coaching, in connection with offering stimuli parallel for increasing the 'stuurdeerbaarheid' of education. There is a cooperation with Holland Signaalapparaten NV. In this plant we can use a virtual reality room for some experiments with operators and maintainers.

Moreover the research will contribute to theoretical design theory within the instrumentation technology and in particularly the methodology of designing and composite of effective and efficiente multimedial working- and learning- environments.
_________________________________________________________________________

6. Vooronderzoek

Media-taak combinaties worden steeds meer gebruikt in een context waarbij leer- en werkomgevingen ter beschikking worden gesteld die door individuen of groepjes van twee personen zonder inmenging van anderen worden gebruikt. Een centraal kenmerk van dit soort electronische leer- en werkomgevingen is meestal de multimediale dimensionering en daarbij de beschikbaarheid over interactiviteit.

In eerder onderzoek zijn de consequenties van gebruik van interactieve multimedia op het leer- en werkgedrag bestudeerd. In zijn promotie-onderzoek bestudeerde Van Schaick Zillesen (1990) bepaalde simulaties en de rol van papieren materiaal versus electronische instructie materiaal daarbij. Daarbij werd het papieren materiaal naast of op een beeldscherm beschikbaar gesteld. Tegelijkertijd werden in die periode ook in andere projecten vergelijkbare onderzoekingen uitgevoerd, o.a. bij het Akzo-project (Gmelich Meijling, 1990), het Fokker-project (ter Hedde, 1989), het Waterloopkundig Laboratorium-project (Zwart, 1988; Min, 1995), het SLO-project (Wolters, 1986; Min, 1994b), het ArcView-project i.s.m. de University of Southampton (Gritter, 1993) en recent het parallellisme-project (ter Burg en Groenewoud, in proceedings 'onderzoeks-project' TO; 1996). Momenteel loopt er een pilot-studie naar simulaties op het WEB met java-applets (Min en Sikken, 1997; Min, 1998). Een aantal prototypes zijn gereed en worden momenteel getest op gebruikersgemak ('usability', 'scaffolding', etc.). Voorheen werden veelal kwalitatieve analysemethoden gebruikt (van Schaick Zillesen, Gmelich Meijling, Reimerink en Min, 1995). Maar omdat uit de op kwalitatieve analyse gebaseerde benadering voldoende stabiele elementen konden worden geïdentificeerd is in 1996 een vooreerst goed opgezet kwantitatief (en vergelijkend) onderzoek uitgevoerd (ter Burg en Groenewoud, 1996).

Holland Signaal wil samenwerken met UT-TO in het kader van de hier gestelde onderzoeksaanvraag. De samenwerking zal gericht zijn op het uitwerken van ideeen,voorstellen en mogelijke implementaties van parallelisme bij het opleiden van operators en maintainers van Signaal Produkten.

Als zodanig zal specifiek voor de genoemde vakgebieden onderzocht worden in hoeverre efficiency en effektiviteit van klanten-trainingen verbeterd kunnen worden door zorgvuldige analyse van beschikbare informatie zoals tydens de ontwerp, produktie, assemblage en test-processen wordt gegenereerd.

In nauwe samenwerking met instrukteurs en auteurs van Signaal en de AIO zal worden onderzocht in hoeverre optimaal van bestaande visuele informatie gebruik gemaakt kan worden zodat ingewikkelde lange beschrijvingen tot een minimum beperkt kunnen worden,zonder dat er verlies van gerichte kennisoverdracht Optreedt. Met name beeldmateriaal wel dan niet met animaties voorzien zullen worden geselecteerd. Voor operators gaat het hierbij om meer zicht te krijgen op de door hen verrichte handelingen en de optredende gevolgen.

De onderzoeken zullen zowel off-line als online experimenten betreffen. De hier te onderzoeken situaties zullen grotendeels on-line situaties (op de digitale snelweg) zijn, en niet alleen leer-omgevingen maar ook en vooral zogenaamde werk- en zogenaamde doe-omgevingen betreffen (Min, 1996b).

6.2 Parallellisme

Vanuit deze serie onderzoeken ontstond in 1992 een bepaalde hypothese; een theorie (de 'PI-theorie') rondom het verschijnsel van 'parallellisme' als oplossing voor het inrichten van werkplekken. De afgelopen vier jaar hebben de hier betrokkenen deze theorie beschreven (Min, 1997). De theorie geeft vanuit de cognitieve psychologie een verklaring voor problemen bij digitale leer- en werk-omgevingen rondom 'gewone' beeldscherm. Deze theorie kan wellicht zelfs ook uitsluitsel geven over het falen van traditionele COO en oudere PC's.

Speciaal multi-processing werkplekken eisen op het punt van parallellisme veel aandacht. Ontwerpers van userinterfaces dienen - conform deze theorie - rekening te houden met de manier waarop gebruikers informatie opnemen en enige momenten kunnen vasthouden, alvorens ze er iets mee gaan doen. De theorie die aan deze oplossing ten grondslag ligt is nog niet helder omschreven en geformuleerd, en kan - volgens de indieners van dit voorstel - met de 'theorie-constructie'-methode van Broers (1994) nauwkeurig worden vastgelegd (de 'facet theorie') (Broers, 1994). Zie hiervoor sectie 7 en 7.1. Benshoof en Hooper (1993) geven op dit punt - om overzicht over processen op beeldschermen te kunnen houden - aanwijzingen dat bij instructie aan opgroeiende kinderen er een relatie is tussen 'multiple-windowing environments' en geheugenproblemen (en dientengevolge: geheugenstrategieën). Ook Barfield (1994) doelt daar op in zijn paper 'learning about user userinterfaces for learning'. Deze onderzoeker geeft ook richtlijnen voor bepaalde typen dynamische (en met name visuele) feedback en aanwijzingen om leerling in de gelegenheid te stellen om op een goede manier een mentaal model te laten opbouwen. Ook in andere vakgebieden (cinomatografie) waren vergelijkbare verschijnselen (van een beperking in het korte geheugen en des-orientatie) waargenomen.

Figuur 1. De te onderscheiden soorten van instructie en feedback in leeromgevingen voor simulatie. Deze vormen komen ook in meer algemene werk- en doe-omgevingen voor. Al deze informatiestromen dienen op de juiste plaats in de leer-, werk- of doe-omgeving te worden gesitueerd (Min, 1996)

In figuur 1 (links in de figuur) is aangegeven dat er bij het parallellisme-concept in open leersituaties vele soorten informatie als 'instructie' mag worden beschouwd (Min, 1996). Een aantal van deze instructie-vormen of instructie-onderdelen zijn:

Al deze vormen van informatie of instructie zijn van belang bij het ontwerp van de uiteindelijke werk-omgeving en moeten zich (volgens Min) op het juiste tijdstip en op de juist plaats bevinden in het zicht van de gebruiker (in 'view' c.q. 'parallel'). Deze vormen van instructie worden hier input genoemd. De arrangering en de leesbaarheid van deze type onderdelen zijn zeer belangrijk, vooral bij allerlei vormen van tele-learning, distance-learning en bij distributed learning environments waarbij niemand aanwezig is om de gebruiker te helpen. Elbro en Christoffersen verrichte aangaande de 'indringendheid' van instructieteksten op beeldschermen in 1988 een interessante studie (Elbro & Christoffersen, 1988). Ook Oliver deed iets dergelijks in 1994 (Oliver, 1994). Hij onderzocht het verschil in lezen van papier versus lezen van teksten op beeldschermen. De achtergronden en de rationale bij het arrangeren van deze losse onderdelen in de werk-omgeving (in digitale of niet-digitale vorm) is het onderwerp van dit onderzoek. Ook al de in deze figuur voorkomende vormen van 'gestuurde' feedback (rechts in figuur 1) zijn in dit soort electronische leer-, werk- of doe-omgevingen van belang, zoals:

6.3 De hypothese achter het concept van 'parallellisme'
In de 'parallelle instructie'-theorie-benadering voor simulatieleeromgevingen (de 'PI-theorie'), die in 1992 door Min in voorgesteld, wordt veronderstelt dat een gebruiker in een open leeromgeving alleen maar goed kan werken (en dus leren), als de omgeving zodanig is ontworpen dat alle relevante informatie om beslissingen te kunnen nemen 'expliciet en direct zichtbaar' is of met een simpel hanteren van de muis zichtbaar kan worden gemaakt. De manier van vormgeving van werk-omgevingen die conform deze ideeën zijn ontworpen, noemt Min 'parallellisme'. Als een multimediale, interactieve omgeving te weinig parallellisme kent en teveel sequentieel - dus frame na frame - is opgebouwd faalt deze als leer- en werkomgeving. Voor de gebruiker zijn er dan te weinig vrijheidsgraden in het systeem. De gebruikers zullen in een verkeerd ontworpen omgeving, waar actief moet opgetreden, geblokkeerd raken of datgene wat gedaan moet worden niet doen; en/of wat geleerd moet worden niet leren.
De 'PI-theorie' is dan ook op de eerste plaats een ontwerp-theorie; een theorie die bij het ontwerp gebruikt kan worden en rekening houdt met de geheugenstrategieën van gebruikers. De cognitieve psychologie zou hiervoor een verklaring kunnen leveren. Bij nadere bestudering bleek keer op keer dat de combinatie simulatie-instructie die op een traditionele manier gepresenteerd was (zoals instructie op papier; beschikbaar naast de monitor), betere resultaten opleverden dan andere oplossingen waarbij de simulatie en de bijbehorende instructie via een computersysteem (met een hypertekst-systeem) gecombineerd werden. Een experiment voor een opdracht bij de AKZO in Hengelo bracht de onderzoekers op het spoor van de gebreken van het werken met beeldschermen en de daarbij toegepaste software-techniek (Van Schaick Zillesen & Gmelich Meijling et al., 1995). Leeromgevingen waarbij de instructie-component niet goed werkte bleken in het algemeen veel te sequentieel ontworpen en veel te star gekoppeld te zijn. Dat wil zeggen de instructie was te veel 'gesynchroniseerd met de simulatie' en te dwingend, terwijl de instructietekst geheel van het beeldscherm verdween als er met de simulatie werd gewerkt.
De literatuur maakt weinig melding van condities (per doelgroep, per taak en per andere categorie) waaronder bepaalde ontwerpregels gelden of niet gelden. Laat staan dat er gerichte aanbevelingen worden gedaan. We weten weinig over welke type personen welke type werk-omgevingen behoeven en in welke interactie- of presentatievorm een specifiek product gestoken dient te worden. (Op een paar uitzonderingen na zoals Elbro & Christoffersen, 1988 en Oliver, 1994) Vaak worden alle type werkvorm met één en dezelfde soort oplossing afgevangen. Wij hebben ontdekt dat dat niet correct is. Grote groepen mensen vallen bij het gebruik van een type werkomgevingen daardoor tussen de wal en het schip.

De implicaties van parallellisme voor leer- en werkomgevingen in een tele-leersituatie is duidelijk. Ook in die situaties is het goed kunnen communiceren met afzonderlijke onderdelen van belang, in het bijzonder met het werken met vaste beeldschermplekken ('viewports') of met verschuifbare beeldschermplekken ('windows'), met de snelheid waarmee van de ene plek naar de andere plek gesprongen kan worden en met het gemak waarmee dat kan (Seymour, 1996). Zijn daarvoor grotere beeldschermen nodig, meer viewports of multi-windowing-systemen? (En onder welke condities?) Zijn leer- en werkomgevingen op kleine beeldschermen gedoemd te mislukken?
De impact die een en ander heeft op de specificaties rond de userinterface in de context van tele-leren en tele-werken liggen nog gecompliceerder. Het gemak van electronische instructie of help-systemen is in een on-line omgeving duidelijk. Men kan snel de nieuwste en laatste gegevens inzien en actuele nieuwe bestanden in zijn geheel laden in een eigen systeem (off-line). (Op schepen en/of in vliegtuigen speelt dat volgens Signaal een rol.) Maar: of dan de werkplek ruimtelijk goed en overzichtelijk kan worden ingericht zodanig dat het gewenste effect wordt bereikt is een vraag van een andere orde. Bovendien is het een centrale vraag hoe een cursist (of een onderhoudsklus) zich oriënteert binnen een via teleleren aangeboden cursus (en hoe hij daarbij niet alleen in de 'diepte', maar ook in de 'breedte' navigeert).
Het werk van Benshoof en Hooper, maar ook van Barfield en Min geven een indicatie dat er voor de inrichting van leer- en werkplekken nog geen algemeen aanvaarde oplossingen zijn (Barfield, 1994; Benshoof en Hooper, 1993; Min, 1996b). Het idee dat in het kader van het hierboven genoemde 'parallellisme' is geformuleerd, kan bijdragen aan een oplossing. Kwalitatief onderzoek naar de betekenis van parallellisme kan voor de ontwerpers van moderne multimediale werk- en leeromgevingen van grote waarde zijn. Immers, op basis daarvan kunnen opdrachtgevers overtuigd worden van het nut van bepaalde voorzieningen: grotere monitoren, meerdere schermen of gewoon papieren instructiemateriaal? Bij teleleren is een goed ontworpen werkplek nog belangrijker dan in traditionelere situaties, want er is geen fysieke hulp aanwezig.
________________________________________________________________________

7. Projectbeschrijving

Problemen

Er zijn een aantal problemen binnen interactieve werk-omgevingen. Er zijn ten eerste problemen in een open werk-omgeving met de aanbiedingswijze of presentatievorm bij instructie-materialen; ten tweede problemen met het manipuleren van windows en ten derde het door Min zogenoemde 'lineaire' karakter van monitoren. (Min, 1996). Er wordt al jaren gezocht naar alternatieven voor papier of voor distributie van papier, manuals en help-systemen, die persé noodzakelijk zijn bij werk-omgevingen. De onderzoeker zal te maken krijgen met moderne viewport- en/of windowing- en/of multitasking-technieken die nog heel onhandig en onpraktisch zijn vormgegeven. Onervaren gebruikers van deze informatiebronnen reageren hier heel verschillend op. Iedere persoon reageert anders op pull down menu's, windows, multi-tasking systemen of hele onoverzichtelijke, compacte tools. De industrie speelt onvoldoende in op problemen die de gebruiker bij het kopen en inwerken bij nieuwe software heeft. Bij educatieve software is een inwerkperiode van een kwartier al een probleem, laat staan als je voor een multimediaal product een lange of korte cursus nodig hebt. Alleen fabrikanten die de thuismarkt bedienen (en spelletjes fabrikanten) testen hun software structureel op dit type gebruikersgemak. Andere software fabrikanten gaan ervan notabene zelfs vaak vanuit dat gebruikers cursussen nodig hebben om producten te begrijpen. Onderwijskundigen ervaren deze problemen - met aanbieders van software - dagelijks aan den lijve. Instrumentatie- technologen dienen de problemen echter aan de bron aan te pakken. Niet alleen door het probleem te benoemen, maar vooral ook door op een wetenschappelijke manier de achtergronden bij specifieke problemen product-gericht, empirisch te onderzoeken en daarover te publiceren. Wetenschappers onderbouwen hun richtlijnen nog te weinig wetenschappelijk. Men geeft wel richtlijnen, maar nog te weinig 'het waarom' en onder welke condities richtlijnen of methodologieën gelden.

Als we een veel vorkomende situatie bij Signaal bekijken dan zien we het volgende: Het afvuren van een wapen is niet alleen het drukken van een knop maar een op taktische spelregels gebaseerd proces waarbij de cirkel "doel-detectie-evaluatie-aktie-reaktie" per funktieketen in beeld gebracht moet worden op een manier die vergissingen uitsluit en maximale garantie verschaft voor een geslaagde missie. Dit houdt in dat de gebruiker een continue beeld (informatie) aangeleverd krijgt dat on-line het totale gedrag van de essentiele performance in een oogopslag van het systeem vertoond .
Om tijdens kursussen een optimaal traininings-rendement te realiseren in een reeele periode is de beschikbaarheid van dergelijk beeldmateriaal onmisbaar,en bij het ontbreken ervan zal of de kursusduur langer worden of het rendement van de kursus lager zijn.
Eenzelfde aktiviteit voor onderhoud om door middel van de juiste beelden het preventief en het correctief onderhoud aan te leren lijkt een logische stap, omdat door kwaliteitsonderhoud de beschikbaarheid van een combat systeem groter wordt,en tevens de kosten zullen verminderen.

Onderzoeksframework

De nieuwe ontwikkelingen in ICT, o.a. teleleren en via dat concept de wereldwijde toegang tot bronmateriaal, en de steeds krachtiger systemen, grotere monitoren, en betere multimediale mogelijkheden, openen nieuwe dimensies voor parallelle instructiemethoden. De onderzoeksvragen zijn daarom heel divers. Ze variëren van eenvoudige technische vragen tot psychologische vragen. Om er enkele te noemen: Hoeveel vrijheidsgraden mag een leerplek voor teleleren hebben? Hoeveel vrijheidsgraden kan een gebruiker eigenlijk aan? Verschilt dat per type leerling? Waarom kan een gebruiker achter een monitor niet onthouden wat hij/zij zoëven zag? Waarom wil een gebruiker kunnen refereren en vergelijken? Hoe ver moeten windows uit elkaar liggen? Waarom willen sommige studenten persé iets - op papier - kunnen opschrijven? Waarom kan een leerling soms wel zijn aandacht bij een les houden en soms enorm afgeleid worden? Waarom kunnen kinderen met spelletjes wel direct werken en met educatieve software niet? Waarom is bij het ene programma wel een handleiding nodig en bij een ander programma niet? Heeft het nut ergens in een hoekje van het beeldscherm een video window te hebben waar de leraar - voor in de zaal - je kan toespreken? Maar ook: Is de behoefte aan parallellisme bij sommige personen soms een kwestie van iemands slechte kort geheugen?

facetten: dimensies & catagorieën

Voor de methode van Broers is het nodig dat er toetsbare uitspraken worden opgesteld en dus dat alle dimensies en categorieën (facetten) worden vastgelegd. De eerste dimensie (a) die onderzoeker kan gebruiken is dat wat we voorlopig de 'mediavorm' kunnen noemen (of output of presentatievorm of mate van lineariteit). Daartoe rekenen we

Onderzoeksvragen

In die context zijn een aantal vragen relevant:
- Wat voor relevante taken kunnen we experimenteel laten uitwerken? Welke type instructie zijn hierbij belangrijk? Welke presentatievormen dienen we hierbij nader te preciseren? (Kortom welke facetten spelen hierbij een rol?)
- Hoe kan het concept van parallellisme (en de tussentijdse bevindingen) worden toegepast op een mondiaal netwerk, in relatie tot voor het leerproces adequate terugkoppelingen? Met andere woorden, wat is de gewenste structuur en wat zijn de nodige communicatiefaciliteiten binnen een mondiaal netwerk opdat het parallellisme concept optimaal kan worden benut?
- Hoe moeten deze bevindingen worden toegepast bij het inrichten en vormgeven
van de userinterface, rekening houden met de huidige en te verwachten mogelijkheden van
multimedia en complexe moderne virtuele omgevingen?
- Is (bijvoorbeeld) het werken met grote beeldschermen en twee of drie losse (a-synchrone) simultane processen aan thuiswerkers of scholen aan te bevelen? En zo ja, onder welke condities dan wel?
- Hoe kan het begrip 'parallellisme' bij simultane processen worden geconceptualiseerd (en geformuleerd) en hoe kan dit vertaald worden in specifieke ontwerp-richtlijnen?
- Hoe kan begrip 'parallellisme' in virtuele omgeving (VR-room van Signaal) worden geconceptualiseerd (en vormgegeven worden) en hoe kan dit vertaald worden in specifieke onderzoeks-opstelling?
- Kun je (en moet je) het netto-effect van toevoeging van parallellisme in werk-, leer- en doe-omgevingen en met name bij telewerken en tele-leren meten of moet je de bevindingen anders interpreteren?

Bekeken zal worden wat de invloed is van een groot aantal facetten van de leerplekinrichting. Onderzocht zullen worden: (1) ontwerp-aspecten, (2) structuur-aspecten en (3) communicatie-aspecten, met name on-line communicatie. Onderzocht worden dìe ontwerp-variabelen, parameters, randvoorwaarden of systeem-determinanten, die de bruikbaarheid en de inzetbaarheid van een programma voor de lerende en de docent vergroot en die van belang zijn om de leer- en werk-doelen zo gemakkelijk mogelijk te kunnen halen. De onderzoeker zal zich zelf moeten zien te beperken in al de mogelijkheden die de(ze) voorstudie oplevert.

7.3 Wetenschappelijk en praktisch belang
Veel van wat hier aan de orde is reeds conceptueel ontwikkeld op de Universiteit Twente. Op het gebied van vormgeving en de realisatie van open leeromgevingen heeft het concept van parallellisme reeds enkele concrete zaken opgeleverd. Er is een boek over geschreven, een CD.ROM met concepten uitgegeven en bij de uiteindelijk presentatie (première) van het algemene concept - op een seminar van IBM - zijn er direct een aantal contacten en opdrachten uit voort gekomen, waaronder een probleem bij interactieve werk-omgevingen bij Randstad Holding BV te Diemen. En na het plaatsen van een advertentie in een internationaal tijdschrift (Byte, maart 1996) kwamen er meer dan 300 reacties voor verdere informatie. Dit zegt iets over de mogelijke impact van deze ideeën.

Parallellisme heeft uiteindelijk bijgedragen aan het vinden van een oplossing voor een aantal praktijkproblemen, waaronder een probleem dat Randstad met een plannings-systeem bij hun plant-managers had. Dit probleem werd door het bureau Gritter en Koopal te Hengelo in samenwerking met TO en het TO-lab, en met behulp van het parallellisme concept binnen een jaar opgelost. De meeste managers van hoofdvestigingen van Randstad in Europa bleken vrij snel met het concept en de richtlijnen voortvloeiende uit de PI-theorie uit de voeten te kunnen.

Als blijkt dat simultane processen verspreid over een groot oppervlak aantoonbaar functioneel zijn, en als blijkt dat dergelijke processen, bij bepaalde taken, a-synchroon mogen werken, dan heeft dat repercussies voor het ontwerpproces van software en software-gereedschappen. Dan kunnen de afzonderlijke stukken software met aparte, specialistische tools en programmeer-systemen worden gemaakt. Dan hoeven ontwerpers en fabrikanten zich niet meer in allerlei bochten te wringen om één groot en integraal ontwikkelsysteem voor de realisatie van werk-omgevingen na te streven.

Er wordt door de indieners van dit project samengewerkt met het CTIT Enschede, Signaal Hengelo, maar ook wellicht met TRC Enschede. De projectgroep zal dit project ook toetsen aan de ideeën en inzichten van de daar werkzame medewerkers, die ook werkzaam zijn op het gebied van on-line learning en tele-werken. Het voorstel past in de onderzoekslijn van de vakgroep en het onderzoeksinstituut CTIT (telewerken; electronische snelweg) en de onderzoeksschool ICO (interactieve leermiddelen; ontwerpgericht onderzoek). De indieners van dit voorstel (projectleider en supervisor) participeren zowel in het CTIT als in het ICO. (Hoe de betreffende AIO wordt gestationeerd laten we over aan de supervisor van dit project en het TO management.)

7.4 Overzicht van aanpak

Vooraf

Over de volgende belangrijke punten en doelstellingen dienen de projectmedewerkers (aangaande de experimenten bij Signaal) (in een nader af te stemmen overeenkomst) overeenstemming te bereiken:
* overeenkomst opstellen met Signaal met daarin de wederzijdse afspraken;
* analyse van het trainingsproces en de daarbijhorende informatie
* analyse van een operator kursus en gebruikte informatie;
* handboeken als informatiebron voor trainingen;
* parallelisme voor operator trainingen;
* uitwerken van pilot-cursus met gebruik van parallelisme;
* beoordeling van de effekten aangaande toepassen van parallelisme.
Als meetbaarheids-criteria voor de resultaten van voornoemde aktiviteiten worden de volgende doelstellingen als uitgangspunten gehanteerd:
* herbruikbaarheid van een informatiebron en de daaruit gegenereerde informatie;
* snelheid van het leren van de gewenste vaardigheden met gebruik van parllelisme;
* Computer Based Training mogelijkheden eventueel Teleleren;
* kortere reparatietyden door snellere foutdiagnose en hogere kwaliteit skills;
* kostenbesparingen door minder boeken en gerichte informatie overdracht door beelden.
In een nader te bepalen gesprek zullen afspraken worden gemaakt over de deel-werkplek en mogelijk gebruik van de Virtual Reality-room van Signaal alsmede de toegang tot informatie op need to know basis.

Algemene aanpak.

De algemene aanpak geschied in grote lijnen conform de 'design cycle for the design of a prototypical product': 'behoefte analyse'; 'ontwerp analyse en specificatie'; 'prototype ontwikkeling'; 'Experimenteel testen effectiviteit van cruciale ontwerp-opties'; 'validering, implementatie en evaluatie van prototype(s)'; 'generalisatie en rapportering'. We zullen voornamelijk werken met het aangepaste model, het 'W.J.-Zwart'-model (Moonen, 1991). Er zal tegelijkertijd een gecombineerde aanpak nodig zijn om experimenten te kunnen uitvoeren conform het door De Diana uitgewerkte stramien, te weten: 'by combining a generally acknowledged cycle for product design with analytical-experimental testing however, some of the most pronounced options for design can be evaluated on their merits within the design cycle itself' (De Diana in: 'Advisory Agents for Virtual Study Environments', AIO-voorstel, 1997).
Het plan van aanpak kent (derhalve) minstens de volgende belangrijke componenten:

Behoefte analyse.

- Wat zijn problemen bij bepaalde multimedia producten? Kloppen de oplossingen die ontwerpers aangedragen hebben en onderzoekers voorstellen?
- Hoe moet je onderzoek naar parallellisme opzetten? Welke producten zou je moeten hebben of maken?
Literatuuronderzoek (onderwijskundig, instrumentatietechnologisch, zowel als over puur technische zaken) is in alle fases noodzakelijk Gesprekken met Holland Signaal.

Ontwerp analyse en specificatie.

Voortbouwen op bestaande expertise: de onderzoeker kan ruim gebruik maken van prototypen en pre-prototypen zoals die door de vakgroep ISM en het TO-lab (en Signaal) zijn ontwikkeld.
Technische problemen oplossen: een belangrijke component van het onderzoek is het overwinning van bepaalde, te verwachten technische complicaties bij de nieuwe prototypen. De AIO zal daarom al in een vroegtijdig stadium hierover uitsluitsel moeten zien te verkrijgen.
Concepten testen: er zal regelmatig en zeer intensief met vele deskundige gebrainstormd moeten worden (op interne of externe wetenschappelijke bijeenkomsten) of concepten aan bepaalde minimale voorwaarden voldoen.

Prototype ontwikkeling.

Afhankelijk van het verloop van de analyse van problemen die zijn gesignaleerd bij de bouw van het pre-prototypen, en de resultaten die uit de eerste experimenten zijn gekomen, en afhankelijk van inzichten verkregen uit de literatuur, en uit gesprekken met deskundigen, zullen er (eenvoudige) prototypen ontwikkeld moeten gaan worden. Maar vooral moet er gekeken moeten worden naar situaties die reeds bestaan of prototypen en producten die intern of extern beschikbaar zijn.
Er zijn bij de vakgroep in samenwerking met het TO-lab diverse prototypes ontwikkeld waar de onderzoeker gedurende zijn onderzoek gebruik van kan maken, o.a. java-applets (FARMA, PLANET, AORTA, CARDIO, etc.; J. Sikken, 1998) die draaien onder Netscape, talking head-instructie-materiaal (QuickTime-movies) en ook prototypes met intelligente video-messages (CARDIO, versie 5.0x, B. Reimerink). Als het onderzoeksteam geschikte middelen (resources) vindt, kunnen deze prototypes verder door hem/haar, of anderen, geschikt gemaakt worden voor on-line learning-situaties.
De indieners denken drie of vier (geheel) verschillende situaties te moeten onderzoeken, t.w. een gewone niet-software situatie; een stand alone werk- of leer-omgeving; en/of een online omgeving op het WEB; en een online omgeving in een VR-ruimte. Een goed gedefinieerde leer- of werkomgeving voor dit onderzoek zou (bijvoorbeeld ook) kunnen zijn: drie aparte, simultane, a-synchrone processen, zoals een simulatie (al of niet een java-applet op het net) en parallel daaraan een instructie-filmpje (een QuickTime movie; een 'talking head') met overige instructiematerialen (bijv. een WEB-browser met HTML-files). Ook heel goed zou zijn een knip en plak-taak rondom drie openstaande tekstverwerkingsprogramma's: een tekstverwerker met een e-mail applicatie met bijvoorbeeld een WEB informatiepagina.
 

Experimenteel testen effectiviteit van cruciale ontwerp-opties.

Het project wordt afgesloten met een empirisch onderzoek. Er moet een goed onderzoeks design worden opgesteld met verschillende groepen proefpersonen. (Zie ook het onderzoeks-project van Ter Burg en Groenewoud; Ter Burg en Groenewoud, 1996) Er dient een goede matching op voorkennis plaats te vinden. De totale interactietijd zal vrij gelaten kunnen worden. De interactietijd zal moeten worden vastgelegd en zonodig als covariaat worden meegenomen. De onderzoeker zal de kennis van de verschillende groepen moeten toetsen met een goed geselecteerde batterij van testen voor conceptuele en operationele kennis.
Je ziet vaak een overkill aan multimediaal verkeer. In een aantal gevallen zal parallelliteit averechts werken. Alleen audio kan dan bijvoorbeeld schoner overkomen. Video leidt eerder tot imago opbouw en emotionele ballast. De onderzoeker zal moeten onderzoeken en aangeven of in waar en in welke mate parallellisme wel of niet werkt of relevant is. (Wanneer is bijvoorbeeld het effect andersom.)
Er zal voornamelijk gekeken moeten worden naar werk- en doe-omgevingen op afstand. Er zijn een aantal relevante prototypen en producten - gebaseerd op parallellisme - aanwezig in de vakgroep en bij het TO-lab. Om relevante gegevens te krijgen zullen er een of meerdere casussen moeten worden uitgekozen of worden opgezet en zal er (denken wij) met Java een en ander ontwikkeld moeten worden. Vormgeving en situaties concreet maken spelen in deze fase een doorslaggevende rol.

Validering, implementatie en evaluatie van prototype(s).

Het experimenteren en testen van methoden, technieken en effecten zal in eerste instantie bij TO en waarschijnlijk in het TO-lab plaatsvinden; in tweede instantie in de VR-room bij Signaal. Er zal gekeken moeten worden hoe de gegevensstroom gelogd kan worden. Er bestaat bij TO-lab, in de studio ruimte, een goede mogelijkheid om gedragobservatie-studies op videotape en de bijbehorende dialogen tussen de (twee) proefpersonen op geluidstape te registreren. Er is een usability lab. De onderzoeker zal ook groepen moeten testen in het onderwijsveld.

Generalisatie en rapportering.

Van de onderzoeker wordt verwacht dat hij in staat is, gevonden wetmatigheden generaliseerbaar te krijgen c.q. te maken. Onderzoeker zal effecten van zijn ontwerp-keuzen methodisch goed moeten analyseren, indelen en beschrijven. Onderzoeker zal met andere betrokkene een of twee tussentijdse papers moeten publiceren in internationale tijdschriften. Hij zal een proefschrift moeten schrijven met doelen, aanpak, ontwikkelde methoden en resultaten van zijn onderzoek.
 

7.5 Beoogd resultaat
De output uit het onderzoek zal wetenschappelijk gezien van verschillend karakter en aard zijn:

Een theorie. De ontwerp-theorie en de ideeën rondom het begrip parallellisme worden door de onderzoekers geacht een oplossing te bieden voor een aantal veel voorkomende problemen bij het inrichten van onderwijskundig verantwoorde, interactieve multimediale leer- en werkomgevingen. En zal bijvoorbeeld een oplossing bieden voor het probleem van het ongebruikt laten van bepaalde type multimedia in het onderwijs en waarom docenten van sommige vormen van hard- en software een afkeer hebben gekregen?

Regels. Het project moet uitmonden in resultaat-regels gebaseerd op onderzoek van bepaalde combinaties van facetten en/of ontwerpvariabelen, zoals:
- mediavorm 1 en voorspelbaarheid type 3 is zeer geschikt voor taak 1;
- mediavorm 3 en voorspelbaarheid type 2 is ongeschikt voor taak 2;
- mediavorm 2 of voorspelbaarheid type 1 is minder geschikt voor taak 3;
De 'PI-theorie' heeft - naar onze mening - vooral ook betekenis voor andere soorten interactieve doe-omgevingen dan alléén maar voor leer-omgevingen en alléén maar voor instructie. Het toepassen van inzichten uit deze theorie (over het - korte - geheugen-gebruik) geven ontwerpers hopelijk een houvast bij het ontwerpen van nieuwe producten. Dit onderzoek zal mede moeten uitwijzen welke psychologische parameters en variabelen samen met andere ontwerp-variabelen er bij de gebruiker en bij de software een hoofdrol spelen en waarom en onder welke condities de gebruiker in een dergelijke 'doe-omgeving' optimaal tot ontplooiing komt.

Kennistoename. We verwachten een kennistoename qua methoden en technieken voor het ontwerpen van multimedia-producten en moderne werk- en/of leer-omgevingen binnen het vakgebied van de instrumentatietechnologie en in de ontwerpwetenschappen en ontwerp-methodologie. We verwachten een kennistoename op het gebied van de vormgeving, inrichting en de arrangering en de human-computer interaction technologie (HCI). We verwachten ook een kennistoename op het gebied van hoe - gegeven een bepaalde werk- of leertaak - er gekozen kan worden uit vastliggende en wetenschappelijk beproefde gegevens op het gebied van: design choices, human-computer interfaces, mediakeuzes, een mogelijk verbeterde 'enriched' design cycle en bij toekomstige analyses.

Producten. We verwachten dat we dit onderzoek en haar mogelijke software eindproduct(en) en/of concepten in ons curriculum (mogelijk bij keuze-vakken) kunnen gebruiken.
 

7.6 Inhoudelijke referenties (betreffende het onderwerp)

Agelink, E. ; W. de Boer; N. Tebbe and O. Peters (1997)
The parallel instruction theory; a philosophy for multiwindowing environments. Paper. This article has been made as an assignment for the course 'Capita Selecta Instrumentation Technology' in association with R. Min.

Barfield, L. (1994)
Learning about user userinterfaces for learning; science, art of craft? Interact, vol. 1, no. 4, 8-10.

Benshoof, L.A., en S. Hooper (1993)
The effectes of single- and multiple-Window Presentation on Archievements During Computer-Based Instruction. J. of Comp. Based Inst. vol.20, no.4, 113-117.

Broers, N.J. (1994)
Formalized theory of appraisive judgments; a general methodology for questionnaire research integrating facet design, theory construction and psychometrics. PhD thesis, Kath. Univ. Nijmegen.

Diana, I. De en A.N. Ladhani (19...)
Relating Generic Tutoring Environments and Knowledge-base courseware Engineering: Some epistemological issues. Instructional Science.

Diana, I. De en J. Moonen (1995)
Courseware engineering en de gebruikersinterface; studiehandleiding, syllabus en manual; Univ. Twente. Vakcode 193526.

Diana, I. De en P. van Schaick (1995)
Courseware Engineering Outlined: an overview of some research Issues. In: Diana, I. De en J. Moonen (1995), Courseware engineering en de gebruikersinterface; studiehandleiding, syllabus en manual; Univ. Twente. Vakcode 193526.

Elbro, C. and J. Christoffersen (1988)
Reading in a moving text-window: differences between fast and slow adult readers. Univ. of Copenhagen. Paper in bezit van indieners.

Garlikov, R. (1995)
Philosophy of science: theories. Discussie op AERA lijst C. (15 okt. 1995) Tekst in bezit projectgroep. 8 pagina's.

Hart, H.'t, J. van Dijk, M. de Goede, W. Jansen en J. Teunissen (1996)
Onderzoeksmethoden. Boom, Meppel. ISBN 90.5352.238.7

Kroes, P. (1996)
Ideaalbeelden van wetenschap. Boom, Meppel. ISBN 90.5352.249.2

Ladhani, A-N., (1995)
Modelling and using performance knowledge for courseware design. PhD thesis, Universiteit Twente. (proms.: J. Moonen en I. De Diana)

Ladhani, A.-N. en I. De Diana (1994)
Knowledge for courseware engineering. Comp. in Human Beh. 10 (1) 155-173.

In het 1e jaar:
Gedurende het eerste jaar zal de 'requirements analysis', de 'design analysis' en de 'specification'-fase moeten worden uitgewerkt. Op basis van een literatuursearch dient er een studie te worden gemaakt naar de virtuele wereld van het WEB, de architectuur van werk- en leer-omgevingen die daar en elders (bijvoorbeeld op CD-ROMS) voorkomen, faciliteiten te bekijken en eventueel aan te vragen die mogelijk nodig zijn. Aansluiting te zoeken bij gangbare en minder gangbare onderzoeken en onderzoeksterminologie. Colleges te volgen of deel te nemen aan colleges van collega's in de vakgroep of in dezelfde vakgebied. Er zullen wat analyse met bestaand pre-prototypes (van ISM en TO-lab) moeten worden gemaakt. In dit jaar moet ook duidelijk zijn wat voor componenten en hoe de architectuur er van een ideale werk- en leeromgeving er uit ziet. Zal er getoetst gaan worden op grote beeldschermen (SUN's) of zal er met windows op kleine (PC's) beeldschermen gewerkt worden? Wordt er gekeken naar 1e, 2e of derde orde parallellisme of alleen naar eerste orde parallellisme? Wat de belangrijkste cellen en hun inhoud uit de facet ruimte ('taken', 'mediavorm' en 'voorspelbaarheid' ) en de lijst met taken wordt. Moeten er instructie-filmpjes gemaakt worden? En welke taken, opdrachten en domeinen kiezen we. Verder moet het duidelijk worden welke aannames (in de zin van beperkingen) er gedaan moeten worden om overzichtelijke en werkbare experimenten te kunnen doen. Alle randvoorwaarden moeten in beginsel vastgelegd worden. Er zal een tijdspad en een soort beslissingsboom moeten worden ontwikkeld waarlangs alle problemen een voor een wel overwogen en goed beargumenteerd opgelost of geskipt moeten worden. Al deze knowledge moet systematisch bijeen worden gezocht en methodisch verwerkt worden in overleg met de projectleiding. Moeilijke keuzes moeten in en door de gehele promotiebegeleidingscommissie worden genomen. Er zal waarschijnlijk gewerkt worden met het W.J. Zwart model, waarbij problemen niet direct opgelost dienen te worden maar op het juiste moment in de ontwerp-cyclus aan de orde komen. Er dienen al spoedig na aanvang van het project afspraken met Holland Signaal gemaakt te worden.

In het 2e jaar.
In het tweede jaar zal de onderzoeker bezig moeten gaan met: 'development and experimental testing of prototype variants'. In dat jaar moet ook helder zijn welke varianten en welke facetten er een rol zullen gaan spelen in het verdere onderzoek. Op basis van literatuur onderzoek en gesprekken met experts moeten de dimensies en de categorieën vaststaan, d.w.z. voor praktische en experimentele redenen. En verder zal aan de orde moeten komen:

In het 3e jaar
In het derde jaar moet het eindopzet van het laatste experiment klaar zijn en moeten er al heel wat resultaten van experimenten liggen. De validiteit van de resultaten en de correctheid van de producten die nog getest gaan worden moeten in het team worden besproken en er moeten bindende afspraken worden gemaakt om het project binnen vier jaar af te kunnen ronden met een grote kans op succes. Samengevat:

Eind 3e jaar moeten de experimenten grotendeels zijn afgerond. Er moet nu bijna uitsluitend aan een methodologisch kader worden gewerkt waarin alle bevindingen een plaats krijgen. De contouren van de theorie en de onderliggende aannames moeten al duidelijk zijn.

In het 4e jaar
In het vierde jaar zal het duidelijk moeten zijn welke generaliserende conclusies er mogelijk zijn en wat de waarde van het parallellisme concept en de PI-theorie is. Ook zal duidelijk zijn geworden welke facetten, dimensies en categorieën er van belang zijn en welke effecten ze hebben op de eerdere aannames. Deze conclusies moeten zijn gebaseerd op 'systematic design analysis', 'experimentation', 'validation', en 'field testing'. In dit jaar moet het proefschrift geschreven worden (en klaar zijn) met de doelstelling(en), doel(en), benaderingswijze(n), methode(n) en resultaten van het onderzoek.

Tijdspad
Het tijdspad dat wij met Holland Signaal voor ogen hebben, en voorlopig ook overeengekomen zijn, ziet er kort als volgt uit:

9. Opleidingsplan voor AIO

Eerste jaar: het deelnemen aan de volgende cursussen:
* methoden en technieken van onderwijs-onderzoek (ICO module);
* schrijfvaardigheid Engels (P & O);
* additionele cursus variantie analyse;
* CTIT colloquia en ICO besprekingen;

Tweede jaar: het deelnemen aan de volgende activiteiten en cursussen:
* nader te bepalen ICO cursussen;
* schrijfvaardigheid Engels (P & O);
* CTIT colloquia en ICO besprekingen;

Derde jaar: het deelnemen aan de volgende activiteiten en cursussen:
* CTIT colloquia en ICO besprekingen;
* deelname aan algemene beleidsvergaderingen van ICO en CTIT;
* toegepaste statistiek (TO) (indien nodig);
* enkele colleges verzorgen bij het vak 'computersimulatie' en bij 'capita selecta ISM';
* spreekvaardigheid in het Engels (P & O);
* mogelijk deelname aan het vak 'onderzoekspracticum' (TO).

Vierde jaar: n.v.t.
 

__________________________________________________________________________

10. Onderzoeksgroep en begroting

Samenstelling onderzoeksgroep

1997 1998 1999 2000 2001
Naam, titel, voorletter(s) Ten laste van: Uren per week:
Supervisie: J. Moonen (ISM) 1 1 1 1 1
Projectleiding: F.B.M. Min (ISM / ICO) 2 2 2 2 2
(ISM / CTIT) 6 6 6 6 6

Onderzoeker AIO-er: vacature (ISM / ICO) 25 36 36 36 11
Ontwikkelaar/programmeur: (TOLAB) p.m. p.m. p.m. p.m. p.m.
Samenwerking:
Bij dit project zal worden samengewerkt met twee groepen van Holland Signaalapparaten BV te Hengelo. Het betreft de heren H. Wientjes, van 'Research Development & Technology' en H. Clerx, hoofd van het 'Signaal international Training Centre', van Holland Signaal BV te Hengelo.

Begroting

Standaard eerste geldstroom AIO; werkplek PC; klein aantal dagen TO-lab ondersteuning; verder geen bijzonderheden.
Faciliteiten

Geen bijzonderheden. Er kan worden begonnen met bestaande apparatuur in het TO-lab en bestaande expertise uit het TO-lab en de vakgroep ISM. Er is een ontwikkelwerkplek (L 105) en een onderzoekswerkplek (usability lab) (L 226) bij TO en/of ISM aanwezig. Holland Signaal heeft ook de beschikking over een VR-room. Deze VR-room kan worden ingezet om situaties na te bootsen en te creeeren die nog beter specifiek geeiste condities en concepten aangaande parallellisme, duidelijk kunnen krijgen.
 
___________________________________________________________________________

11. Financiële bijdrage uit ander bron

12. Taakomschrijving gevraagde medewerker(s)

Hij/zij dient te starten met een literatuursearch. Na zijn/haar oriëntatie-periode dient de onderzoeker vele contacten (nationaal en internationaal) te leggen. Tegelijkertijd zal hij/zij bepaalde technieken en methoden voor het ontwerpen van software uitwerken. Nog tijdens de ontwerp-fase zal hij, mogelijk samen met anderen, pre-prototypes maken om een goede schatting te kunnen doen van kritische ontwerp-variabelen. Hij/zij zal een goede (definitieve) programmeeromgeving moeten zoeken om de gekozen doelstellingen (m.n. de programmeerbaarheid, de performance, de usability, etc.) te kunnen verwezenlijken. Hij/zij zal verder zelf bepalen of methoden als "rapid prototyping", of meer gestructureerde software ontwikkelmethoden, moeten c.q. kunnen worden gebruikt. De assistent in opleiding (AIO) heeft daarbij de volgende taken:

Producten

Publicaties (ook uitgewerkt tot open WEB-publicaties), een proefschrift, mogelijk een boek i.s.m. anderen, een serie her te gebruiken prototypen en andere (netwerk-)producten.
 
__________________________________________________________________________

13. Ondertekening

14. Lijst van publicaties van de leden van de onderzoeksgroep

Ball, G., (1993)
Redesign of simulation materials for CD-ROM. OKT verslag / Rapport (writen in English). University of Twente, Enschede (Begeleiding/Supervisor: Rik Min)

Doorn, van, F. (1993)
MacSimAuthor, een auteurssysteem voor computersimulaties; ontwerp en realisatie. M Sc Thesis, University of Twente, Enschede (in coop. with W.J. Zwart of the ODB-project, J. Moonen and F.B.M. Min).

Gritter, H., W. Koopal and F.B.M. Min, (1994)
A New Appraoch to Computer Simulations; Interact, European Platform for Interactive Learning, Vol. 1, no. 2, ISSN 0929-4465.