Carl von Ossietzky Universität Oldenburg

SEMINARARBEIT

Learning by Disturbing

Innerhalb des Seminars CSCL

Fachbereich Informatik

Abteilung Lehr- und Lernsysteme

Ralf Quebbemann

Martrikelnummer: 5688300

05.12.1997

 



 

Inhaltsverzeichnis
 

1 Einführung

2 Lernstrategien

2.1 Direktes Lernen

2.2 Peer Learning

3 Learning By Disturbing

3.1 Qualitativer Vergleich: Learning Companion (LC) - Learning By Disturbing (LD)

3.2 Psychologische Grundlagen der Learning By Disturbing Strategie

        3.2.1 Zusammenhang: Kognitive Dissonanz - Learning By Disturbing

        3.2.2 Vor- und Nachteile der Learning By Disturbing Strategie

4 Forschungsergebnisse

5 Das SAFARI Projekt

5.1 Hintergründe und Kurzbeschreibung

5.2 Aufbau des Systems

6 Literaturverzeichnis

 



 1 Einführung

Herkömmliche Intelligent Tutoring Systems (ITS) versuchten bisher, das Verhalten eines menschlichen Tutors zu reproduzieren (One-on-One Strategie). In vielen dieser Systeme spielt der Tutor eine zentrale Rolle. Er bestimmt den Lernstoff und die Interaktion mit dem Studenten. Da man aber Lernen mehr und mehr als einen konstruktiven Prozeß ansieht, der nicht nur ein einfacher Wissenstransfer ist, ergaben sich hieraus neue Strategien des Lernens. Bei der Co-Learner Strategie wird der Tutor durch den Co-Learner ersetzt. Diese Strategie beruht auf der Tatsache, daß ein Schüler eher geneigt ist einem Mitschüler zu folgen als einem Tutor. Bei der Learning Companion Methode wird zusätzlich zum Tutor ein weiterer Lerner simuliert, der in etwa den Wissenstand des menschlichen Schülers hat. Die Learning by Disturbing Strategie simuliert neben Tutor einen Troublemaker (TM) . Der TM kann sich zu gegebener Zeit einschalten und falsche Lösungen vorschlagen, um so die Selbstsicherheit des Schülers zu testen. Diese Arbeit soll einen Einblick in die Learning by Disturbing Strategie geben und klären in welchem Zusammenhang die Kognitive Dissonanz Theorie mit der Lernmethode steht. Zum Schluß wird kurz ein konkretes Projekt vorgestellt, das sich mit der Erstellung eines ITS befaßt, welches verschiedene Agenten mit verschiedenen Lernmethoden realisiert.

 

2 Lernstrategien

Warum gibt es nun aber mehr als eine Lernstrategie, oder warum gibt es nicht eben DIE eine Lernstrategie ? Zum einen gibt es eine Vielzahl von verschiedenen Gebieten und nicht jede Lernstrategie eignet sich für jedes Gebiet gleich gut. Die Motivation des Lernenden spielt auch eine große Rolle. Ist der Schüler selbst motiviert, z. B. durch Interesse an dem Gebiet, dann braucht keine künstliche Motivation geschaffen zu werden. Um einen nicht motivierten Schüler zu motivieren kann man eine simulierte Wettbewerbssituation kreieren. Weiterhin steht die Realisierung von verschiedenen Zielen im Vordergrund. Was soll dem Schüler beigebracht werden ?, welche Fähigkeiten soll er erlangen ? Erschwerend hinzu kommt, daß jeder Schüler unterschiedliche Fähigkeiten besitzt, bzw. daß die Schüler einen unterschiedlichen Wissensstand haben. Aus diesen Gründen teilt man die Lernstrategien grob in 2 Kategorien ein:  

 

2.1 Direktes Lernen

Dieser Ansatz ging den kooperativen Lernstrategien voraus. Der Lerner erhält das Wissen direkt vom Tutor, wobei der Tutor versucht, den Lerner zu verstehen und so ein angemessenes Lernen erst ermöglicht. Vertreter des direkten Lernens ist die One-on-One Strategie.

 

2.2 Peer Learning

Hier wird der Computer mehr als Partner denn als Tutor benutzt. Es werden virtuelle multiple Agenten eingeführt, die den Lerner unterstützen. Die Kooperation besteht in dem Lernen mit dem simulierten Partner. Das Peer Learning besitzt also ein zusätzliches Element, die Kooperation.

Chan & Baskin führten so den Learning Companion ein. Hier lernen Lerner und virtueller Lerner unter Kontrolle des Tutors. Der Tutor wird nur dann zu Rate gezogen, wenn beide zusammen keine Lösung finden können. Die Co-Learner Strategie zählt ebenso zu dieser Gattung wie auch die Learning By Disturbing Methode.

 

3 Learning By Disturbing

Hierbei simuliert der Computer zwei Agenten: Einen Tutor und den TM. Der TM ist dem Lerner kompetenzmäßig überlegen, damit ein besserer Wettbewerb zwischen diesen beiden entsteht. Desweiteren scheint der TM nur ein simulierter Student zu sein. In Wahrheit besitzt er aber pädagogisches Wissen und er benutzt dieses Wissen, um entscheiden zu können, wann er eingreifen soll. Dieses Eingreifen soll den Studenten unsicher machen, indem der TM manchmal richtige oder falsche Behauptungen aufstellt. Diese Interventionen testen das Selbstvertrauen des Schülers und bringen ihn dazu seinen Standpunkt zu verteidigen. Der Schüler hinterfragt also sein eigenes Wissen und daduch wird der Wissensaquisitionsprozeß gestärkt. Man glaubt, daß so die Motivation und das Lernen des Schülers verbessert wird. Zusätzlich zum pädagogischen Wissen besitzt der TM ein Domänenwissen, das vergleichbar mit dem des Tutors ist.

Bei dieser Lernmethode kommt dem Tutor nur noch geringe Bedeutung zu. Er stellt dem Schüler und dem TM die Aufgaben, er kontrolliert die Übungseinheiten und die Länge einer jeden Sitzung, er kann jederzeit eingreifen (z. B. um einen Konsens zu fordern) und schließlich nimmt der Tutor die Auswertung vor.

Der menschliche Lerner interagiert mit den beiden anderen Teilnehmern (derzeit nur in Dialogform), jedoch kann während der Problemstellung der Tutor nicht zu Rate gezogen werden. Um den menschlichen Lerner zu überwachen wird vom System ständig ein Lernmodell des Schülers generiert, welches das Wissen des Schülers und seinen emotionalen Zustand beschreibt. Dieses Lernmodell ist wichtig, um später die Aktionen des TM zu planen.

 

3.1 Qualitativer Vergleich: Learning Companion (LC) - Learning By Disturbing (LD)

Die Learning by Disturbing Strategie ist noch relativ neu und steht immer noch in der Entwicklung. Man kann sichneue Strategie überhaupt braucht und warum die Learning Companion Methode fragen  wozu man diese nicht ausreicht. Eine Antwort könnte sein: "Es besteht die Notwendigkeit das Selbstvertrauen des Lerners zu testen, eine neue Form der Motivation einzuführen und das Wissen des Lerners zu festigen."

Jede Methode besitzt ihre Vor- und Nachteile. Im folgenden werden drei wesentliche Schwerpunkte einer jeden Lernmethode herangezogen und miteinander verglichen.

Selbstvertrauen des Lerners

  • Beim LC muß der Schüler Selbstvertrauen haben um in der Diskussion mit dem Companion bestehen zu können. Bei LD wird das Selbstvertrauen gestärkt, da durch ständige Attacken des TM der eigene Standpunkt verteidigt werden muß und so genau zwischen korrekten und falschen Lösungen unterschieden werden muß. Der Wissensaquisitionsprozeß wird gestärkt, indem man vor dem TM seine Meinung vertritt. Ebenso empfindet der Lerner Vergnügen, seine Kompetenz in der Domäne vor dem TM unter Beweis zu stellen.
  • Motivation zum Lernen

  • Ein Schüler kann aus verschiedenen Gründen motiviert sein. Motivation kann entstehen aus persönlichen Interessen, Druck der Gesellschaft oder auch durch Wettbewerbssituationen. Beim LC existiert eine Motivation die dadurch geschaffen wird, daß nach Beendigung der Aufgabe eine Evaluation durch den Tutor stattfindet. Bei LD ist der Troublemaker die Motivation. Er provoziert den Schüler mit falschen oder richtigen Vorschlägen. Aus dieser Provokation entsteht nun die Motivation sein eigenes Wissen zu hinterfragen und nach der korrekten Lösung zu suchen.
  • Pädagogisches Wissen

  • Pädagogisches Wissen ist Wissen, das ein Agent benötigt um zum Beispiel entscheiden zu können, wann er seinem menschlichen Mitlerner helfen soll oder wann nicht. Im Gegensatz zum LC, der gar kein oder nur wenig pädagogisches Wissen besitzt, hat der TM erheblich mehr pädagogisches Wissen, sogar mehr als der Tutor. Dies ist auch nötig da der TM genau entscheiden muß zu welchem Zeitpunkt er stören soll und wie weit er z. B. einen fehlerhaften Standpunkt verteidigen muß.

    Nicht zu unterschätzen ist ebenfalls die Tatsache, daß der TM, ebenso wie der Tutor, vollständiges Wissen über die Domäne besitzt. Nach außen hin tritt der TM jedoch nur als normaler Schüler auf. So kann der TM sein Domänenwissen ebenfalls nutzen um konkrete Vorschläge zu machen, die den Schüler in die eine oder andere Richtung leiten sollen.

  • 3.2 Psychologische Grundlagen der Learning By Disturbing Strategie

    Die Motivation war ein wichtiger Faktor für die Einführung der Learning By Disturbing Strategie. Der innere Konflikt des menschlichen Schülers der durch die Provokation des TM ausgelöst wird hat jedoch eine psychologische Vergangenheit.

    Der Psychologe Festinger begründete die sogenannte Kognitive Dissonanz Theorie. Diese Theorie versucht, den konflikthaften Zustand zu erklären, den jemand erlebt, nachdem er eine Entscheidung getroffen, eine Handlung begangen hat oder einer Information ausgesetzt worden ist, die zu vorherigen Meinungen und Gefühlen oder Werten im Widerspruch steht.

    Es wird angenommen, daß, wenn Diskrepanzen zwischen den Kognitionen über das eigene Verhalten und relevante Einstellungen bestehen, eine Erfahrung des Unbehagens und dann die Motivation, dieses abzubauen entsteht.

    Der Ablauf bei der Erfahrung von Kognitiver Dissonanz sieht in etwa wie folgt aus:

                1. Warhnehmung der Information
                2. Speicherung als kognitives Schema
                3. Wahrnehmung neuer Information
                4. Bemerkung von Dissonanz
                5. Psychologisches Unbehagen
                6. Innere Motivation
                7. Modifikation des Kognitiven Schema

    Die Motivation ist also die Dissonanz zu reduzieren, also den unbehaglichen Zustand zu verlassen und Konsonanz zu erzielen. Bei der Erfahrung von Kognitiver Dissonanz kann eine Vielzahl von negativen Konsequenzen eintreten, auf die ich jetzt näher eingehen möchte.

    Die Intensität der Dissonanz hängt von zwei Faktoren ab:

    Eine emotionale Beziehung zu einem virtuellen TM aufzubauen scheint schwierig zu sein. Sie könnte aber realisiert werden indem man versucht, mehrere TM zu implementieren die alle unterschiedliche Persönlichkeiten besitzen.

    Wie reagiert man auf kognitive Dissonanz, die von einer anderen Person ausgelöst wurde ?

    1. Das Objekt des Disputs wird als unwichtig abgetan

    2. Die äußernde Person wird als unwichtig abgetan

    3. Versuchen, die Dissonanz zu eliminieren durch

    - ändern seiner eigenen Meinung
    - ändern der Meinung des anderen durch Diskussion

    4. Suchen von neuer Information in der unmittelbaren Umgebung, die die eigene Meinung unterstützen würde. Beispielsweise auch die Unterstützung durch eine andere Person

     

    3.2.1 Zusammenhang: Kognitive Dissonanz - Learning By Disturbing

    Das vorherige Kapitel beschäftigte sich mit der Kognitiven Dissonanz. Dieser Abschnitt soll zeigen, wie jetzt genau diese Theorie in die Learning By Disturbing Strategie hineinspielt. Klar festzustellen ist, daß die Kognitive Dissonanz durch den Troublemaker ausgelöst wird. Zu diesem Zeitpunkt ist der Troublemaker die einzige zur Verfügung stehende Quelle an Information. Um nun die Dissonanz zu eliminieren, ist der Lerner motiviert, in seiner eigenen Umgebung (in seinem Wissen) nach Information zu suchen. Zusätzliche Information wird ihm ebenfalls durch den TM gegeben, aber diese Information muß nicht unbedingt korrekt sein. Letztendlich kommt es aus dem Dialog mit dem TM zu folgendem Resultat: Entweder kann der Schüler sich bekehren lassen, oder der Lerner bekehrt den Troublemaker.

    Zwei Faktoren beeinflußen die Resultate der Diskussion:

    Von entscheidender Wichtigkeit ist es daher, den genauen Zeitpunkt zu wählen an dem der TM versuchen sollte den Schüler zu stören. Denn nur durch die richtigen Zeitpunkte kann der Lernerfolg maximiert werden.

    Wann sollte der Troublemaker den Schüler stören ?

    Das wesentliche Ziel dieser genau geplanten Interventionen ist, daß die Information in schon bestehende Kognitive Schemata richtig integriert wird. Unbedingt zu vermeiden ist eine Destabilisierung des Egos des Schülers.

    Die Student – Troublemaker Interaktion wird in der folgenden Tabelle näher erläutert

     

    TM Vorschlag Schülermeinung Reaktion des Schülers
    Richtig Falsch
    • Behält das ursprüngliche falsche kognitive Schema bei (2)
    • Ändert seine Meinung und korrigiert den Fehler
    • Akzeptiert die Information des TM und konstruiert ein disfunktionales Schema (1)
    Richtig Richtig
    • Festigt sein kognitives Schema und stärkt sein Selbstvertrauen (3)
    Falsch Falsch
    • Behält das ursprüngliche falsche kognitive Schema bei
    • Akzeptiert die Information des TM und integriert es in sein kognitives Schema in konsonanter Weise 
    • Akzeptiert die Information des TM und integriert es in sein kognitives Schema in dissonanter Weise (1)
    Falsch Richtig
    • Behält ursprüngliches kognitives Schema (2)
    • Akzeptiert die Information des TM und integriert es in sein kognitives Schema in konsonanter Weise 
    • Akzeptiert die Information des TM und konstruiert ein disfunktionales Schema (1)
    Tabelle 1: Schüler - TM Interaktion

     

    In allen Fällen außer in (3) herrscht kognitive Dissonanz und daher interne Motivation. Diese Motivation zeigt sich durch die Interaktion mit dem TM, der ja die einzige Quelle an Information ist. Kognitive Dissonanz herrscht auch dann, wenn der Tutor die richtige Lösung präsentiert. Nur erfolgt dies dann erst im nachhinein und kann bezwecken, daß die Information nicht in konsonanter Weise gespeichert wird. Fall (2) kann nicht eintreten, wenn das System verlangt, das der TM und der Student einen Konsens erzielen müssen. Fall (1) bedeutet, daß der Schüler die Information des TM zwar akzeptiert, diese steht aber trotzdem immer noch im Widerspruch zu seinem eigenen kognitiven Schema. Dies zeugt von Schwäche des Selbstvertrauens, des Intellekts oder der kognitiven Strategien (Denken). Situationen, die diesen Fall heraufbeschwören, zeugen von schlechter Intervention durch den TM und müssen auf jeden Fall vermieden werden. Als Folge dieser schlechten Interventionen könnte der Schüler verwirrt oder sogar frustriert werden.

     

    3.2.2 Vor- und Nachteile der Learning By Disturbing Strategie

    Vorteile:

    Nachteile:

     

    4 Forschungsergebnisse

    Bevor die Learning By Disturbing Strategie überhaupt in Intelligent Tutoring Systeme eingebaut werden konnte, mußte vorher ihre Gültigkeit anhand von wissenschaftlichen Experimenten verifiziert werden. Dieses Experiment stützte sich auf den Vergleich der Learning Companion Strategie zur Learning By Disturbing Strategie. An dem Experiment nahmen 40 Studenten und Professoren der Universität Montréal teil, wobei es sich um 42 Fragen über Verkehrszeichen handelte, die im multiple choice Verfahren beantwortet werden mußten. Die Companion Methode war die Referenzgruppe und die TM Methode war die Testgruppe. Zu Beginn des Tests wurde ein Pretest abgehalten der aus 12 Fragen bestand. Der Zweck dieses Pretest bestand darin, solche Personen herauszufiltern, die ein vollständiges Wissen in dieser Domäne besaßen. Diese Personen waren für den Test nämlich ungeeignet. Desweiteren sollte sichergestellt werden, daß beide Gruppen in etwa den gleichen Wissenstand hatten. Zusätzlich sollte für jeden Teilnehmer sein Anfangswissenstand herausgefunden werden. Dieser Anfangswissenstand war später notwendig, um die Einteilung von schwachen und starken Lernern innherhalb der jeweiligen Gruppe vorzunehmen, wobei schwach unter dem Durchschnitt bedeutete und stark über dem Durchschnitt. Innerhalb einer jeden Gruppe existierten also zwei Untergruppen: Starke Lerner und Schwache Lerner.

    Nach dem Pretest folgte die Training Phase in der 18 Fragen gestellt wurden. Das Experiment wurde mit dem Posttest abgeschlossen.

    Die Hypothese für dieses Experiment lautete:
    Der Erfolg der Learning By Disturbing Strategie sollte vom Anfangswissenstand des Lerners abhängen. Er sollte effizient für Personen mit einem hohen Anfangswissenstand sein und ineffizient für solche mit geringen Anfangswissenstand.

    Die Resultate können aus der folgenden Tabelle entnommen werden.

     

    Strategy 

    Category

    Troublemaker 

    High               Weak

    Companion 

    High              Weak

    No. of learners 11                    7 12                   10
    Pretest 78.8                 60.7 81.9                60.8
    Posttest 83.3                 56.0 79.9                74.2
    Paired differences     
    Mean 4.55               -4.76  -2.08              13.33
    Tabelle 2: Pretest vs. Posttest Resultate

     

    Ergebnis: Gute Lerner (Wissenstand hoch) lernen besser mit dem TM, während schlechte Lerner besser mit dem Companion lernen.

    Die Hypothese bestätigte sich also.
    Was besonders auffällig ist, ist die Tatsache, daß gute Lerner unter dem TM relativ wenig Wissen hinzuerwerben (nur 4.55 %), unter dem Companion verlieren sie sogar an Wissen, während der Companion schwachen Lernern sehr stark hilft (+ 13.33 %).
    Weitere Untersuchungen zeigten, daß die Grenze für die beiden Lernstrategien bei 76 % lag. Falls der Pretest unter 76 % lag, war die Companion Methode erfolgreicher. Der TM zeigte bessere Resultate bei einem Pretest über 76 %. Anhand dieser Tatsache kann man in Systemen mit verschiedenen Lernstrategien anhand des Pretests schon entscheiden, welche Methode für den Schüler besser geeignet ist.
    Bleibt nur noch zu klären, warum die Learning By Disturbing Methode für gute Lerner besser geeignet ist. Einige Erklärungsveruche könnten sein:

     

    5 Das SAFARI Projekt

    Zum Schluß möchte ich noch ein Projekt vorstellen, welches verschiedene Lernstrategien mit multiplen Agenten verwirklicht: Das SAFARI Projekt.

     

    5.1 Hintergründe und Kurzbeschreibung

    SAFARI wird gesponsert und gefördert vom Ministerium für Industrie, Handel, Wissenschaft und Technologie der Regierung von Québec und hat die Aufgabe, eine Methode und eine Umgebung für die Erstellung von Intelligent Tutoring Systemen zu entwickeln. Das Hauptaugenmerk liegt dabei auf das Unterrichten von Prozeduralem Wissen im Umgang mit medizinischen oder flugtechnischen Instrumenten. SAFARI wird entwickelt von vier Universitäten (Universität Montréal, Universität Québec, McGill Universität, Bishop´s Universität), zwei privaten Unternehmen (NovaSys Inc., Virtual Prototypes) und einer Regierungsabteilung. Das Projekt beinhaltet eine Kombination von existierenden Tutoring Werkzeugen und versucht schnell und einfach ein Tutoring System zu einem bestimmten Gerät oder zu einem bestimmten Problem zu bauen. Tutoring Werkzeuge können z. B. Editoren für Wissensdatenbanken oder für funktionelle Eigenschaften eines Gerätes sein. Desweiteren bietet SAFARI Lehrmethoden an, die denen des menschlichen Lernens angepaßt sind.

     

    5.2 Aufbau des Systems

    Diese Lehrmethoden sollen jetzt etwas genauer beschrieben werden. Nach Gagné ist der natürliche Ablauf beim Lernen einer Fähigkeit in etwa der folgende:

    In SAFARI wurden diese vier verschiedenen Modi implementiert, so daß eine Fähigkeit mit verschiedenen Lehrmethoden und Agenten gelernt werden kann, je nachdem, welche Lehrmethode für das Individuum am geeignetsten ist. Die korrespondierenden Modi in SAFARI sind:

    Die folgende Tabelle zeigt eine Übersicht über die verschiedenen Modi und die implementierten Agenten:  

                           Modus 
    Tutoring 
    Agenten
    Erforschung Demonstration Problemlösung Ratschlag Problemlösung Kritik
    Tutor   Der Schüler beo- bachtet die Demonstration des Tutors Der Schüler ar- beitet, während der Tutor Rat- schläge erteilt. Schüler beobachtet die Evaluation des Tutors.
    Co-Learner   Der Schüler beo- bachtet die Demon- stration des Co- Learners Der Co-Learner gibt während der Sitzung dem Schüler Rat- schläge Co-Learner kritisiert den Schüler im nachhinein
    Companion    Der Schüler beo- bachtet die Demon- stration des Compan- ion oder des Tutors. Companion erteilt unter Kontrolle des Tutors Ratschläge Der Tutor oder der Companion kann den Schüler kritisieren.
    Inverted Tutor Schüler erforscht und erklärt seine Aktivität dem Tutor.      
    Troublemaker   TM demonstriert (richtig oder falsch) unter Kontrolle des Tutors Der Troublemaker gibt richtige oder falsche Ratschläge Der Troublemaker kritisiert den Schüler um so sein Selbst- vertrauen zu testen
    Tabelle 3: Implementierte Modi in SAFARI

     

    Die Entwicklung des Systems wurde in fünf Phasen eingeteilt:

    Phase 1:
    Entwicklung eines Prototypen für den Demonstrationsgenerator. Dieser Generator muß die Funktionsweise eines Gerätes und seine Möglichkeiten angemessen darstellen. Derzeit existieren die Prototypen nur für medizinische Geräte (Baxter Pumpe). Später sollen aber noch welche für flugtechnische Geräte hinzukommen.

    Phase 2:
    Erstellung einer Umgebung, in der die Geräte erforscht und ihre Funktionsweise studiert und praktiziert werden kann. Hier mußten verschiedene Szenarien in einer Datenbank abgelegt werden. Die Aktionen der Schüler müssen verfolgt und mit
    Material aus der DB verglichen werden, um Ratschläge in Abhängigkeit des gewählten Agenten erteilen zu können.

    Phase 3:
    Erstellung eines kompletten Lehrgangs für eine Komponente. Hier wurden das eigentliche Verfahrensmodell, sowie das Lernmodell benutzt, um das Training zu begleiten

    Phase 4:
    Entwicklung intelligenter Eigenschaften, wie z. B. das Verfolgen der Aktionen des Schülers und die Wahl des besten Zeitpunktes um ihn zu unterbrechen und Hilfe zu geben

    Phase 5:
    Entwicklung einer kompletten Umgebung für kooperatives Lernen

    Derzeit existieren etwa 15 Prototypen und die ersten drei Phasen sind implementiert.

    Das System ist modular aufgebaut und läuft auf SUN und PC Workstation. Die Entwicklungsumgebung wurde in Smalltalk programmiert und die Simulationsumgebung wurde mit VAPS (Virtual Applications Prototyping System) realisiert. Als Nachteil ist sicherlich zu bemerken, das neue Lernstrategien erst ausführlich getestet werden müssen, bevor sie in das System eingebaut werden. Von Vorteil ist, das anhand einiger weniger Eingaben ein kompletter Kurs generiert werden kann und das eine Vielzahl an verschiedenen Editoren (physikalische, funktionale, operationelle, usw...) existieren, die alle einzeln oder zusammen genutzt werden können.

    Die Weiterentwicklung des Projektes kann unter der Internetadresse http://www.iro.umontreal.ca/labs/HERON/SafariWeb/safarienglish.htm verfolgt werden.


    6 Literaturverzeichnis

    1. Esma Aimeur, Hugo Dufort, Daniel Leibu, Claude Frasson. "Some justifications about the learning by disturbing strategy". Université de Montréal, Département d´informatique et de recherche opérationnelle. Pp 1-12.
    2. Claude Frasson, Thierry Mengelle, Esma Aimeur. "Using Pedagogical Agents in a Multi-strategic Intelligent Tutoring System". Université de Montréal, Département d´informatique et de recherche opérationnelle. Pp 1-8
    3. Claude Frasson, Thierry Mengelle, Esma Aimeur, Guy Gouardères. " An Actor-Based Architecture for Intelligent Tutoring Systems". Université de Montréal, Département d´informatique et de recherche opérationnelle. Pp 1-9
    4. Claude Frasson, Thierry Mengelle, Esma Aimeur, Guy Gouardères. "An Actor-based Architecture for Intelligent Tutoring Systems". Université de Montréal, Département d´informatique et de recherche opérationnelle. Pp 1-15
    5. Thierry Mengelle, Claude Frasson. "A Multi-Agent Architecture for an IST with Multiple Strategies". Université de Montréal, Département d´informatique et de recherche opérationnelle. Pp 1-9
    6. Claude Frasson, Esma Aimeur. " SAFARI: A University-Industry Cooperative Project". Université de Montréal, Département d´informatique et de recherche opérationnelle. Pp 1-10
    7. Esma Aimeur, Claude Frasson. "Analyzing a new learning strategy according to different knowledge levels". Université de Montréal, Département d´informatique et de recherche opérationnelle. Pp 1-21
    8. Esma Aimeur, Claude Frasson, Carmen Alexe. "Towards new learning strategies in Intelligent Tutoring Systems". Université de Montréal, Département d´informatique et de recherche opérationnelle. Pp 1-10
    9. Zimbardo. "Psychologie", 6. Auflage, Springer Verlag