A longitudinal empirical ICT research

Újabb konferenciarészvételekre kell készülni: eden és PÉK 2009. Elkészült a kurzuselégedettséget mérő teszt két verzióban (M/Cs és hagyományos). Ezzel zárul ma két csoport féléve, a harmadiké pedig holnap. Leltárt kell készíteni, mi az ami teljesült az első félév során, és mi nem. Nem teljesült: hanganyagok készítés könyvhöz (ezt lehetett volna kollaboratívan) Teljesült: (folyt. köv. hamarosan)

Betegség miatt sajnos a két másik csoport (2. és 3.) prezentációin nem tudtam ott lenni személyesen, de azok nem maradtak el, a technikus rögzítette őket és két kolléga (K. F. és P. E.) bementek helyettem. A felvételt hétfőn kapom meg, kíváncsi vagyok hogy sikerültek. Amit e-mailben megkaptam azok között volt egész profi is. Megkaptam a kontroll csoport munkáit is M.B.-tól, aki ezt írta nekem: "Munkamenet 1. Előző órán kijelöltem a csoportokat és kértem, hozzanak szótárt. 2. Csoportmunka A feladathoz nem volt kérdésük, beszélgettek egymással (magyarul) közben. Minden csoportban volt egy-egy teljesen passzív szemlélő, de ők is követték a többiek munkáját. Úgy láttam, szívesen csinálták. Néhány szót megkérdeztek (index, TO…) Két csoport az órán beírta a gépbe, kettő az órán kívül. 3. Prezentálás Egy csoporttag állt ki, egy másik ült a gépnél és kijavította a hibákat, amelyeket közösen „észleltünk”. 4. Értékelés Zavarta őket, hogy mi szerint értékeljenek. Miután ...

Ma prezentált az első csoport (6.) Több apró technikai gond miatt kicsit késve kezdtünk, de minden belefért. Ráadásul a kamera több percen át a plafont vette, mert nem volt meghúzva a csavar az állványon, a technikus kiment, én meg késve vettem észre. :( Viszont megdöbbentett a hallgatók passzivitása. Vagy a feladat volt rossz és nem motivált kellőképpen (szerintem mondjuk nem, de nyilván én nem vagyok kellőképpen objektív), vagy olyan szinten nincs véleményük a hallgatóknak dolgokról (ráadásul, amik testközelből érintik őket), ami minden korábbi elképzelésemet felülmúlja. Ha mondanak valamit, akkor valami nagyon általánosat ("es war gut"), és ha megkérdezem, hogy pontosan mire gondolnak, akkor se kép, se hang. Siralmas. És nem nyelvileg. A hozzáállás. Egymást sem érdeklik. Nekem ez kisebbfajta sokk volt. Akik jók és egyáltalán van véleményük: V.A. (A csoport), aki kézzel rajzolt térképet készített minden csoportnak (!), továbbá B.CS., K.ZS., Cz.T (D csoport). A kézze...

Most kijavítottam mindent, elkészültem az eredményekkel, ehhez már csak egy-két javítás (szódolgozatok) és a ZH eredménye jön hozzá. Az eredmények grafikusan: A PBL-feladatot külön fogom értékelni. Ki kell dolgozni a szempontokat holnapra! Érdekes, hogy a kollaboratív írásos feladatok nem igazán váltak be, az egyik csoportnál (03), ahol már korábban is az egyik lány (V. Zs.) egyéni megoldást fűzött hozzá, most csak ő és még két lány (P.P.E. és M.L.) írt a 17-ből! Sokat gondolkodtam, de végül egyest adtam mindenkinek, mert nem oldották meg közösen a feladatot. Egyedül akik dolgoztak, azok nem kaptak 1-t, de ezen sokat is gondolkodtam. Mi ilyenkor a következetes megoldás? A 2-es csoportnál 4-en vettek benne aktívan részt a 16-ból, a 6-nál szintén 4-en a 14-ből. Mi lehet az oka? Erre e kérdőívben rá kell valahogy kérdezni. Azt hiszem a feladatot úgy fogom megváltoztatni, hogy ha a csoport tagjainak fele nem vesz részt benne, akkor az nem értékelhető. Persze ezt is ki lehet...

Ma megvolt a 3-as csoport feladata is, de nem volt internet! A másik csoportnál előttük még volt, de ott meg a tanárok nem tudtak belépni a Coospace-re. Kidőlt egy szerver. Maradt a Word, abban szerkesztették, és óra végén pendrive-ra kellett menteni, aztán itthonról már feltöltöttem a Coospace-re. Zárt fórumokat hoztam létre, így ott csak a csoporttagok tudnak kommunikálni. Kíváncsi leszek, használják-e vagy inkább maileznek majd. 5 fő hiányzott, így nekik majd virtuálisan kell kooperálniuk, kíváncsi leszek az eredményre. Egyébként a mai órán szinte semmi német nem volt, szinte csak magyarul ment a kommunikáció. Egyre szkeptikusabb vagyok az eredményeket illetően... Ma megszerveztem a kamerázást a technikussal, mindhárom csoport prezentációját felvesszük (dec. 8. 10. és 11.), és aztán kiírja nekem VHS-re. Lesz mit elemezni majd. Ennek a szempontjait ki kell dolgozni!

Délelőtt véglegesítettem a PBL-feladatot, remélem jó lesz. Tegnap kicsit olvastam a PBL-feladatokról ( Tudástranszfer az anyanyelvtanításban , 12 kritérium stb.). A PBL-feladat kulcsváltozói: a PBL-probléma minősége (remélem jó lesz a miénk) a tanulók személyiségvonásai a tutor képességei (ügyesen, nem szerepelni, csak instruálni, de nem terelni…) Ma elkezdtük a PBL-feladatot két csoportban (6 és 2). Holnap jön majd a 3. csoport. Borinak is odaadtam, ő majd utolsó héten fogja megcsinálni. Ez volt a feladat: "Ein deutscher Erasmus-Student ist dein Kommilitone an der Budapester Wirtschaftshochschule. Er beklagt sich über den Informationsmangel und chaotischen Semesteranfang. Er ist ein absoluter Neuling und weiß praktisch nichts. Ihr möchtet ihm helfen, indem ihr die zum Semesteranfang nötigen Infos auf Deutsch schriftlich einholt. Ihr müsst möglichst schnell arbeiten, denn er muss die Fächer im Neptun aufnehmen. Am Ende der Arbeit müsst ihr euer Endprodukt den and...

Tegnap beadtam EARLI JURE -ra a kutatás absztraktját, február 2-ig válaszolnak. Kíváncsi vagyok. Most összesűrűsödtek a dolgok: PBL-feladat (dec. 3. 8. és 10.) ez elvileg holnapra, félek, hogy nem lesz eléggé előkészítve, főleg az instrukciók a tanároknak. Videózásra technikust kell megkérni. ZH (dec.15), ehhez hanganyag, és pár kérdés, (M.B.-nak is leadni) Kérdőívek (IKT-kompetencia+elégedettségmérés) (dec.17.) M.B.-nak leadni, ráadásul ez papíralapú lesz a CS-eseknél is, mert nem lesz fordító. :( III. Alkalmazott Nyelvészeti Doktorandusz Konferenciára beadott absztrakt ( teljes program ) (dec.12.) Szeged: vizsgák Most, hogy PBL-feladat kell, olvasom Molnár Gyöngyvért, aki egy helyen idézi Martont (2000): „ Az élet színességére az iskolapad "szürkeségéből" csak változatossággal, a változatosság megtapasztalásával lehet készülni ” Nem egy "nagy" idézet, de megtetszett. Már megvan a PBL-feladat, de még le kell tisztáznom. Nem tudom holnap el tudju...

Ma voltam a Heller Farkas konferencián (meghívó pdf-ben) , elég kevesen voltak, de az érdekes, hogy ezzel párhuzamosan a két csoport 3 tesztet oldott meg. A Moodle-csoporttal chaten ( 1. chat , 2. chat , 3. chat ) tartottuk a kapcsolatot, kérdeztek tech. problémákat, illetve eredmény-reklamáció volt. 3 lány volt aktív, bár többen benéztek: B. N., N. R., K. Zs..Volt, aki nem írta meg (L. E., "ültem a vonaton" (sic!), V. A. (?). A CS-csoportnál négy ember együtt írta meg egymást segítve (IP-cím + túl jó eredmények): O. B., P. I., J. T., G. K.) Volt, aki online volt, de nem írta meg (G. B.) és aki beteg volt (F. J., igazolást hoz). Az előadás végén egy-két tanárral beszélgettem, és azt mondták, hogy azért nem használják a tanulási környezete(ke)t, mert a főiskola vezetése bele szokott nézni (sic!). Amit nem igazán értek, mert akkor mit lát: hogy nagyon dolgozunk a környezetben? A privátszférájuk fenyegetését látják benne. Próbáltam mondani nekik, hogy akkor a mobiltelefon ...

Most, hogy csinálom az új (4.) leckét, eszembe jutott, amit Molnár Gy. mondott, hogy attól még nem lesz egy anyag interaktív (táblás), hogy beszkennelem, annak mozognia kell, meg kell mozgatni minden érzékszervet. Flash-t kell tanulni. A portfólió-értékelés elég jól megmutatja a teljesítményt, csak nagyon munkás. Mindenhol van egy-két kiugró ember. Ki kell majd elemezni a helyzetet. Egyébként a Mahara "elfelejtődött". Ad-hoc kérdéseknél (másnál is), a legjobb, ha a Kérdés-háló jelentést exportáljuk ki Excelbe. Kevés átalakítással jó lesz grafikonra. A leggyengébb a 6-os csoportom volt a vonatkozó névmásos feladatban. :( Íme az eredmények (2. 3. és 6. cs):

A Google-feladatnál, ahol közösen kellett egy szöveget leadni az egyik csoport (3-as) két szöveget adott le. Miért? Egyéni akció volt: V. Zs. beírta a saját verzióját! "Azért, mert a feladat a lényeg kiszedése volt, és a többiek pedig túlrészletezték véleményem szerint. Mivel nem akartam (ill. nem is mertem) kitörölni az egészet és az új verziót leírni (nehogy úgy érezzék a többiek, hogy hiába dolgoztak), ezt a megoldást találtam a legmegfelelőbbnek. Remélem nem probléma." A következő volt a részvétel az első alkalommal: 6 fő (2.) 7 fő (3.) 10 fő (6.) Most javítom a Google Glossarokat és a 3-as csoport chatre használta (lementettem a képfájlokat). Nagyon kreatívak! A médiát ösztönösen egyéni igényeiknek megfelelően (pl. chat) használják. Azt hiszem, hiányzik egy jól használható instant üzenetküldő szolgáltatás a tanulási környezetből. Érdekes kérdés: a technika eszközök határozzák meg, hogy hogyan használjuk őket, vagy ösztönösen el kez...

Kárpáti Andrea biztatott, hogy jó a kutatási terv, be lehet adni EARLI JURE -ra (dec.1.!) Szegeden nov. 4-én a következőket mondták: nem lesz védhető (Vidákovich) (-> disszertációkat olvasni) túl komplex, nem lehet majd kimutatni az IKT eszközök fejlesztő hatását, "jó csak gatyába kell rázni" (Nagy J.) (-> még jobban letisztázni, fogalmi térképet folyamatosan fejleszteni) szintfelmérő mind a négy készséget mérje (Nagy J.) (-> igaz, el kell kezdeni a hanganyagozást) gond, hogy a legerősebb a kontroll (Tóth K.) (-> mintaillesztés) PBL-feladatot decemberre előrehozni!!! Kidolgozni! Amit meg kell csinálni: M.B.-nak dolgozat (1. Test) hanganyagok készítése könyvhöz PBL-feladat kidolgozása, dec. 1-én vagy 8-án indul Záróteszt kidolgozása 4 készségre (kb. első 4 lecke lesz teljesen kész) év végi kurzuselégedettséget mérő kérdőív Múlt héten megmutattam a csoportoknak a Tell Me More-t , azt együtt többet már nem fogjuk csinálni, de év végén ...

Ma előadtam a Coospace-statisztikámat a BGF konferenciáján , előtte csináltam egy OptiVote -os közvélemény-kutatást a VTK-ról. 3 kérdés volt: 1. Mond Önnek az a kifejezés valamit, hogy virtuális tanulási környezet (virtual leraning enviroment)? (A igen, B nem) 2. Használt már VTK-t valamelyik óráján? (A igen, B nem) 3. Ha igen, milyen gyakran? (A soha, B Félévben pár alkalommal, C Havonta, D hetente, E minden órán) 12-en szavaztak, ebből 2 diák (?) volt: 1. kérdés: 10 A, 2 NIL 2. kérdés: 6 A, 4 B, 2 NIL 3. kérdés: 2 A, 3 B, 4 D, 1 E, 2 NIL Vagyis érdekes, hogy bár majdnem mindenkinek van fogalma róla, a fele nem használja és a használók két csoportra különülnek, vannak a ritkább (félévben párszor) és vannak a gyakori felhasználók (heti és 1 db minden órás, ő B. E.) Ez persze nem reprezentatív. Az eredmények grafikusan:

Legyártottam a 3-as leckéig a Moodle-feladatokat leszámítva mindent, és a könyv teljes szövegeit is feladatok nélkül. A terv, hogy a jövő héten mindent legyártok, aztán másra tudok koncentrálni. Csak csatolom a cuccokat a színterekhez, beállítok stb. Az online értékelés nagyon "macerás", bár a Moodle még egész pofás statisztikát készít és a Google doksi átnézése se akkora gond. De a CS az gond, D.L.-lel kell konzultálnom statisztika miatt. Az OptiVote adatbázisomat, újra kell építenem, szerencse, hogy nem egy félév volt benne, hanem csak 2 teszt. Megőrültem volna. Pont egy hónap múlva fogok beszámolni a kutatásról Szegeden. Előre kell készülnöm. A menetrend tehát: Moodle-feladatok 3-ig teljes leckefeldolgozás egyenként mindkét VTK-ra egyszerre, hogy ne legyen felfordulás (4, aztán 5 stb.) OptiVote kérdések PowerPointban, aztán behúzva OptiVote-ra új szoftverek felrakása (OptiVote, Mimio)

Beszéltem megint Kárpáti Andreával: Csoportokat kell képezni IKT-kompetencia és nyelvtudás alapján. Kb. 5%-ként. És ilyenek lesznek: akinek jó az IKT-ja de gyenge a nyelvtudása az ennyit és ennyit fejlődött. Interjút készíteni a tanárokkal az IKT-metria alapján. M.B.-nek: oldja meg, hogy mindenki együtt írjon egy doksit. Ha nem tudja megoldani, az is eredmény lesz, de indokolja miért nem.

Dorner Helga tanulmánya kapcsán a következők jutottak eszembe: Log fájlok hasznosak lehetnek a kvantítatív elemzésben (Moodle és CS) „A kollaboratív tudásépítés során a résztvevők (tanulók) együttesen, egyidejűleg dolgoznak egy probléma megoldásán. A tanulók határozzák meg céljaikat, és a pedagógus nyújt segítséget e célok megvalósításában. A kollaboráció tanulócentrikus, a tudatosságra késztet és csoportfelelősséget alakít ki a résztvevőkben.” (nekem nincs ilyen feladatom!) Kevés releváns szakirodalmam van (Scardamala és Bereiter, szociális episztemológia, trialogikus tanulás (Hakkarainen), Vigotszkij közeli fejlődési zóna, CSCL, Sfard, számítógéppel segített kollaboratív tanulási környezet (Stahl), Henri „A számítógéppel segített kollaboratív tanulási környezetben tárolt írásos csoportszintű interakciók elemzése és értelmezése „láthatóvá teszi” a tudásépítés folyamatát csoporton belül, így a kollaboratív tanulást kutatók számára ezen interakciók az empirikus adatelemzés forrása...

Ma is volt OptiVote , és most már ment, mint a karikacsapás. Hazahoztam, itthon is gyúrom majd, lesz Miki egeres családi szavazás. :) Kaptam egy másik csoportot, ahol szintén „IKT-zok”, itt is kipróbáltam a Mimio Xi -t, jó volt. Ha lenne egy saját projektorom, akkor teljesen önellátó és önjáró lennék. Hétvégén, vasárnap megpróbálom összekapni magam. Jövő héten IKT-metriázni kell..

Ma kipróbáltuk az OptiVote-ot két csoportban, egész jó volt, főleg a második. Szerintem a hallgatóknak is tetszett, de azért van egy-két homály: Power pointból hogy importálok? (ez hasznos lenne) Kérdéseimet hogy archiválom? Jelentéseket hogy kezelem pontosan? Jelenléti szavazás értelme pontosan mi? Adatbázist hogy mozgatok két gép között? (pl. laptop-tanári PC) Ad-hoc szavazás hogy megy? Különbség a szóbeli és a nem szóbeli között? Tanévből hogy lehet kiszedni a nem hasznos bejegyzéseket? Egyébként a kérdéseket elég gyorsan fel tudtam tenni, az ad-hoc-ra kíváncsi leszek azért. Két távirányítóban le volt merülve az elem. Szóval erre is oda kell figyelni. Megoldandó problémák a kutatás során: Milyen szempontok alapján kell értékelni a hallgatók online jelenlétét. Ezt meg kell kérdeznem Kárpáti Andreától. Nincs beszélgetés, a gépek zúgnak és lövészárkokban ülnek a hallgatók: kell majd kb. kéthetente egy Kaffee-Kuchen-Stunde. De ki finanszírozza majd? IKT-kérdőívet hogy kódol...

Sikerült tegnap a Moodle-re feltenni a teszteket. Kicsit kacifántos, de működik. Íme a menete: makrók engedélyezése moodle makró futtatása: moodle_quiz_v09.dot stílusból dolgozni mentés: xml (word 2003) végén export gomb, ez gyárt docm-fájlt (makróbarát word doksi)! (különben nem lesz kérdésbank!) FONTOS: a dot.makró és xml-question mappa legyen egy könyvtárban! Aztán moodle xml forma kiválasztása!. A kérdésbank menedzselése M-ben jobb, mint CS-ben, a tesztek utólagos szerkesztése, oldaltörés stb. viszont nem). Ettől függetlenül óriási munka mindezt feltenni a rendszerbe. Ráadásul mivel Coospace-t és Moodlet is használunk így dupla annyi munka. Megoldás lenne, ha a tanárok felosztanák egymás között a feladatot és megosztanák egymással a felépített kérdésbankokat. Hosszú távon egyértelműen az együttműködésre kell törekedni.

A tesztimportálás most már szöveges módban is megy CS-ben, ez nagy segítség, rá lehet feküdni a bevitelre. B.E.-t is bele kell vonni! Vele hétfőn találkozom, egy kis e-tábla show-ra. Az első leckéből már csak egy kis nyelvtan és az utolsó szöveg van hátra, ezzel jövő héten végzünk. Utána jön az újabb téma. Kíváncsi vagyok, hogy állnak a többiek. Kárpáti Andrának a hétvégén össze kell szednem a következőket: IKT-metria (Moodle-tesztkörnyezet tesztelése) kutatási terv (upgrade) aktuális minta (létszám, szint) Kérdések: Kollaboratív írást kontroll csoportban hogy lehet? (már van ilyen feladat) Közös szószedetet kontroll csoportban hogy lehet? Egy mappába szerkesztenek? Újabb megfigyelések: nyelvhasználat és "frontanitás" A technikai gondok miatt sokat beszél a tanár magyarul: PC-szószedet van, meg kell tanulni. Ez a kontroll csoportnak is kell? Ha igen, hogyan adható nekik? Beágyazott feladat formájában? A tábla lassít az óra menetén, ha egyenként hívom a diákokat, ...

Ma megvolt az első Moodle-óra, és elég jól sikerült. Jól paraméterezhető, nem volt semmi technikai gond. P. A. rugalmas, és sokat segít, én is lassan belerázódom. A másik csoporttal is sikerült megoldani a Google Docs gondot, Gmail-t regisztráltunk, mostantól ott is mehet a Glossar. Még holnap a másik csoportban kell ezt eljátszanom, és OK.

Ma Szegeden megismerkedtem az SPSS programmal (13v), amiben majd fel kell dolgozni a kutatás adatait. Hasznos volt. B. E. ma nem tudott bemenni a terembe, így ma csak Coospace-zett. Terem kell, különben nem lehet használni az IKT eszközöket! Holnap intézkedem. Ma este Skype-on Coospace-ismertetőt tartottam neki. Holnap de. Moodle-t kell intéznem, hogy használni tudjuk Na ott a tesztelésre kíváncsi leszek. P. A. segítőkész.

A csoportok még mindig nem véglegesek, kapni fogok egy ömlesztett angolos csoportot, így viszont nehéz lesz tartani az előre eltervezett mintát és tudásszintet. A Moodle elég szokatlan, kicsit fapados a dizájn meg az egész olyan esetlen, de sokkal több minden paraméterezhető, és nem olyan "poroszos", mint a Coospace. De a tesztfeltöltés bonyolultabb sokkal. Ma megszereztem a könyv teljes anyagát Word-ben, legalább szkennelni nem kell, épp elég lesz a feladatokat felvarázsolni az eszközökre.

Ma elkészült a 6-os csoport Moodle-oldala , kicsit fapadosnak néz ki. Kíváncsi vagyok milyen lesz, bár még a hallgatók nincsenek beregisztrálva. Kicsit el vagyok csúszva a feladatokkal: OptiVote-os kérdések, nyelvtani rész, Moodle-feladatok stb. A kérdések beimportása komoly feladat lesz. Holnap megyek Paksi Attilához ELTE-re Moodle-meetingre. És holnap jelentkezek a Heller Farkas főiskola konferenciájára.

Egy-két probléma felmerült, amit meg kell oldani: Az egyik csoportban elkezdtük az első kooperatív feladatot, egy közös szószedet kialakítását. Ehhez létrehoztunk Google fiókokat. Ez az elején sokáig tartott: az email-címeket mindenki beírta a tanári gépen Notepad-be, én onnan becopyztam (ennél egyszerűbb ötletem nem volt). Sajnos nem először fordul elő, hogy a Google dokumentum közös szerkesztéskor „lefagy” , belassul, és így képtelenség együtt szerkeszteni. Nem tudom mi az oka, mert minden más gyors és a gépek is jók. Az órákon a technika miatt nagyon sokat beszélek magyarul. Lehet, hogy németül kellene, de akkor meg lehet, hogy nem mindenki értené annyira. Megoldás lehetne, ha ezt a számítástechnikai kifejezéseket tartalmazó szótárt elérhetővé tennénk, és ezt a terminológiát használnánk. Ez előbb-utóbb a hallgatók nyelvtudására is visszahatna. Jelenleg szerintem mi kevesebbet beszélünk németül, mint a kontrollcsoport. Na ezt videós rögzítéssel, tanári interjúkkal remekül ki lehet...

Felborultak a csoportok, mindenhol összevissza ülnek a hallgatók, és van, aki még be sem jelentkezett. Majd ha lecsillapodtak a kedélyek, keresem Kárpáti Andreát , addig nem. A Neptunban azért gyűlnek az emberek, és este már a Coospace is beindult, feltöltöttem az első táblaképeket, kivéve az egyik csoportot, ahol Moodle lesz. Lassan sikerül a technikai eszközöket előteremteni: Mimio Xi , OptiVote már a Külkeren . Még el sem kezdődött a kutatás, de már egy nagyobb kutatásra gondolok. Remélem lesz folytatása.

Megvolt az első két óra. Egyik helyen 8-an, másik helyen 6-an vannak, de ez jellemző ilyenkor év elején.Gond lesz viszont a csoportok beosztásával, mert ütközések vannak, de mindenképpen tartani kell a mintát és a szintet. Az órákat B.E.-vel közösen tartottuk, én csak magyaráztam, ő tanított. Érdekes lenne egy team-teaching felállás (pl. nő-férfi?), persze csak ha nem zavarná az óra menetét. Ez csak egy elméleti felvetés, erre a mai felsőoktatásban nincs kapacitás és hagyománya sincs ennek a módszernek. Viszont az angolszász minta szerinti feladatmegosztás, tanár (tanít) és technikus/pedellus (kezeli a technikai eszközöket) működőképes lehetne. Az interaktív táblás feladatok egész jók lettek, de a jövőben figyelni kell arra, hogy a táblával ne frontálisan tanítsunk, és ne unatkozzanak a hallgatók. Sajnos az órán sok volt a frontális munka, több hallgatót is ki lehetett volna hívni. A frontális munka veszélyeire már a BGF Szakmai Füzetének 24. számában található publikációban is uta...

Ez a blog saját rendszeresen vezetett korábbi kutatási naplóm blogon való közzététele. Úgy gondoltam hasznos lehet, ha mások is belelátnak a kutatásba, kommentálhatják annak részleteit. A kurzuson portfólióértékelést használunk, melynek kialakításakor a Case Western Reserve University Business German kurzusán használt értékelése szolgált mintaként. A kutatás áttekintő táblázata: Overlook of the resarch: