PERSONALIZED LEARNING RELIABILITY OF TELL ME MORE: A DYNAMIC
APPROACH
CONFIABILIDADE DE APRENDIZAGEM PERSONALIZADA DE TELL ME MORE:
UMA ABORDAGEM DINÂMICA
FIABILIDAD DE APRENDIZAJE PERSONALIZADO DE TELL ME MORE: UN
ENFOQUE DINÁMICO
Maria SHOBEIRY
1
ABSTRACT: This study investigated the personalized learning reliability of Tell Me More
(TMM) (i.e. the extent to which two hypothetical identical learners receive the same level of
instructional and learning support while using a courseware) within the dynamic framework of
Tetzlaff, Schmiedek, and Brod (2020), in which personalized learning is considered to be the
most reliable and effective when learners characteristics are dynamically assessed during the
learning procedure and the instructions are provided to them accordingly. The lessons,
workshops, and activities of TMMs Dynamic mode were qualitatively analyzed and the results
revealed that in order for TMM to provide a reliable personalized learning, it should be
equipped with a placement test at the beginning of the course and a constant dynamic
assessment technology throughout the learning process. Relying on adaptive activities chosen
unsystematically by the learners themselves is not reliable in that most learners are neither
capable of professionally estimating their own level of language proficiency nor are they trained
to determine the required level of task difficulty for their activities. The results have
implications for courseware designers to consider placement tests and dynamic assessment
technology in their future designs to maximize the reliability of their personalized learning
programs.
KEYWORDS: Personalized learning reliability. Tell Me More. Dynamic assessment.
Placement test.
RESUMO: Este estudo investigou a confiabilidade de aprendizagem personalizada do Tell Me
More (TMM) (ou seja, a extensão em que dois alunos hipotéticos idênticos recebem o mesmo
nível de apoio instrucional e de aprendizagem ao usar um material didático) dentro da
estrutura dinâmica de Tetzlaff, Schmiedek e Brod (2020), em que a aprendizagem
personalizada é considerada a mais confiável e eficaz quando as características dos alunos
são avaliados dinamicamente durante o processo de aprendizagem e as instruções são
fornecidas a eles de acordo. As aulas, workshops e atividades do modo Dinâmico do TMM
foram analisadas qualitativamente e os resultados revelaram que para que o TMM proporcione
uma aprendizagem personalizada confiável, ele deve ser equipado com um teste de nivelamento
no início do curso e uma tecnologia de avaliação dinâmica constante ao longo do processo de
aprendizagem. Depender de atividades adaptativas escolhidas de forma não sistemática pelos
próprios alunos não é confiável, pois a maioria dos alunos não é capaz de estimar
1
PhD Candidate, Department of Applied Linguistics, University of Tehran, Tehran, Iran. ORCID:
https://orcid.org/0000-0002-2499-0366. E-mail: maria.shobeiry@ut.ac.ir
profissionalmente seu próprio nível de proficiência no idioma, nem são treinados para
determinar o nível necessário de dificuldade da tarefa para suas atividades. Os resultados têm
implicações para que os designers de material didático considerem os testes de colocação e a
tecnologia de avaliação dinâmica em seus projetos futuros para maximizar a confiabilidade de
seus programas de aprendizagem personalizados.
PALAVRAS-CHAVE: Confiabilidade de aprendizagem personalizada. Tell Me More.
Avaliação dinâmica. Teste de nivelamento.
RESUMEN: Este estudio investigó la confiabilidad del aprendizaje personalizado de Tell Me
More (TMM) (es decir, el grado en que dos estudiantes idénticos hipotéticos reciben el mismo
nivel de apoyo educativo y de aprendizaje mientras usan un material de curso) dentro del
marco dinámico de Tetzlaff, Schmiedek y Brod (2020) en el que se considera que el aprendizaje
personalizado es el más fiable y eficaz cuando las características de los alumnos se evalúan
dinámicamente durante el proceso de aprendizaje y se les proporcionan las instrucciones
correspondientes. Las lecciones, talleres y actividades del modo Dinámico de TMM se
analizaron cualitativamente y los resultados revelaron que para que TMM brinde un
aprendizaje personalizado confiable, debe estar equipado con una prueba de nivel al inicio del
curso y una tecnología de evaluación dinámica constante. durante todo el proceso de
aprendizaje. Depender de actividades adaptativas elegidas de forma no sistemática por los
propios alumnos no es fiable, ya que la mayoría de los alumnos no son capaces de estimar
profesionalmente su propio nivel de dominio del idioma ni están capacitados para determinar
el nivel requerido de dificultad de la tarea para sus actividades. Los resultados tienen
implicaciones para que los diseñadores de material educativo consideren las pruebas de
ubicación y la tecnología de evaluación dinámica en sus diseños futuros para maximizar la
confiabilidad de sus programas de aprendizaje personalizados.
PALABRAS CLAVE: Confiabilidad de aprendizaje personalizado. Tell Me More. Evaluación
dinâmica. Prueba de nivel.
Introduction
In the field of language teaching and learning, the use of technology and courseware has
started since 1960s. Appropriate integration of technology and pedagogy can support learning
effectively and engage learners in various ways since in the 21st century technology roots in
people' daily lives all over the globe (KENNING, 2007). Some courseware can provide
language learners with corrective feedback, proper instructional materials, authentic materials,
and cognitively and affectively engaging learning materials based on their algorithm (KRUSE
2004). Some language learning courseware can play the role of speaking partners, and some
can provide the chance of global learning all over the world through introducing suitable
speaking partners to each other via internet. These methods of learning are motivational to
language learners due to the possibility of personalization they provide during the learning
practice (LEE, 2008).
Among various available courseware, this study is mainly concerned with Tell Me
More (TMM hereafter) in that this courseware is easily available to Iranian language learners
and many Iranian language schools use it as a supplementary learning software in their
programs.
TMM is a virtual language teaching software which is offered in English, Spanish,
French, Italian, German, Dutch, Chinese, Japanese, and Arabic with 2000 hours of instructional
materials for each language. TMM could be considered as a supplementary learning program
to the main four skills of writing, reading, speaking, and listening through offering multimedia
videos, digitized sounds, and state-of-the-art speech recognition technology for teaching
pronunciation.
An intriguing functionality of TMM (version 10) is its dynamic mode which is defined
as the adjustability of the software according to the users' needs, interests, educational goals,
and personal profiles. The adaptation takes place during the language learning activities by
constantly analyzing the users' responses to the questions and accordingly adjusting the next
activities with the user's needs. This is a form of personalization in language learning which
allows learners to progress at their own pace of learning without feeling any pressure to keep
up with the other learners (KUKULSKA-HULME, 2016; TOMLINSON; MASUHARA,
2018). Through providing personally suitable teaching materials for language learners and
providing feedback TMM can turn traditional dependent learners into autonomous language
students (BUNTING, 2010).
There are various types of activities in TMM workshops to provide a wide range of
learning opportunities for the users. The most tangible activities in TMM comprise the
following:
Interactive dialogue;
Sentence pronunciation;
Word pronunciation;
Phonetic exercises;
Word association;
Word search;
Fill-in the blanks;
Words and functions;
Words and topics;
Grammar practice;
Mystery phrase;
Crossword puzzle;
Word order;
Dictation;
Text transformation;
Written expression;
Video and questions.
The extent of TMM (version 10) courses are very vast in that each course contains 1200
exercises which are categorized in 35 types of activities. The main features of educational
procedures on TMM include:
Interactive conversations with 15000 words and 8000-word glossary;
Grammar and 700 conjugated words using simple animated explanations;
A detailed diary of learners' progress;
Personalized learning journey through adjustable activities.
Strengths of the TMM courseware have been counted by Bunting (2010) as:
1. The operational system of the software is smooth and user-friendly specifically
concerning the video and sound components;
2. The various types of activities are inspiring and motivating to language learners;
3. The program works well on Windows and mobile phones both Android and iOS;
4. Switching among languages are easy in this program;
5. The program supports six languages including Dutch, English, French, German,
Spanish, and Italian;
6. Learners face a great deal of repetition of words during various activities;
7. The program works with both mouse and keyboard which makes it easier for
various users to enjoy the program;
8. The activities are very straight forward and instructions are available step-by step.
Abovementioned statements were some general descriptions about the main
characteristics of TMM program. In the following section some studies on various aspects of
TMM are reviewed to achieve a clearer picture of the role and effectiveness of this courseware
in the realm of language learning.
Review of the related literature
Despite the huge load of studies performed on various aspects of computer assisted
language learning in the literature, there is limited number of studies incorporating TMM.
Studies on TMM in the current literature could be categorized into two main groups: 1) the
research in which the main focus was on the perception of the users of TMM (e.g., HASHIM;
YUNUS, 2010; EPINOSA, 2013; UTHAYAKUMARAN; KASSIM, 2018); and 2) the studies
which investigated the effect of TMM on various aspects of learners' language proficiency
which are usually limited in scope (e.g., PEREZ, 2014; AYULISTYA ,2016).
The study of Hashim and Yunus (2010) is an example of surveying the users of TMM
about their perceptions of TMM effectiveness and usefulness in learning settings. In this study
the attitude of a number of ESL college lecturers in Malaysia toward the ease of use, usefulness,
and suitability of TMM was explored through performing several semi-structured interviews.
The results revealed a positive attitude of the Malaysian ESL teachers toward the ease of use,
usefulness, and suitability of TMM. Nonetheless, they found that TMM is not perceived to be
a suitable courseware for teaching and learning of writing. Another study in this realm is a
mixed-method design research conducted by Uthayakumaran & Kassim (2018) on students'
perception of the effectiveness of TMM as a pronunciation learning software. In this study the
main focus was on vocabulary acquisition and pronunciation development of 28 university
students. The researchers also demonstrated a mixed perception of the participants about the
effectiveness of using TMM as a pronunciation learning software. Similar to the previous
studies, the study of Epinosa (2013) illustrated a positive attitude of the group of university
teachers in Spain toward utilizing TMM who employed it for a six-month period of instruction.
The results of this study revealed a moderate to low capacity of the program in improving
learners' communication skills.
Gyamfi and Sukseemuang (2017) studied the perceptions, practices, and achievement
of 340 EFL learners who used TMM as an instructional tool through. They employed
questionnaire and semi-structured focus group interview to collect data and demonstrated a
moderate level of participants' positive perception of TMM in learning English. Furthermore,
the analysis of the participants' scores revealed an improvement in learners at elementary and
advanced levels of language proficiency, while, strangely, intermediate learners showed a drop
in their achievement after using TMM. In another study Gyamfi and Sukseemuang (2017)
investigated factors affecting EFL learners' use of TMM and demonstrated a positive attitude
of the EFL learners toward using TMM in that TMM was reported by the learners to be
remarkably motivational and positively influential in their pre-communication skills
improvement.
In the realm of studies that explored the effectiveness of TMM in language achievement
the study of Ayulistya (2016) is of importance in that she investigated the effect of TMM on 20
high school students' pronunciation improvement and also explored their attitude toward using
it. Her results indicated a significant effect of TMM on improving the learners' pronunciation
with displaying 63% of the participants having held a positive attitude toward employing TMM
as a teaching service. The interesting point in the literature on TMM is that this courseware is
found to be effective in improving speaking and listening skills of its users; however, reading
and writing skills are not reported to be affected by this courseware as much as expected. This
is demonstrated in the study of Perez (2014) on the effectiveness of TMM in communication
skills of 108 paramedical and non-paramedical students. The results revealed a high level of
effectiveness of TMM in improving the listening and speaking skills of the participants; while
TMM was found to be less effective in developing their writing and reading skills.
What is missing from the literature on TMM is the lack of studies on the effectiveness
of personalization and the reliability of personalized learning in TMM as is claimed by its
producers. There are three modes for navigation in TMM including: Free-to-Roam, Guided,
and Dynamic in which language learners can select the type of activities and the level of
difficulty of the tasks they want to perform. The Dynamic mode of the program is the option
that provides personalized learning through modifying users' choices according to their
previous results in other activities and their interests, needs, objectives in their personal profiles.
Personalized learning is an educational approach within the theoretical framework of
Gardner's (1983) multiple intelligence aiming at customizing learning procedures according to
each learner's strengths, needs, objectives, skills, and interests. In this approach each student is
provided with a learning plan which is mainly based on what they know and how they learn
best (LEFEVRE; JEAN-DAUBIAS; GUIN; 2009). Despite the promising results expected from
this approach, applying personalization is extremely difficult in traditional classroom
environments. Modifying activities according to each learner's needs and goals could be
overwhelming for any teacher; therefore, personalization is more practical in private tutoring
sessions or virtual E-learning settings (THIYAGARAJAN, 2020). In setting up a personalized
educational environment, providing appropriate instructional methods and suitable teaching
materials occurs through employing dynamic assessment and providing constructive feedback
(POLLARD; JAMES, 2004). Therefore, personalized education is about how learners learn
rather than what they learn (TOMLINSON, 2013).
In this study, the concept of dynamic approach to language learning is related to
noticing constant changes in language learners' abilities and reacting to these changes
accordingly during instructional procedures. This involves employing consistent dynamic
assessment during the instructional process in order to discover learners' new educational needs
and accordingly design suitable instructional plans throughout the teaching practice
(TETZLAFF; SCHMIEDEK; BROD, 2020). Dynamic assessment is an interactive assessment
in education which is based on the sociocultural theory of mind proposed by Vygotsky (1978).
It identifies traits, abilities, or characteristics that a student has already mastered (the Zone of
Actual Development) and determines the learner's abilities in performing a task with the help
and support of a more knowledgeable person (within the Zone of Proximal Development). In
other words, dynamic assessment determines the extent to which a learner needs to receive
educational support during the learning procedure to achieve an educational goal.
Tetzlaff et al. (2020) proposed three ways in which learners' dynamic changes take
place:
1. Change in response to an intervention even in the form of a short-term
fluctuation. For example, changes in attitude toward a topic or metacognitive
strategies used by learners;
2. Changes in response to the same instruction in the same learner in various times.
This means that the same person reacts to the same instruction differently from
time to time;
3. Changes in response to the same instruction among various learners in time;
meaning, various learners react to the same instruction differently and this
difference even varies from time to time according to the contextual features and
internal factors of the learners.
Considering these three main ways of constant changes in learners, only applying
continuous dynamic assessment at different learning timescales can determine the
appropriateness of the instructional design and suitability of the planned activities during the
personalized learning procedure (TETZLAFF et al., 2020). It is worth mentioning that
instruction in this paper is used as an umbrella term meaning any interaction between learning
and teaching agents that has direct or indirect consequence in the learning procedure.
Furthermore, “personalization” in this research is used as a synonymous with
“individualization,” meaning any adjustment of instructional practice is designed for a specific
learner; therefore, it should include specified forms of assessment and instruction for each
learner according to their activities and personal profile.
I define personalized learning reliability in this study as the degree to which two
hypothetical identical learners with the same level of language proficiency and personal
preferences will receive the same level of instruction and learning support from the courseware.
Therefore, considering the abovementioned characteristics of TMM and the claimed capacity
of the personalized learning functionality of it, this study is an attempt to answer to the
following research question:
Is personalized learning in dynamic mode of TMM reliable from a dynamic
approach to personalized learning?
Method
Data
To evaluate the personalized learning reliability of TMM (version 10), the lessons,
activities, and workshops provided by the dynamic mode of TMM for three language learners
at elementary, intermediate, and advanced levels were qualitatively analyzed as the data for this
study.
Evaluation framework
The theoretical framework of Tetzlaff et al. (2020) is employed as the evaluation
framework for personalized learning effectiveness and reliability in this study. In this
framework, personalized learning is proposed to be the most reliable and effectual when
relevant characteristics of learners are measured repeatedly throughout the learning procedure
in a dynamic framework. This is the main outline of dynamic approach to personalized learning
which includes providing opportunities for instructional adaptation, setting appropriate learning
goals, and reacting to affective-motivational fluctuations of the learners.
According to Tetzlaff et al. (2020) reliable and effective personalization includes three
steps as follows:
Step 1Initial assessment of learner characteristics which includes systematically
assessing learners' features that are related to a specific learning procedure in order to establish
a student profile at the outset of the course.
Step 2Instructional design which fits learners' profiles the most in terms of their
educational needs and goals.
Step 3Progress assessment which includes using task performance analysis and
embedded dynamic assessment to update the learners' profiles based on their constant
progression.
As is shown in Figure 1, in this framework the steps 2 and 3 are extremely
interconnected and support each other throughout the personalized learning procedure.
Figure1. Theoretical framework for personalized learning evaluation
Source: Tetzlaff et al., 2020
Data analysis and results
The profiles of three language learners are qualitatively analyzed within the framework
of Tetzlaff et al. (2020) to indicate the personalized learning reliability of TMM.
The first noticeable fact in evaluating the program is the lack of placement test at the
beginning step of the learning procedure. TMM provides learners with the option of making
personal profiles before starting the learning process in which learners can indicate their own
level of language proficiency and the level of task difficulty by checking a box enumerated
from 1 to 10+. Then the learners are guided to choose among the three modes of Free to roam,
Guided, and Dynamic. All the lessons and activities in any of these three modes will be matched
with the level of proficiency that the learner registered in at the beginning step; however, the
main problem with this type of personalization is that it completely relies on the learners'
unprofessional estimate of their own level of language proficiency and cannot be considered
reliable.
I start with the profile of a twelve-year-old female elementary language learner. Since
there is no placement test in TMM, she had to estimate her own level of language proficiency
to be able to continue with making a profile. This was an overwhelming task for a twelve-year
old beginning user of the courseware; thus, she was asked to take the Cambridge online
placement test for young learners to indicate her level of language proficiency. The results of
the Cambridge placement test showed that she was at A2 level of language proficiency
according to Common European Framework of Reference for Languages (CEFR). Another
challenge that a learner faces in using TMM is to select the level of task difficulty which is
leveled from 1 to 10+ (shown in figure 2). In this pathway, there is no assessment of any kind
or any form of direction to show how to estimate the appropriate level of difficulty for the
various users. Therefore, personalization, up to this point, is mainly based on unprofessional
estimations of the users without any systematic assessment of the users' educational needs or
goals.
Figure 2. The table of content difficulty for personalized adjustment in TMM
Source: Author’s archive
The next step is to select the objectives of learning and personalizing it according to
knowledge (shown in Figure 3) and according to skill (shown in Figure 4) through indicating
its level of difficulty. Again, here there is no systematic assessment for indicating the most
suitable level of difficulty in each skill for each learner. Learners unsystematically select the
level of difficulty of their tasks as part of their personalized learning procedure, which could be
negatively influential and demotivating to them if the tasks' level of difficulty does not match
their educational needs and goals (ELLIS, 2016; TOMLINSON, 2013b).
Figure 3. Selecting learning objectives and personalizing it in TMM according to knowledge
Source: Author’s archive
Figure 4. Selecting learning objectives and personalizing it in TMM according to skill
Source: Author’s archive
Furthermore, analyzing this learner's profile showed that when she selected a task's level
of difficulty much higher than her suitable language proficiency level, the reaction of the
program is to provide a task with a one or two levels lower than the level of the previous activity
while in some cases it was needed for the learner to continue with at least 5 or 6 levels below
the previous chosen task. This reveals the importance of dynamic assessment during
instructions in personalized learning programs. Since TMM is not equipped with a constant
dynamic assessment system, most of its activities neither match with the users' current level of
language proficiency nor do they fulfill the users' educational needs. Although it is claimed by
TMM producers that the Dynamic mode of the courseware defines activities and instructions
according to the learners' needs (Figure 5), in reality there is no systematic matching system in
TMM's Dynamic mode to ensure the reliability of the personalized learning of the program.
Figure 5. Dynamic mode of TMM
Source: Author’s archive
The second analysis is related to the profile of a 32-year-old man in the intermediate
level of language proficiency (B2) and the third profile was related to a 41-year-old female pre-
advanced user of TMM (C1). The noticeable point in analyzing the intermediate and advanced
profiles was that TMM considers learner's objective progress and task completion (shown in
Figure 6) as a determining factor for the level of success of the learning procedure. This is
obviously a big flaw. Without any systematic assessment and only by relying on completing
some tasks, which somehow could have taken place randomly, the level of language
achievement cannot be reported as a success or failure. Moreover, task completion, without a
systematic dynamic assessment, cannot be a rational and proper determining factor for
identifying the learner's needs and their required instructions to attain their goals (TETZLAFF,
et al. 2020).
Figure 6. Task performance evaluation in TMM
Source: Author’s archive
The role of need analysis and progress evaluation is even more obvious in intermediate
and pre-advanced levels of language proficiency in that, at these levels, the main focus of
learning is on developing effective communication rather than focusing on linguistic features;
therefore, the role of receiving constructive feedback according to a systematic dynamic
assessment is remarkably obvious which found to be missing in TMM.
Discussion
Personalization in language learning has been emphasized in the literature as an
effective method of instruction (POLLARD; JAMES, 2004; BERNARD, 2005; TOMLINSON,
2013; TETZLAFF et al., 2020) and TMM is one of the learning programs that provides its users
with a personalized learning environment. Although most studies in the literature demonstrated
the learners' positive attitude toward using TMM (e.g., HASHIM; YUNUS; 2010; NIELSON,
2011; EPINOSA, 2013; UTHAYAKUMARAN; KASSIM, 2018) and its effectiveness on
various aspects of language learning (e.g., PEREZ, 2014; AYULISTYA, 2016; GYAMFI;
SUKSEEMUANG, 2017) the personalized learning reliability of this courseware has not been
explored before this study.
Personalized learning reliability is defined in this research as the degree to which two
hypothetical identical learners with the same level of language proficiency and personal
preferences will receive the same level of instruction and learning support from the courseware.
With respect to this definition and the results of data analysis, TMM was found to be not of
high personalized learning reliability due to the lack of two types of assessment: 1) a placement
test at the beginning of the learning procedure; and 2) dynamic assessments throughout the
learning procedure. The results are achieved within the theoretical framework of Tetzlaff et al.
(2020) in which the reliability and effectiveness of a personalized learning program will be
achieved through constant dynamic assessment in which learners' level of proficiency and
educational needs are measured repeatedly throughout the learning procedure.
Conclusion
TMM is a practical and motivating courseware in educational programs; however, in
order to increase the personalized learning reliability of it, TMM should be equipped with a
placement test at the beginning of the learning procedure and a constant dynamic assessment
technology throughout the whole learning process and instruction. Relying on adaptive
activities which are chosen unsystematically by the learners themselves, which is the case with
the current version of the TMM program, is not reliable, since most language learners are
neither capable of professionally estimating their own level of language proficiency at the
beginning of the course nor are they trained to determine the required level of task difficulty
for each lesson and activity throughout the course. The results have implications for courseware
designers to consider placement tests and dynamic assessment technology in their future
designs to maximize the reliability and effectiveness of their personalized learning programs.
REFERENCES
AYULISTYA, T. Improving students’ pronunciation through Tell Me More pronunciation
software. Indonesian EFL Journal, 2(2), 110-116. 2016.
BUNTING, J. Tell Me More software program. Teaching English as a second or foreign
language, 8(1), 2-23. 2010.
DEPARTMENT FOR EDUCATION AND SKILLS (DfES). A National Conversation
about Personalized Learning. Nottingham: DfES. 2004.
DOLOG, P.; HENZE, N.; NEJDL, W.; SINTEK, M. Personalization in distributed e-learning
environments. Proceedings of the 13th International World Wide Web Conference on
Alternate Track Papers & Posters - WWW Alt. ’04. 2004. DOI:
10.1145/1013367.1013395
ELLIS, R. Language teaching materials as work plans: An SLA perspective. In: B. Tomlinson
(Ed.), SLA research and materials development for language learning (pp. 203-218). New
York: Routledge. 2016.
EPINOSA, B. Learning English using Tell Me More: Perspectives of university teaching
staff as users of the online application. 2013. Available:
https://www.researchgate.net/publication/278171803Learning. Access: 01 May 2017.
GARDNER, H. Frames of Mind: the theory of multiple intelligences. Heinemann. 1983.
GYAMFI, G.; SUKSEEMUANG, P. EFL Leaners' perceptions, Practices and Achievement
with the Online Learning Program Tell Me More. Contemporary Educational Technology,
8(4) 338-358. 2017.
GYAMFI, G.; SUKSEEMUANG, P. Factors affecting EFL learners’ use of the computer
language learning program Tell Me More. International Journal of Instructional
Technology and Distance Learning, 14(2), 69-79. 2017.
HASHIM, H.; YUNUS, M. M. Learning via ICT: TELL ME MORE. International Journal
of Learning, 17, 211-224. 2010.
KENNING, M. ICT and Language Learning. From print to the mobile phone. New York:
Palgrave MacMillan. 2007.
KUKULSKA-HULME, A. Personalization of language learning through mobile
technologies: Part of the Cambridge Papers in ELT series. Cambridge: Cambridge University
Press. 2016.
KU, O.; HOU, C.-C.; CHEN, S. Y. Incorporating customization and personalization into
game-based learning: A cognitive style perspective. Computers in Human Behavior, 65,
359368. 2016. DOI: 10.1016/j.chb.2016.08.040
KRUSE, K. CD-Roms for e-learning: Advantages and disadvantages. 2004. Available:
www.e-learningguru.com/articles/art1. Access: 19 Nov. 2008.
LEE, S. T. Teaching Pronunciation of English Using Computer Assisted Learning Software:
An Action Research Study in an Institute of Technology in Taiwan. English Language and
Literature Studies, 3(1), 219. 2008.
LEFEVRE, M.; JEAN-DAUBIAS, S.; GUIN, N. Generation of pencil and paper exercises to
personalize learners' work sequences: typology of exercises and meta-architecture for
generators. World Conference on E-Learning in Corporate, Government, Healthcare,
and Higher Education, 28432848. 2009.
PEREZ, A. Effectiveness of Tell Me More in enhancing communication skills. Asia Pacific
Journal of Multidisciplinary Research, 2(6), 164-172. 2014.
POLLARD, A.; JAMES, M. Personalised Learning: A Commentary by the Teaching and
Learning Research Programme. London: Economic and Social Research Council. 2004.
THIYAGARAJAN, G. Personalization and Visual Representation through Learning
Analytics: A Meaningful Approach to Guide Self-Directed Learners. International Journal
of Psychosocial Rehabilitation, 24(5), 32983303. 2020. DOI:
https://doi.org/10.37200/ijpr/v24i5/pr202037
UTHAYAKUMARAN, A.; KASSIM, H. Student Perceptions on the Effectiveness of Using
Tell Me More for Pronunciation Learning. International Journal of Language Education
and Applied Linguistics, 08 (2) 83-91. 2018.
TETZLAFF, L.; SCHMIEDEK, F.; BROD, G. Developing Personalized Education: A
Dynamic Framework. Educational Psychology Review. 2020. DOI:
https://doi.org/10.1007/s10648-020-09570-w
TOMLINSON, B. Developing principled frameworks for materials development. In: B.
Tomlinson (Ed.), Developing materials for language teaching (2nd ed., pp. 95-118).
London: Bloomsbury. 2013.
TOMLINSON, B.; MASUHARA, H. The complete guide to the theory and practice of
materials development for language learning. Hoboken, NJ: WILEY Blackwell. 2018.
VYGOTSKY, L. S. Mind in Society: The Development of Higher Psychological Processes
(M. Cole, V. John-Steiner, S. Scribner, & E. Souberman, Eds.) Cambridge, MA: Harvard
University Press. 1978.
How to reference this article
SHOBEIRY, M. Personalized learning reliability of tell me more: a dynamic approach. Rev.
EntreLínguas, Araraquara, v. 7, n. esp. 4, e021068, Nov 2021. e-ISSN: 2447-3529.
DOI: https://doi.org/10.29051/el.v7iesp.4.15604
Submitted: 09/02/2022
Required revisions: 20/05/2022
Approved: 05/09/2022
Published: 10/11/2022
CONFIABILIDADE DE APRENDIZAGEM PERSONALIZADA DE TELL ME
MORE: UMA ABORDAGEM DINÂMICA
PERSONALIZED LEARNING RELIABILITY OF TELL ME MORE: A DYNAMIC
APPROACH
FIABILIDAD DE APRENDIZAJE PERSONALIZADO DE TELL ME MORE: UN
ENFOQUE DINÁMICO
Maria SHOBEIRY
2
RESUMO: Este estudo investigou a confiabilidade de aprendizagem personalizada do Tell Me
More (TMM) (ou seja, a extensão em que dois alunos hipotéticos idênticos recebem o mesmo
nível de apoio instrucional e de aprendizagem ao usar um material didático) dentro da estrutura
dinâmica de Tetzlaff, Schmiedek e Brod (2020), em que a aprendizagem personalizada é
considerada a mais confiável e eficaz quando as características dos alunos são avaliados
dinamicamente durante o processo de aprendizagem e as instruções são fornecidas a eles de
acordo. As aulas, workshops e atividades do modo Dinâmico do TMM foram analisadas
qualitativamente e os resultados revelaram que para que o TMM proporcione uma
aprendizagem personalizada confiável, ele deve ser equipado com um teste de nivelamento no
início do curso e uma tecnologia de avaliação dinâmica constante ao longo do processo de
aprendizagem. Depender de atividades adaptativas escolhidas de forma não sistemática pelos
próprios alunos não é confiável, pois a maioria dos alunos não é capaz de estimar
profissionalmente seu próprio nível de proficiência no idioma, nem são treinados para
determinar o nível necessário de dificuldade da tarefa para suas atividades. Os resultados têm
implicações para que os designers de material didático considerem os testes de colocação e a
tecnologia de avaliação dinâmica em seus projetos futuros para maximizar a confiabilidade de
seus programas de aprendizagem personalizados.
PALAVRAS-CHAVE: Confiabilidade de aprendizagem personalizada. Tell Me More.
Avaliação dinâmica. Teste de nivelamento.
ABSTRACT: This study investigated the personalized learning reliability of Tell Me More
(TMM) (i.e. the extent to which two hypothetical identical learners receive the same level of
instructional and learning support while using a courseware) within the dynamic framework of
Tetzlaff, Schmiedek, and Brod (2020), in which personalized learning is considered to be the
most reliable and effective when learners’ characteristics are dynamically assessed during the
learning procedure and the instructions are provided to them accordingly. The lessons,
workshops, and activities of TMM’s Dynamic mode were qualitatively analyzed and the results
revealed that in order for TMM to provide a reliable personalized learning, it should be
equipped with a placement test at the beginning of the course and a constant dynamic
assessment technology throughout the learning process. Relying on adaptive activities chosen
unsystematically by the learners themselves is not reliable in that most learners are neither
2
Candidata ao PhD, Departamento de Linguística Aplicada, Universidade do Teerã, Teerã, Irã. ORCID:
https://orcid.org/0000-0002-2499-0366. E-mail: maria.shobeiry@ut.ac.ir
capable of professionally estimating their own level of language proficiency nor are they
trained to determine the required level of task difficulty for their activities. The results have
implications for courseware designers to consider placement tests and dynamic assessment
technology in their future designs to maximize the reliability of their personalized learning
programs.
KEYWORDS: Personalized learning reliability. Tell Me More. Dynamic assessment.
Placement test.
RESUMEN: Este estudio investigó la confiabilidad del aprendizaje personalizado de Tell Me
More (TMM) (es decir, el grado en que dos estudiantes idénticos hipotéticos reciben el mismo
nivel de apoyo educativo y de aprendizaje mientras usan un material de curso) dentro del
marco dinámico de Tetzlaff, Schmiedek y Brod (2020) en el que se considera que el aprendizaje
personalizado es el más fiable y eficaz cuando las características de los alumnos se evalúan
dinámicamente durante el proceso de aprendizaje y se les proporcionan las instrucciones
correspondientes. Las lecciones, talleres y actividades del modo Dinámico de TMM se
analizaron cualitativamente y los resultados revelaron que para que TMM brinde un
aprendizaje personalizado confiable, debe estar equipado con una prueba de nivel al inicio del
curso y una tecnología de evaluación dinámica constante. durante todo el proceso de
aprendizaje. Depender de actividades adaptativas elegidas de forma no sistemática por los
propios alumnos no es fiable, ya que la mayoría de los alumnos no son capaces de estimar
profesionalmente su propio nivel de dominio del idioma ni están capacitados para determinar
el nivel requerido de dificultad de la tarea para sus actividades. Los resultados tienen
implicaciones para que los diseñadores de material educativo consideren las pruebas de
ubicación y la tecnología de evaluación dinámica en sus diseños futuros para maximizar la
confiabilidad de sus programas de aprendizaje personalizados.
PALABRAS CLAVE: Confiabilidad de aprendizaje personalizado. Tell Me More. Evaluación
dinâmica. Prueba de nivel.
Introdução
No campo do ensino e aprendizagem de línguas, o uso de tecnologia e de material
didático começou desde a década de 1960. A integração adequada entre tecnologia e pedagogia
pode apoiar a aprendizagem de forma eficaz e envolver os alunos de várias maneiras, uma vez
que no culo XXI a tecnologia se enraíza na vida diária das pessoas em todo o mundo
(KENNING, 2007). Além disso, alguns materiais didáticos podem fornecer um feedback
corretivo aos alunos de idiomas, bem como materiais instrucionais adequados, autênticos e de
aprendizagem cognitiva e afetivamente envolventes com base em seu algoritmo (KRUSE
2004). Alguns cursos de aprendizado de idiomas podem, ainda, desempenhar o papel de
parceiros de fala, e alguns podem fornecer a chance de aprendizado global em todo o mundo,
apresentando parceiros de fala adequados uns aos outros via internet. Esses métodos de
aprendizagem são motivadores para os aprendizes de línguas devido à possibilidade de
personalização que proporcionam durante a prática de aprendizagem (LEE, 2008).
Entre vários materiais didáticos disponíveis, este estudo se preocupa principalmente
com o Tell Me More (TMM daqui em diante), pois este material didático está facilmente
disponível para alunos de idiomas iranianos e muitas escolas de idiomas iranianos o usam como
um software de aprendizado complementar em seus programas.
O TMM é um software virtual de ensino de idiomas que é oferecido em inglês, espanhol,
francês, italiano, alemão, holandês, chinês, japonês e árabe com 2.000 horas de materiais
instrucionais para cada idioma. O TMM pode ser considerado como um programa de
aprendizado complementar às quatro principais habilidades de escrita, leitura, fala e audição,
oferecendo vídeos multimídia, sons digitalizados e tecnologia de reconhecimento de fala de
última geração para o ensino de pronúncia.
Uma funcionalidade intrigante do TMM (versão 10) é seu modo dinâmico que é definido
como a capacidade de ajuste do software de acordo com as necessidades, interesses, objetivos
educacionais e perfis pessoais dos usuários. A adaptação ocorre durante as atividades de
aprendizagem do idioma, analisando constantemente as respostas dos usuários às perguntas e
ajustando as próximas atividades de acordo com as necessidades do usuário. Esta é uma forma
de personalização na aprendizagem de línguas que permite que os alunos progridam em seu
próprio ritmo de aprendizagem sem sentir qualquer pressão para acompanhar os outros alunos
(KUKULSKA-HULME, 2016; TOMLINSON; MASUHARA, 2018). Ao fornecer materiais de
ensino pessoalmente adequados para os alunos de línguas e fornecer feedback, o TMM pode
transformar os alunos dependentes tradicionais em alunos de línguas autônomos (BUNTING,
2010).
Existem vários tipos de atividades nas oficinas de TMM para fornecer uma ampla gama
de oportunidades de aprendizado para os usuários. As atividades mais tangíveis no TMM
incluem o seguinte:
- Diálogo interativo;
- Pronúncia de frases;
- Pronúncia de palavras;
- Exercícios fonéticos;
- Associação de palavras;
- Procura de palavras;
- Preencha os espaços em branco;
- Palavras e funções;
- Palavras e tópicos;
- Prática gramatical;
- Frase de mistério;
- Palavras cruzadas;
- Ordem das palavras;
- Ditado;
- Transformação de texto;
- Expressão escrita;
- Vídeo e perguntas.
A extensão dos cursos do TMM (versão 10) é muito vasta, pois cada curso contém 1200
exercícios que são categorizados em 35 tipos de atividades. As principais características dos
procedimentos educacionais em TMM incluem:
Conversas interativas com 15.000 palavras e glossário de 8.000 palavras;
Gramática e 700 palavras conjugadas com explicações animadas simples;
Um diário detalhado do progresso dos alunos;
Jornada de aprendizagem personalizada através de atividades ajustáveis.
Os pontos fortes do material didático TMM foram contados por Bunting (2010) como:
9. O sistema operacional do software é suave e fácil de usar especificamente no que
diz respeito aos componentes de vídeo e som;
10. Os vários tipos de atividades são inspiradores e motivadores para os alunos de
línguas;
11. O programa funciona bem em Windows e telefones celulares Android e iOS;
12. Alternar entre idiomas é fácil neste programa;
13. O programa suporta seis idiomas, incluindo holandês, inglês, francês, alemão,
espanhol e italiano;
14. Os alunos enfrentam muita repetição de palavras durante várias atividades;
15. O programa funciona com mouse e teclado, o que torna mais fácil para vários
usuários desfrutarem do programa;
16. As atividades são muito diretas e as instruções estão disponíveis passo a passo.
As declarações acima foram algumas descrições gerais sobre as principais
características do programa TMM. Na seção seguinte, alguns estudos sobre vários aspectos do
TMM são revisados para obter uma imagem mais clara do papel e da eficácia deste material
didático no domínio do aprendizado de idiomas.
Revisão de literatura relacionada
Apesar da enorme carga de estudos realizados sobre vários aspectos da aprendizagem
de línguas assistida por computador na literatura, um número limitado de estudos
incorporando TMM. Os estudos sobre TMM na literatura atual podem ser categorizados em
dois grandes grupos: 1) as pesquisas em que o foco principal foi a percepção dos usuários de
TMM (e.g., HASHIM; YUNUS, 2010; EPINOSA, 2013; UTHAYAKUMARAN; KASSIM,
2018); e 2) os estudos que investigaram o efeito da TMM em vários aspectos da proficiência
linguística dos aprendizes que geralmente são limitados em escopo (e.g., PEREZ, 2014;
AYULISTYA ,2016).
O estudo de Hashim e Yunus (2010) é um exemplo de levantamento de usuários de
TMM sobre suas percepções de eficácia e utilidade de TMM em ambientes de aprendizagem.
Neste estudo, a atitude de vários professores universitários de Inglês como Segunda Língua
(ESL) na Malásia em relação à facilidade de uso, utilidade e adequação do TMM foi explorada
através da realização de várias entrevistas semiestruturadas. Os resultados revelaram uma
atitude positiva dos professores de ESL da Malásia em relação à facilidade de uso, utilidade e
adequação do TMM. No entanto, eles descobriram que o TMM não é percebido como um
material didático adequado para o ensino e aprendizagem da escrita. Outro estudo nesse campo
é uma pesquisa de design de métodos mistos realizada por Uthayakumaran & Kassim (2018)
sobre a percepção dos alunos sobre a eficácia do TMM como um software de aprendizado de
pronúncia. Neste estudo, o foco principal foi a aquisição de vocabulário e o desenvolvimento
da pronúncia de 28 estudantes universitários. Os pesquisadores também demonstraram uma
percepção mista dos participantes sobre a eficácia do uso do TMM como um software de
aprendizado de pronúncia. Semelhante aos estudos anteriores, o estudo de Epinosa (2013)
ilustrou uma atitude positiva do grupo de professores universitários na Espanha em relação à
utilização do TMM que o empregaram por um período de seis meses de instrução. Os resultados
deste estudo revelaram uma capacidade moderada a baixa do programa em melhorar as
habilidades de comunicação dos alunos.
Gyamfi e Sukseemuang (2017) estudaram as percepções, práticas e realizações de 340
alunos de EFL que usaram o TMM como uma ferramenta de ensino. Eles empregaram um
questionário e uma entrevista de grupo focal semi-estruturada para coletar dados e
demonstraram um nível moderado de percepção positiva dos participantes sobre TMM no
aprendizado de inglês. Além disso, a análise dos escores dos participantes revelou uma melhora
nos alunos nos níveis elementar e avançado de proficiência linguística, enquanto,
estranhamente, os alunos intermediários mostraram uma queda em seu desempenho após o uso
do TMM. Em outro estudo, Gyamfi e Sukseemuang (2017) investigaram fatores que afetam o
uso do TMM pelos alunos de EFL e demonstraram uma atitude positiva dos alunos de EFL em
relação ao uso do TMM, pois o TMM foi relatado pelos alunos como notavelmente
motivacional e positivamente influente em sua pré-comunicação aprimoramento de
habilidades.
No campo dos estudos que exploraram a eficácia do TMM no aprendizado da
linguagem, o estudo de Ayulistya (2016) é importante, pois investigou o efeito do TMM na
melhoria da pronúncia de 20 alunos do ensino médio e também explorou sua atitude em relação
ao uso. Seus resultados indicaram um efeito significativo do TMM na melhoria da pronúncia
dos alunos, mostrando que 63% dos participantes tiveram uma atitude positiva em relação ao
emprego do TMM como um serviço de ensino. O ponto interessante na literatura sobre TMM
é que este material didático é considerado eficaz para melhorar as habilidades de fala e escuta
de seus usuários; no entanto, as habilidades de leitura e escrita não são afetadas por este material
didático tanto quanto o esperado. Isso é demonstrado no estudo de Perez (2014) sobre a eficácia
do TMM nas habilidades de comunicação de 108 estudantes paramédicos e não paramédicos.
Os resultados revelaram um alto nível de eficácia do TMM na melhoria das habilidades de
escuta e fala dos participantes; enquanto o TMM foi considerado menos eficaz no
desenvolvimento de suas habilidades de escrita e leitura.
O que está faltando na literatura sobre TMM é a falta de estudos sobre a eficácia da
personalização e a confiabilidade do aprendizado personalizado em TMM como é reivindicado
por seus produtores. Existem três modos de navegação no TMM, incluindo: Livre-para-
explorar; Guiado; e Dinâmico, nos quais os alunos de idiomas podem selecionar o tipo de
atividades e o nível de dificuldade das tarefas que desejam realizar. A modalidade Dinâmica
do programa é a opção que proporciona um aprendizado personalizado por meio da modificação
das escolhas dos usuários de acordo com seus resultados anteriores em outras atividades e seus
interesses, necessidades, objetivos em seus perfis pessoais.
A aprendizagem personalizada é uma abordagem educacional dentro do arcabouço
teórico da inteligência múltipla de Gardner (1983) que visa customizar os procedimentos de
aprendizagem de acordo com os pontos fortes, necessidades, objetivos, habilidades e interesses
de cada aprendiz. Nesta abordagem, cada aluno recebe um plano de aprendizagem que se baseia
principalmente no que sabe e como melhor aprende (LEFEVRE; JEAN-DAUBIAS; GUIN;
2009). Apesar dos resultados promissores esperados com essa abordagem, a aplicação da
personalização é extremamente difícil em ambientes de sala de aula tradicionais. Modificar as
atividades de acordo com as necessidades e objetivos de cada aluno pode ser esmagador para
qualquer professor; portanto, a personalização é mais prática em sessões de tutoria privada ou
configurações virtuais de E-learning (THIYAGARAJAN, 2020). Na criação de um ambiente
educacional personalizado, o fornecimento de métodos instrucionais adequados e materiais
didáticos adequados ocorre por meio da avaliação dinâmica e do feedback construtivo
(POLLARD; JAMES, 2004). Portanto, a educação personalizada é sobre como os alunos
aprendem e não sobre o que eles aprendem (TOMLINSON, 2013).
Neste estudo, o conceito de abordagem dinâmica para a aprendizagem de línguas está
relacionado a perceber mudanças constantes nas habilidades dos aprendizes de línguas e reagir
a essas mudanças durante os procedimentos instrucionais. Isso envolve o emprego de avaliação
dinâmica consistente durante o processo instrucional, a fim de descobrir as novas necessidades
educacionais dos alunos e, consequentemente, projetar planos instrucionais adequados ao longo
da prática de ensino (TETZLAFF; SCHMIDEK; BROD, 2020). A avaliação dinâmica é uma
avaliação interativa em educação que se baseia na teoria sociocultural da mente proposta por
Vygotsky (1978). Ele identifica traços, habilidades ou características que um aluno domina
(a Zona de Desenvolvimento Real) e determina as habilidades do aluno em realizar uma tarefa
com a ajuda e apoio de uma pessoa mais experiente (dentro da Zona de Desenvolvimento
Proximal). Em outras palavras, a avaliação dinâmica determina até que ponto um aluno precisa
receber apoio educacional durante o processo de aprendizagem para atingir um objetivo
educacional.
Tetzlaff et al. (2020) propôs três maneiras pelas quais as mudanças dinâmicas dos
alunos ocorrem:
4. Mudança em resposta a uma intervenção, mesmo na forma de uma flutuação de
curto prazo. Por exemplo, mudanças de atitude em relação a um tópico ou
estratégias metacognitivas usadas pelos alunos;
5. Mudanças em resposta à mesma instrução no mesmo aluno em vários momentos.
Isso significa que a mesma pessoa reage à mesma instrução de forma diferente
de tempos em tempos;
6. Mudanças em resposta à mesma instrução entre vários alunos no tempo; Ou seja,
vários alunos reagem à mesma instrução de maneira diferente e essa diferença
varia de tempos em tempos de acordo com as características contextuais e fatores
internos dos alunos.
Considerando essas três principais formas de mudanças constantes nos aprendizes,
somente a aplicação da avaliação dinâmica contínua em diferentes escalas de tempo de
aprendizagem pode determinar a adequação do design instrucional e a adequação das atividades
planejadas durante o procedimento de aprendizagem personalizada (TETZLAFF et al., 2020).
Vale ressaltar que instrução neste artigo é usada como um termo guarda-chuva que significa
qualquer interação entre agentes de ensino e aprendizagem que tenha consequências diretas ou
indiretas no processo de aprendizagem. Além disso, “personalização” nesta pesquisa é usada
como sinônimo de “individualização”, significando que qualquer ajuste da prática instrucional
é projetado para um aluno específico; portanto, deve incluir formas específicas de avaliação e
instrução para cada aluno de acordo com suas atividades e perfil pessoal.
Eu defino confiabilidade de aprendizagem personalizada neste estudo como o grau em
que dois alunos hipotéticos idênticos com o mesmo nível de proficiência linguística e
preferências pessoais receberão o mesmo nível de instrução e suporte de aprendizagem do
material didático. Portanto, considerando as características do TMM acima mencionadas e a
alegada capacidade da funcionalidade de aprendizagem personalizada deste, este estudo é uma
tentativa de responder à seguinte questão de pesquisa:
Seria o aprendizado personalizado no modo dinâmico do TMM confiável a partir
de uma abordagem dinâmica para o aprendizado personalizado?
Metodologia
Dados
Para avaliar a confiabilidade do aprendizado personalizado do TMM (versão 10), as
aulas, atividades e oficinas oferecidas pelo modo dinâmico do TMM para três aprendizes de
línguas nos níveis elementar, intermediário e avançado foram analisadas qualitativamente como
dados para este estudo.
Estrutura de avaliação
O referencial teórico de Tetzlaff et al. (2020) é empregado como a estrutura de avaliação
para a eficácia e confiabilidade do aprendizado personalizado neste estudo. Nesta estrutura, a
aprendizagem personalizada é proposta como a mais confiável e eficaz quando as características
relevantes dos alunos são medidas repetidamente ao longo do processo de aprendizagem em
uma estrutura dinâmica. Este é o esboço principal da abordagem dinâmica para a aprendizagem
personalizada, que inclui fornecer oportunidades para adaptação instrucional, estabelecer metas
de aprendizagem apropriadas e reagir às flutuações afetivo-motivacionais dos alunos.
De acordo com Tetzlaff et al. (2020) a personalização confiável e eficaz inclui três
etapas:
Passo 1Avaliação inicial das características do aluno, que inclui a avaliação
sistemática das características dos alunos que estão relacionadas a um procedimento de
aprendizagem específico, a fim de estabelecer um perfil do aluno no início do curso.
Passo 2 Design instrucional que mais se adapta aos perfis dos alunos em termos de
suas necessidades e objetivos educacionais.
Passo 3 Avaliação de progresso, que inclui o uso de análise de desempenho de tarefas
e avaliação dinâmica incorporada para atualizar os perfis dos alunos com base em sua
progressão constante.
Conforme mostrado na Figura 1, neste framework as etapas 2 e 3 são extremamente
interconectadas e se apoiam durante todo o processo de aprendizagem personalizada.
Figura 1.
Estrutura teórica para avaliação de aprendizagem personalizada
Fonte: Tetzlaff et al., 2020
Análise de dados e resultados
Os perfis de três aprendizes de línguas são analisados qualitativamente no quadro de
Tetzlaff et al. (2020) para indicar a confiabilidade do aprendizado personalizado do TMM.
O primeiro fato perceptível na avaliação do programa é a falta de teste de nivelamento
na etapa inicial do processo de aprendizagem. O TMM oferece aos alunos a opção de criar
perfis pessoais antes de iniciar o processo de aprendizagem, no qual os alunos podem indicar
seu próprio nível de proficiência linguística e o nível de dificuldade da tarefa, marcando uma
caixa enumerada de 1 a 10+. Em seguida, os alunos são orientados a escolher entre os três
modos livre pra explorar, guiado e dinâmico. Todas as lições e atividades em qualquer um
desses três modos serão combinadas com o nível de proficiência em que o aluno se inscreveu
na etapa inicial; no entanto, o principal problema com esse tipo de personalização é que ele
depende completamente da estimativa não profissional dos alunos sobre seu próprio nível de
proficiência linguística e não pode ser considerado confiável.
Começo com o perfil de uma aluna de 12 anos do ensino fundamental. Como não há
teste de nivelamento no TMM, ela teve que estimar seu próprio nível de proficiência no idioma
para poder continuar fazendo um perfil. Esta foi uma tarefa esmagadora para um usuário
iniciante de doze anos do curso; assim, ela foi convidada a fazer o teste de colocação online de
Cambridge para jovens aprendizes para indicar seu nível de proficiência no idioma. Os
resultados do teste de nivelamento de Cambridge mostraram que ela estava no nível A2 de
proficiência linguística de acordo com o Quadro Comum Europeu de Referência para Línguas
(CEFR). Outro desafio que um aluno enfrenta ao usar o TMM é selecionar o nível de dificuldade
da tarefa que é nivelado de 1 a 10+ (mostrado na figura 2). Neste percurso, não existe qualquer
tipo de avaliação ou qualquer forma de orientação que mostre como estimar o nível de
dificuldade adequado para os diversos utilizadores. Portanto, a personalização, até este ponto,
baseia-se principalmente em estimativas não profissionais dos usuários, sem qualquer avaliação
sistemática das necessidades ou objetivos educacionais dos usuários.
Figura 2. A dificuldade da tabela de conteúdo para ajuste personalizado no TMM
Fonte: Arquivo da autora
O próximo passo é selecionar os objetivos da aprendizagem e personalizá-la de acordo
com o conhecimento (mostrado na Figura 3) e de acordo com a habilidade (mostrada na Figura
4) indicando seu nível de dificuldade. Novamente, aqui não há uma avaliação sistemática para
indicar o nível de dificuldade mais adequado em cada habilidade para cada aluno. Os alunos
selecionam de forma não sistemática o nível de dificuldade de suas tarefas como parte de seu
procedimento de aprendizagem personalizado, o que pode ser negativamente influente e
desmotivador para eles se o nível de dificuldade das tarefas não corresponder às suas
necessidades e objetivos educacionais (ELLIS, 2016; TOMLINSON, 2013b ).
Figura 3. Selecionando objetivos de aprendizagem e personalizando-os no TMM de acordo
com o conhecimento
Fonte: Arquivo da autora
Figura 4. Selecionando objetivos de aprendizagem e personalizando-os no TMM de acordo
com a habilidade
Fonte: Arquivo da autora
Além disso, a análise do perfil dessa aluna mostrou que, quando ela selecionava um
nível de dificuldade de uma tarefa muito superior ao seu nível adequado de proficiência
linguística, a reação do programa é fornecer uma tarefa com um ou dois níveis abaixo do nível
da atividade anterior enquanto em alguns casos era necessário que o aluno continuasse com
pelo menos 5 ou 6 níveis abaixo da tarefa escolhida anteriormente. Isso revela a importância da
avaliação dinâmica durante as instruções em programas de aprendizagem personalizados.
Como o TMM não está equipado com um sistema de avaliação dinâmica constante, a maioria
de suas atividades não corresponde ao nível atual de proficiência linguística dos usuários nem
atende às necessidades educacionais dos usuários. Embora seja alegado pelos produtores de
TMM que o modo Dinâmico do material didático define atividades e instruções de acordo com
as necessidades dos alunos (Figura 5), na realidade não um sistema de correspondência
sistemática no modo Dinâmico do TMM para garantir a confiabilidade do aprendizado
personalizado do programa.
Figura 5. Modo dinâmico de TMM
Fonte: Arquivo da autora
A segunda análise está relacionada ao perfil de um homem de 32 anos no nível
intermediário de proficiência linguística (B2) e o terceiro perfil foi relacionado a uma mulher
de 41 anos, usuário pré-avançado de TMM (C1). O ponto notável na análise dos perfis
intermediário e avançado foi que o TMM considera o progresso objetivo do aluno e a conclusão
da tarefa (mostrado na Figura 6) como um fator determinante para o nível de sucesso do
procedimento de aprendizagem. Isso é obviamente uma grande falha. Sem qualquer avaliação
sistemática e apenas contando com a conclusão de algumas tarefas, que de alguma forma
poderiam ter ocorrido aleatoriamente, o nível de desempenho da linguagem não pode ser
relatado como um sucesso ou fracasso. Além disso, a realização de tarefas, sem uma avaliação
dinâmica sistemática, não pode ser um fator determinante racional e adequado para identificar
as necessidades do aprendiz e suas instruções necessárias para atingir seus objetivos
(TETZLAFF, et al. 2020).
Figura 6. Avaliação de desempenho de tarefas no TMM
Fonte: Arquivo da autora
O papel da análise das necessidades e da avaliação do progresso é ainda mais óbvio em
níveis intermediários e pré-avançados de proficiência linguística, pois, nesses níveis, o foco
principal do aprendizado é desenvolver uma comunicação eficaz em vez de focar em
características linguísticas; portanto, o papel de receber feedback construtivo de acordo com
uma avaliação dinâmica sistemática é notavelmente óbvio, o que está faltando no TMM.
Discussão
A personalização na aprendizagem de línguas tem sido enfatizada na literatura como um
método eficaz de instrução (POLLARD; JAMES, 2004; BERNARD, 2005; TOMLINSON,
2013; TETZLAFF et al., 2020) e o TMM é um dos programas de aprendizagem que
proporciona aos seus usuários com um ambiente de aprendizagem personalizado. Embora a
maioria dos estudos na literatura tenha demonstrado a atitude positiva dos aprendizes em
relação ao uso do TMM (por exemplo, HASHIM; YUNUS; 2010; NIELSON, 2011; EPINOSA,
2013; UTHAYAKUMARAN; KASSIM, 2018) e sua eficácia em vários aspectos da
aprendizagem de línguas (por exemplo, PEREZ, 2014; AYULISTYA, 2016; GYAMFI;
SUKSEEMUANG, 2017) a confiabilidade de aprendizagem personalizada deste material
didático não foi explorada antes deste estudo.
A confiabilidade do aprendizado personalizado é definida nesta pesquisa como o grau
em que dois aprendizes hipotéticos idênticos com o mesmo nível de proficiência linguística e
preferências pessoais receberão o mesmo nível de instrução e suporte de aprendizado do
material didático. Com relação a essa definição e aos resultados da análise dos dados, o TMM
não apresentou alta confiabilidade de aprendizagem personalizada devido à falta de dois tipos
de avaliação: 1) um teste de nivelamento no início do processo de aprendizagem; e 2) avaliações
dinâmicas ao longo do processo de aprendizagem. Os resultados são alcançados dentro do
referencial teórico de Tetzlaff et al. (2020) em que a confiabilidade e a eficácia de um programa
de aprendizagem personalizado serão alcançadas por meio de uma avaliação dinâmica
constante em que o nível de proficiência e as necessidades educacionais dos alunos são medidos
repetidamente ao longo do processo de aprendizagem.
Conclusão
TMM é um material didático prático e motivador em programas educacionais; no
entanto, para aumentar a confiabilidade do aprendizado personalizado, o TMM deve ser
equipado com um teste de nivelamento no início do processo de aprendizado e uma tecnologia
de avaliação dinâmica constante ao longo de todo o processo de aprendizado e instrução. Contar
com atividades adaptativas que são escolhidas de forma não sistemática pelos próprios
aprendizes, como é o caso da versão atual do programa TMM, não é confiável, uma vez que a
maioria dos aprendizes de línguas não é capaz de estimar profissionalmente seu próprio nível
de proficiência linguística no início do curso nem são treinados para determinar o nível exigido
de dificuldade da tarefa para cada lição e atividade ao longo do curso. Os resultados têm
implicações para os designers de cursos considerarem testes de colocação e tecnologia de
avaliação dinâmica em seus projetos futuros para maximizar a confiabilidade e a eficácia de
seus programas de aprendizado personalizados.
REFERÊNCIAS
AYULISTYA, T. Improving students’ pronunciation through Tell Me More pronunciation
software. Indonesian EFL Journal, 2(2), 110-116. 2016.
BUNTING, J. Tell Me More software program. Teaching English as a second or foreign
language, 8(1), 2-23. 2010.
DEPARTMENT FOR EDUCATION AND SKILLS (DfES). A National Conversation
about Personalized Learning. Nottingham: DfES. 2004.
DOLOG, P.; HENZE, N.; NEJDL, W.; SINTEK, M. Personalization in distributed e-learning
environments. Proceedings of the 13th International World Wide Web Conference on
Alternate Track Papers & Posters - WWW Alt. ’04. 2004. DOI:
10.1145/1013367.1013395
ELLIS, R. Language teaching materials as work plans: An SLA perspective. In: B. Tomlinson
(Ed.), SLA research and materials development for language learning (pp. 203-218). New
York: Routledge. 2016.
EPINOSA, B. Learning English using Tell Me More: Perspectives of university teaching
staff as users of the online application. 2013. Disponível em:
https://www.researchgate.net/publication/278171803Learning. Acesso em: 01 May 2017.
GARDNER, H. Frames of Mind: the theory of multiple intelligences. Heinemann. 1983.
GYAMFI, G.; SUKSEEMUANG, P. EFL Leaners' perceptions, Practices and Achievement
with the Online Learning Program Tell Me More. Contemporary Educational Technology,
8(4) 338-358. 2017.
GYAMFI, G.; SUKSEEMUANG, P. Factors affecting EFL learners’ use of the computer
language learning program Tell Me More. International Journal of Instructional
Technology and Distance Learning, 14(2), 69-79. 2017.
HASHIM, H.; YUNUS, M. M. Learning via ICT: TELL ME MORE. International Journal
of Learning, 17, 211-224. 2010.
KENNING, M. ICT and Language Learning. From print to the mobile phone. New York:
Palgrave MacMillan. 2007.
KUKULSKA-HULME, A. Personalization of language learning through mobile
technologies: Part of the Cambridge Papers in ELT series. Cambridge: Cambridge University
Press. 2016.
KU, O.; HOU, C.-C.; CHEN, S. Y. Incorporating customization and personalization into
game-based learning: A cognitive style perspective. Computers in Human Behavior, 65,
359368. 2016. DOI: 10.1016/j.chb.2016.08.040
KRUSE, K. CD-Roms for e-learning: Advantages and disadvantages. 2004. Disponível em:
www.e-learningguru.com/articles/art1. Acesso em: 19 Nov. 2008.
LEE, S. T. Teaching Pronunciation of English Using Computer Assisted Learning Software:
An Action Research Study in an Institute of Technology in Taiwan. English Language and
Literature Studies, 3(1), 219. 2008.
LEFEVRE, M.; JEAN-DAUBIAS, S.; GUIN, N. Generation of pencil and paper exercises to
personalize learners' work sequences: typology of exercises and meta-architecture for
generators. World Conference on E-Learning in Corporate, Government, Healthcare,
and Higher Education, 28432848. 2009.
PEREZ, A. Effectiveness of Tell Me More in enhancing communication skills. Asia Pacific
Journal of Multidisciplinary Research, 2(6), 164-172. 2014.
POLLARD, A.; JAMES, M. Personalised Learning: A Commentary by the Teaching and
Learning Research Programme. London: Economic and Social Research Council. 2004.
THIYAGARAJAN, G. Personalization and Visual Representation through Learning
Analytics: A Meaningful Approach to Guide Self-Directed Learners. International Journal
of Psychosocial Rehabilitation, 24(5), 32983303. 2020. DOI:
https://doi.org/10.37200/ijpr/v24i5/pr202037
UTHAYAKUMARAN, A.; KASSIM, H. Student Perceptions on the Effectiveness of Using
Tell Me More for Pronunciation Learning. International Journal of Language Education
and Applied Linguistics, 08 (2) 83-91. 2018.
TETZLAFF, L.; SCHMIEDEK, F.; BROD, G. Developing Personalized Education: A
Dynamic Framework. Educational Psychology Review. 2020. DOI:
https://doi.org/10.1007/s10648-020-09570-w
TOMLINSON, B. Developing principled frameworks for materials development. In: B.
Tomlinson (Ed.), Developing materials for language teaching (2nd ed., pp. 95-118).
London: Bloomsbury. 2013.
TOMLINSON, B.; MASUHARA, H. The complete guide to the theory and practice of
materials development for language learning. Hoboken, NJ: WILEY Blackwell. 2018.
VYGOTSKY, L. S. Mind in Society: The Development of Higher Psychological Processes
(M. Cole, V. John-Steiner, S. Scribner, & E. Souberman, Eds.) Cambridge, MA: Harvard
University Press. 1978.
Como referenciar este artigo
SHOBEIRY, M. Confiabilidade de aprendizagem personalizada de Tell Me More: uma
abordagem dinâmica. Rev. EntreLínguas, Araraquara, v. 7, n. esp. 4, e021068, Nov 2021. e-
ISSN: 2447-3529. DOI: https://doi.org/10.29051/el.v7iesp.4.15604
Submetido em: 09/02/2022
Revisões requeridas em: 20/05/2022
Aprovado em: 05/09/2022
Publicado em: 10/11/2022