Chapter_8_Testing_Speaking

  The test of speaking is widely regarded as the most challenging of all language exams to prepare, administer, and score. For this reason, many people don’t even try to measure the speaking skill. They simply don’t know where to begin the task of evaluating spoken language.

I.Why speaking tests seem so challenging?

A.The nature of the speaking skill itself is not usually well defined. So there is some disagreement on just what criteria to choose tin evaluating oral communication. 

1.Grammar, vocabulary and pronunciation are often named as ingredients. Fluency and appropriateness of expression are usually regarded as equally important. The following data are taken from 74 exams: Grammar 81%; fluency 71%; vocabulary 67%; pronunciation 66%; appropriateness 63%; other matters 37%

2.Still other factors to be identified in oral communication include listening comprehension, correct tone (sadness or fear, for instance), reasoning ability and such things as initiative in asking for classification.

3.Even when a speaking criterion like fluency is widely agreed upon, there is some question about hoe to test it, e.g. quickness of response, amount of information conveyed per minute, or simply a general impression of fluency. In brief, the elements of speaking are numerous and not always easy to identify.

B.How to get students to speak?

C.How to evaluate so many things at once?

D.How to test students individually?

II.Types of speaking tests

A.Limited response

1.Direct response

a. This is used at the very beginning level. Some forms of direct response cues are quite artificial – very close to imitation, e.g.

(Cue) “ Tell me he went home.”

(Student) “He went home.”

“Tell me that you speak English.”

“I speak English.”

“Tell me that you aren’t planning to attend summer school English classes in this city next year.”

“I am not planning to ... 

“Tell her I can see her at noon.”

“Pardon me, Ms XX, Mr. X says that he can see you at noon today.”

“Remind him what time it is.”

“Excuse me, Mr. XX. It is now a quarter to 12.”

“Let her know where the principal’s office is.”

“Ma’am, the principal’s office is on the right at the end of the hall.”

“Ask her what time it is.”

“Pardon me, what time is it? Or could you tell me the time, please.”

“See if he can come back later.

“Could you come back later, please? Or would it be possible for you to come back later?’

b. Another form of direct response provides more contexts and demands more initiative in answering. To answer properly, students would probably need practice with communicative activities such as problem solving. In the following item, the problem that students have to solve is how to make an appropriate excuse.

(Teacher) “Your friend here has just brought you one of your jackets. But the color is terrible for what you are wearing. As kindly as possible, get her to bring another jacket instead.”

(Student) “Thanks a lot, Kay. But could you please get my tan jacket? I’m afraid it’ll be too cool for this red one.”  

2.Picture cues

Pictures and objects can be used with young children, and with young people or adults, who have limited skill in English. We can use simple line drawings or sketches. Then we ask some questions about the picture, e.g.

  “Tell me about these pictures. What’s happening here?”

  “Where are they?”  “At a barber shop.”

  “What did they do?”  “They threw the ball.”

  “What do you think is going to happen now?”

  “Let’s look at this picture map of a city. These dotted lines show us where a girl named Anna went. I’ll tell what she did first. Anna went out of the market and walked across the street to the church. Then she turned left and walked to the corner opposite the park. Now you tell where she went.”

3.Guided techniques

Less control of spoken utterances is necessary for intermediate to advanced students, but some guidance is needed so that students perform the same kinds of tasks.

(controlled) “Tell him that it ‘s ten o’clock.”

          “It is ten o’clock.”

(guided)   “Remind him politely of the time.”

          “Excuse me, Mr. Evens. It is almost ten o’clock.”

Besides modifying controlled questions, we can use any of the following three guided-response techniques:

a.Paraphrase

Paraphrase combines speaking with either listening or reading. Listening plus speaking can be used at almost any level, since students do not need to be literate in English. For example, a teacher of intermediate students might say, 

“Listen as I read a little story to you about a man and his wife who dreamed of adventure. When I finish, I’d like you to tell me the story in your own words.”

The teacher would then read aloud the passage about the couple that sold everything and went sailing.

b.Explanation

   Explanation and description can be used with students beyond the beginning level. One rather advanced technique is to have students read something silently and then interpret or explain the facts to the teacher orally. This can also apply to a technical graph, recipe, or math problem that is clearly understood by examinees.

   But usually we have students explain something less technical. For example, they can be given two to three minutes to explain how Americans celebrate Thanksgiving, how the British celebrate Boxing Day, or how Moslems observe Ramadan. Obviously, the students must be quite familiar with what he is explaining. This is not a cultural test. Explanations can also be given of a particular sport such as American baseball or European football, of hoe to get from one location to another, or of how to do something such as a pay telephone or a vending machine.

c.Guided role play

Open – ended role-play can result in lots of talk from highly imaginative students with outgoing personalities, or it can be unproductive with shy or unimaginative persons. Therefore, guided role-play is recommend. The teacher or volunteer helper takes a fixed role, and the student responds as promoted. Usually the situation is briefly explained before the role-play begins. It is best to have several role plays prepared so that there can be some element for surprise during the discussion. Here is a sample:

Situation:

There is a “Help Wanted” sign in a supermarket. You are applying for the job. You haven’t had a job before. You must talk with the manager. I will be the manager.

T:  Can I help you?

S:  Yes, I want to apply for the job.

T:  I see. We have two jobs. One is stacking cans. The other is cleaning.

S:  I want to stack cans.

T:  And why do you prefer that job?

S:  I think it is more interesting.

T:  Have you had any experience?

S:  No, I haven’t.

Y:  I’ll need your name and address.

S:  (respond with name and address)

Y:  I’m not sure just where that is. Can you tell me how to get there from here?

S:  (gives directions to his or her home)

T:  Well, that’s all. Call tomorrow afternoon and I’ll tell you if you can have the job.

S:  (thanks the “manager” and turns to leave.

The teacher or the person taking the fixed role should be very familiar with what he is to say. His lines should be spoken at normal speed, and if possible with only an occasional glance at the notes. Also, the person taking the fixed role needs to adapt to what the student says. For example, one student might begin by saying simply: “My name is Lin.” Then the manager would have to get the person back on the track: “I see. And what can I do for you?”

4.Oral interview

Many teachers think of the interview as simply a series of questions and answers. And some amount to no more than that: “What is your name?” “ My name is Lin Tan.” “How old are you?” “I’m fifteen.” etc. But the interview can use every elicitation device introduced above. The whole thing is held together by the constant interaction of the interviewer and the student. This provides an important contrast with other test formats: instead of simply reciting information, the student is actually talking with someone! The oral interview can provide a genuine sense of communication.

For this reason, rapport is important. Most of us remember being ineffectual on occasion when feeling threatened or talked down to. The good interviewer is neither harsh nor familiar, condescending nor intimidating. A sincere, open, supportive manner is most effective.

Like role-play, some direction is needed in order to standardize the test for our students. For this reason a guided oral interview is recommended. Your cues for the interview need to be prepared in advance. These you should virtually memorize. Alternate items need to be included so that when students “compare notes” afterwards, the whole procedure does not seem rehearsed. Parts of the interview -- especially the initial warm-up – can appear so relaxed that the student may not even be aware that he is being evaluated at that moment. If you know something about the student, you can tailor and personalize the questions. You might begin like this:

“Come in, Tina. Why don’t you sit here? Let’s see, as I recall you come from Nanjing?” (You knowingly give the wrong city, and so she has to correct you; she comes from Shanghai) (response) “Is that a big place or a small one?” (response) Do your parents still live there?” (response) “And you’re the only member of your family in Huaiyin right now?” (response) “Tell me a little about Shanghai, would you?”

Notice that the initial questions are quite simple. In addition, they cover information that the student is thoroughly familiar with. However, they avoid highly personal items: marital status of parents, religion, economic level, weight, age, and “What-did-you-have-for-breakfast” questions. In addition, they include the “true factor”; that is, they don’t ask for manufactured answers (“What time does Mr. Smith wake up in the morning?” / “At 7:00 o’clock”). They are not language focused (“Change this sentence to the past tense). And they are almost exclusively questions that the examiner does not already have the answers to (that is, not questions like “What direction do you travel if you fly from New York to London?” / You travel east.”)

Questions are used in the interview:

Yes/no questions

  Do your parents still live there?

Either/or questions

  Is it a big city or a small one?

Statement with question intonation

  You are the only member of your family in Huaiyin?

Wh-questions 

  What language do you speak?

Statement

  Say something about your college.

Others 

  Would you tell me a little about your hometown?

  It is certainly cold outside today! (It surely is.)

  Some people from Shanghai seem to have a hard time adjusting to Huaiyin’s food. (Is that so? I haven’t had any problem myself.)

One objective in the guided interview is to get student talking on his own. The use of statements is one way. Another way is providing information that may need qualifying, revising or correcting, e.g. 

“Is Huaiyin in the south of Jiangsu?” 

“I suppose that most of the students in your college are from Nanjing?”

        These kinds of items are used sparingly, of course.

Another way to generate student speech is to mention something or someone needing clarification, e.g.

“Wold you put this on the other teacher’s desk after you leave here? (Pardon me. Which teacher do you mean?)

Items on the guided interview will vary in difficulty, with easier questions coming early. However, after a rather challenging item or two, it is good to insert one or two easy questions. This can help relieve tension and allow the student to regain confidence.

Many responses in a guided interview can be given in just a phrase or a sentence. But several will require extended explanation. The difficulty of these “content” items will vary according to the subject matter and the language of the question. Notice the varying levels of difficulty in these items:

“Did you live in a house or an apartment in your country?”

“What are the advantages of living in a/an ____ over a/an _____?”

The level of difficulty of items on any given interview should vary both to maintain student confidence and the flow of the interview and also to provide an opportunity for the teacher to see how competent the student really is. For upper-intermediate to advanced students, the interview can be concluded with a challenging item on some contemporary social issue.

Finally, as indicated earlier, the interview should not be limited to just questions (or statements) and responses like those that have been illustrated above. For example, a third person can be involved for the role-play or relaying information. Visual and paraphrase techniques can be used. The time spend is also flexible. Some teachers spend as much as fifteen to thirty minutes on an interview. But this is not necessary as a rule. Five to ten minutes per student is generally ample for most classes.

III.Scoring procedures

         On a speaking test, getting the student to say something appropriate is only half the job. Scoring the test is equally challenging. In fact, the complex task of scoring a written composition is the only thing that matches the challenge of scoring a speaking test. Yet there are ways to simplify the scoring. The most successful way is a system of discrete objectified scores for nearly every utterance or response that the student makes. The alternative is to use holistic grading that evaluates the entire body of student speech simultaneously.

         The scoring system that we select tends to depend on one of two things: how well trained we are to evaluate oral communication and what factors we choose to evaluate. Generally speaking, teachers with considerable experience and training (particularly in linguistics and testing) are more inclined to use holistic scoring than teachers without this background. Holistic scoring also tends to be selected when the teacher is inclined toward evaluating a wide variety of criteria simultaneously (such as appropriateness, fluency, grammar, vocabulary, and pronunciation). 

         Objectified scoring is used both by teachers with little or no specialized training and by highly trained teachers who simply prefer evaluation that is consistent and easy to use.

         The main point to be made here is that speaking tests are practical for every ESL teacher to administer and score. Such evaluation happens very naturally in the classroom even during the early weeks and months of instruction. In the primary school classroom, the teacher finds himself reading a story to the children seated around him; he pauses frequently to interact: “Why did Mary run away?” as his pupils respond, he notes whether or not their replies are appropriate and whether communication is interfered with by defective grammar or pronunciation. Almost unaware, he is administrating an informal little speaking evaluation as he provides opportunity for speaking practice. 

       The transition to formal evaluation can be rather simple: The speaking test provides not only a consistent spoken sample of student speech but also a way to qualify or score each person’s utterance. The discussions that follow on holistic and objectified scoring present two contrasting ways of grading or qualifying student speech.

A.Holistic scoring

    To understand how the several components of student speech can be evaluated holistically, we will look at examples of holistic scoring procedures used in some commercial speaking tests.

Speaking on the ALIGU Test has been based for nearly two decades on five criteria: 

1.comprehension

2.pronunciation

3.grammar and word order

4.vocabulary

5.general speed of speech and sentence length

Each of these is weighted equally. The criteria for grammar and word order follow:

   5 points: Uses English with few (if any) noticeable errors of grammar or word order.

   4 points: In general uses “good English,” but with occasional grammatical or word-order errors which do not, however, obscure meaning (e.g., “I am needing more English”).

   3 points: Meaning occasionally obscured by grammatical and/or word-order errors.

   2 points: Grammatical usage and word-order definitely unsatisfactory; frequently needs to rephrase constructions and/or restricts himself to basic structural pattern (e.g., uses the simple present tense where he should use past or future).

   1 point:   Errors of grammar and word order make comprehension quite difficult.

   0 points:  speech so full of grammatical and word-order errors as to be virtually unintelligible to “the man in the street.”

 (The points listed above are multiplied by four. Therefore, a top score in all five areas would result in 100 percent or, in other words, native proficiency.) Some sort of scale like this accompanies almost all speaking tests using holistic grading. The examiner listens for all criteria as interview progresses, sometimes focusing temporarily on one criterion and then another. Sometimes additional questions are asked to clarify a particular area such as vocabulary or comprehension.

    The advantage of holistic grading is probably obvious: It concentrates on communication while not overlooking the components of speech. The limitation is that a great many teachers (untrained in analyzing speech) find it confusing to evaluate so many things simultaneously. Rating scales have prepared their own. Some experienced ESL instructors in a program with clearly identified evaluation criteria will want to rate their students on a holistic scale. This is unquestionably an ideal rating system, when consistency can be maintained. Yet the vast majority of language teachers do not have the time or opportunity to become expert in using the scales we have discussed. For most teachers, some form of objectified scoring is a practical alternative.

B.Objectified scoring

Items on a quiz or short exam for beginning-level students are sometimes evaluated as being either right or wrong, with no partial credit allowed. For example, on a ten-item test with questions on pictures, we might ask, “ What’s happening here?” the student looks at a picture of a woman typing and simply says, “She’s typing” or “A lady is working.” Our evaluation criteria may indicate that any logically appropriate and comprehensible response is acceptable. Here the person gets the item right. But responses like “Yes” or “A lady” or “Working” would receive no credit. What about an answer like, “A lady, she eez working”? The reply is appropriate to the question “What’s happening here?” and it is intelligible. Therefore, it is fully correct, despite pronunciation and grammar difficulties.

Other tasks can be handled in a similar way. For instance, a head of time, you could divide the route on the picture map into segments. These might correspond to places where the person changes direction or makes a stop. On a twenty-segment map, students would get five points for each part that they describe appropriately, but zero for any part that was incorrect or confusing to the teacher-examiner. A retold story can be divided up into segments and evaluated the same way.

This right-or-wrong arrangement works satisfactorily for some low-level tests. But as teachers we usually feel comfortable with such a scoring system (one allowing no partial credit) only when we determine the options, as on a multiple-choice test. Since speaking tests are always productive, we are more satisfied when we can give partial credit. One workable system allows 2 points for fully correct answers, 1 for partially correct responses and zero for unacceptable or unintelligible answers.

When allowing partial credit, be careful not to be too critical of student responses. If minor pronunciation and grammatical errors are penalized, virtually no one can get a 2 on any item. The result is a 1/0 scoring system, identical to the one discussed initially.

What then would we give partial credit for? This depends of course on our scoring criteria. One suggestion is to give only half credit when serious language errors occur; this includes pronunciation faults that begin to interfere with communication. For example, we have heard “He has a cigarette.” The final word sounds so close to “secret” that confusion arises. This sentence would get only half credit, or in other words a “1”. If occasional grammatical errors (such as “I am needing more English” or “He gave to me the letter”) do not obscure meaning, such sentences could be given 2 points (or full credit) if they were otherwise acceptable. Occasionally, however, a test item focuses on language form, as in a directed request:” Ask him if he wants to go with us.” A response like “Are you wanting to go with us? Does not match the language form that we are looking for, even though it doesn’t obscure meaning. Under these circumstances, the response would get only half credit. Grammar that is quite mangled (“He wanting go with us?”) wouldn’t get any points. In brief, when we focus on language in an item, however, we give reduced credit for grammar, pronunciation, or vocabulary errors only when they interfere with meaning.

Reduced credit is also given for lack of fluency and for inappropriate utterances. For example, in a role-play test or guided interview, we sometimes find students who need some things repeated; other students are simply very slow in replying, or halting in their speech. For such people, we can give partial credit, even for appropriate and grammatically correct responses. Appropriateness is an important matter, but it doesn’t come up quite as often as other criteria. Here is an example: “Ask him politely to wash the car again.” (Would you mind washing the car again, please?) The blunt “Wash the car again” would certainly be good for only half credit, even if it were spoken like a native.

For most situations, this partial-credit system works very well, but a minor modification can be helpful ton guided interviews and with guided-response techniques. It is possible to give the same amount of credit for each item on the interview (as we do on a dictation). However, content questions with rather open-ended responses (such as “Tell me a little about your home town”) are usually more challenging and they anticipate more extended replies than other items (such as “How long have you lived here?). To reflect this difference in difficulty, you can double their weight. This way, most items count 2 points, while content questions count 4 points (or even 5). You can still use the full-credit/half-credit system, or you can allow 4, 3, 2, 1, or 0 points for content items.

There are three final suggestions on scoring: One is that even on a speaking test with objectified scoring, it is good to indicate a very general impression of a student’s performance. This can be simply an indication that the person is “high,” “mid,” or  “low.” The general rating can verify your objectified score. Another suggestion is to use a scoring sheet. At the left you can number the test item. Next to the test number is a short version of your cue (“Tell me about ______”). At the right are at least three boxes for you to check – the first for 2 – point answers, the next for 1 – point responses, and the next for “0” or unacceptable answers.

The third suggestion is to score the speaking test immediately if possible. This can be done during the exam by another teacher or volunteer that you have trained. Having someone else score allows you to notice gestures and other nonverbal responses that are a part of communication. Generally, however, you will be the only one person other than the student. Therefore, you may want to tape the interview and score it later. The main advantages of this arrangement  are that you can concentrate on cueing the student, and you don’t make the student nervous by putting a mark down after each utterance that he makes. Usually, however, the scoring of a speaking test is more accurate when it is done during the exam. So if you feel comfortable testing and scoring at the same time, we recommend that you handle both together.

Objectified scoring is a perfectly satisfactory way to evaluate speaking tests. But for those interested in learning to score oral tests holistically, the modified system of objectified scoring can be used as a bridge to holistic grading. Initially, all items of an interview can be handled on a 2-1-0 basis. Content questions can later be graded on a 4-3-2-1-0 scale. Later still, guided items or entire speaking tests can be done holistically using a five-point scale. Most ESL teachers, however, can manage quite nicely with the simpler objectified scale. 

By utilizing objectified scoring procedures, you can add tests of speaking to the array of communicative and language-skill exams that you are able to prepare, administer, and score.