Review Articles
VIVA VOCE IN POSTGRADUATE SURGICAL EXAMINATIONS IN ANGLOPHONE WEST AFRICA LA VIVA VOCE DANS LES EXAMENS CHIRURGICAUX DE TROISIÈME CYCLE EN AFRIQUE OCCIDENTALE ANGLOPHONE BODE CO, UGWU BT*, and DONKOR P**
Abstract The Viva Voce is a form of assessment dating back to antiquity. It is widely used by the Englishspeaking West African Postgraduate Medical Colleges for intermediate and exit level examinations. Although it is still popular till the present day, there is a growing awareness of its limitation as an examination method. This paper explores the origin, format, advantages and limitations of oral examinations in postgraduate surgical assessment and proffers practical guidelines on its usage. Keywords: Viva Voce, Oral Examination, Surgical Postgraduate Assessment, Relevant. Résumé La Viva Voce est une forme d'évaluation qui remonte à l'antiquité. Il est utilisé largement par le troisième cycle des Ecoles de Médecine de l'Afrique de l'Ouest Anglophone pour les examens intermédiaires et finaux. Bien que toujours prisée, il y a une prise de conscience grandissante de ses limites comme méthode d'examen. Cette communication explore l'origine, la dimension, les avantages et limites des examens oraux dans l'évaluation chirurgicale de troisième cycle et propose des directives pratiques pour son emploi. Mots-clé: Viva Voce, Examen Oral, Evaluation de troisième cycle Chirurgicale, Pertinent. “Viva Voce” in Postgraduate Surgical Examinations “Viva Voce” (Medieval Latin) or examination “by word of mouth,” “orally,” “by the living voice,” (Webster's Dictionary) was the earliest form of formal
La "Viva Voce" dans les Examens Chirurgicaux de troisième cycle La "Viva Voce" (latin médiéval) ou examen "de bouche à oreille", "de vive voix", (Dictionnaire Webster) était la forme la plus vieille d'évaluation conventionnelle des élèves médecins et autres, datant de l'époque pré1 médiévale . Historiquement et depuis longtemps, une grande proéminence a été accordée à la parole. Platon a dénigré l'écriture explicitement, tout en déclarant que la parole était supérieure à l'écriture2. Aristotle3 en 350 avant Jésus-Christ a défendu de la même façon
Consultant Paediatric Surgeon Department of Surgery, College of Medicine of the University of Lagos, Nigeria. *Department of Surgery, Jos University Teaching Hospital, Jos, Nigeria. **Department of Surgery, Komfo Anokye Teaching Hospital, Kwame Nkrumah University of Science and Technology Kumasi, Ghana. Correspondence: BODE CO Consultant Paediatric Surgeon Department of Surgery, College of Medicine of the University of Lagos, Nigeria [email protected] Conflict of Interest: None CONFLIT D'INTÉRÊT : AUCUN Grant Support: None ACCORDER UN SOUTIEN AUCUN
40
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
assessment of medical and other apprentices, dating back to pre-medieval times1. Historically and for a long time, great prominence was given to the spoken word. Plato explicitly denigrated writing, stating that the spoken word was superior to the written2. Aristotle3 in 350 BC similarly defended robust oral arguments from which many a philosophical principle and logic emanated. Apprentices were deemed truly worthy of certification in their chosen fields of endeavor after they had satisfied a panel of more than one erudite assessor who tested the candidate's scope and depth of knowledge on sundry topics through an oral discourse within a specified time frame. The candidate would obviously have been well prepared for this session. Although the invention of the printing press and the consequent increased popularity of mass-produced books have since reduced the dependence on the spoken word, Oral Examination (OE) as an examination method remains an important method of assessment in many fields of medical training till date4. In university settings, the Viva is used often to defend theses. It may also be used discretionally to clarify final marks for candidates with borderline marks, unexpected results or sometimes in extenuating circumstances5. While it is
les discussions orales robustes dont bon nombre de principes philosophiques et logiques ont émané. Les élèves étaient jugés vraiment dignes de certification dans les domaines choisis seulement après avoir satisfait un jury d'érudits de l'étendue et la profondeur de leur connaissance sur des sujets divers par le biais d'un discours oral dans un délai déterminé. Le candidat aurait évidemment été bien préparé pour cette session. Bien que l'invention de l'imprimerie, et par conséquent la popularité croissante de la production massive de livres, aient depuis réduit la dépendance par rapport à la parole, l'Epreuve Orale (OE) comme méthode d'examen reste une méthode importante d'évaluation dans beaucoup de domaines de formation médicale jusqu'à ce jour4. Dans le cadre universitaire, la Viva est souvent utilisée pour défendre les thèses. Elle peut aussi être utilisé discrètement pour vérifier les notes définitives des candidats ayant des notes limite, des résultats inattendus ou quelquefois dans les circonstances5 atténuantes.
well known that no single examination technique adequately assesses surgical skills, the oral examination is still very popular with assessors and is widely used in medical 6 curricula worldwide . In viva voce summative assessment at postgraduate surgical fellowship examinations, the candidate has ample chance to assume the teacher mode and verbally display his depth of knowledge on a number of proffered topics. It is the closest an assessor can get in probing for a candidate's competence. This method allows examiners to get a firsthand eyeball-to-eyeball “feel” of the candidate's grasp of the subject, mettle and verbal skills. The examiner can judgmentally “size-up” the candidate's ability. At times, the examiners make judgment, going by their “gut feeling” about the person in front of them.
Alors qu'il est de notoriété qu'aucune technique d'examen ne peut seul rendre compte efficacement des compétences chirurgicales, l'examen oral est encore très populaire chez les examinateurs et est largement utilisé dans des programmes scolaires médicaux de par le monde6. Dans l'évaluation sommative de viva voce aux examens de recherche savante de troisième cycle en chirurgie, le candidat a l'immense chance d'apprécier la méthode du professeur et étaler verbalement la profondeur de sa connaissance sur plusieurs sujets proposés. C'est le plus loin qu'un examinateur peut aller pour l'évaluation des compétences d'un candidat. Cette méthode permet aux examinateurs d'avoir une ''appréciation'' nez à nez de première qualité de la maîtrise du sujet par le candidat, de son ardeur et de ses compétences verbales. L'examinateur peut avec discernement "mesurer" la capacité du candidat. Parfois, les examinateurs jugent la personne devant eux en fonction de sentiments provenant de leur " for intérieur ".
Setting The Viva Voce is a timed process during which a candidate's performance is orally assessed.
41
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
Although a typical surgical textbook may contain more than 60 chapters, only 3-5 randomly asked questions are used at the viva to judge his total knowledge of the syllabus. D i ff e r e n t q u e s t i o n s , v a r i a t i o n s a n d combinations of sundry topics are given to candidates who may be required to compose an essay, solve a puzzle, show deductive reasoning, display his knowledge, describe a procedure or defend a given position or dissertation. It is an interactive format, affording much spontaneity in both the range of questions asked and the candidate's latitude to answer. The aim of the oral examination is to assess the candidate's cognitive knowledge, psychomotor skills and best attitude for good outcome in the chosen specialty.
Le cadre La Viva Voce est un processus chronométré au cours duquel la performance d'un candidat est évaluée oralement. Alors qu'un manuel scolaire chirurgical typique peut contenir plus de 60 chapitres, seulement 3 à 5 questions posées au hasard sont utilisées dans la viva pour juger sa connaissance globale du programme. Diverses questions, variations et combinaisons de sujets différents sont proposées aux candidats à qui on peut demander d'en faire un exposé, résoudre une énigme, faire preuve de raisonnement déductif, étaler sa connaissance, décrire une procédure ou défendre une position donnée ou une dissertation. C'est une méthode interactive qui offre beaucoup de spontanéité à la fois dans la gamme de questions posées et la latitude du candidat à y répondre. Le but de l'examen oral est d'évaluer les connaissances cognitives, les compétences psychomotrices et la meilleure attitude du candidat pour un bon résultat dans la spécialité choisie.
The West African College of Surgeons (WACS), the Faculty of Surgery of the National Postgraduate Medical College of Nigeria(NPMCN) and the Ghana College of Physicians and Surgeons(GCPS) no longer conduct the OE at the Primary Examinations but continue to use it for the intermediate and exit examinations (Parts I and II for WACS or NPMCN and parts II and III for the GCPS examinations). In addition, this method is employed to assess the defense of Part II/III theses, a time honored format of dissertation assessment. In each of the three Englishspeaking postgraduate Colleges the oral examination is used at the Part I examination as follows: ORAL I: Principles of Surgery ORAL II: Operative Surgery & Pathology
Le Collège Ouest Africain de Chirurgie (WACS), la Faculté de Chirurgie de l'Ecole Nationale Supérieure de Chirurgie du Nigeria (NPMCN) et le Collège des Médecins et Chirurgiens du Ghana (GCPS) n'administrent plus l'OE aux examens fondamentaux mais continuent à l'employer pour les épreuves intermédiaires et terminales (Parties I et II pour le WACS ou le NPMCN et Parties II et III pour les examens GCPS). De plus, cette méthode est employée pour évaluer la soutenance de thèses des Parties II/III, une méthode éprouvée d'évaluation de la dissertation. Dans chacune des trois écoles de troisième cycle anglophones l'épreuve orale s'emploie dans la Partie I de l'examen comme suit: ORAL I: Principes de Chirurgie ORAL II: Chirurgie opératoire et pathologie
The initial question may be as broad as “Describe Whipple's procedure.” “What fluids would you use for resuscitation of a patient in an emergency?” What are the principles of cancer chemotherapy?” A trunk question and the level of performance may be raised at the
La question initiale peut être aussi générale que : "Décrivez la procédure de Whipple." "Quels fluides utiliseriez-vous pour la réanimation d'un malade dans une situation critique? " "Quels sont les principes de chimiothérapie du cancer? " La question principale et le niveau de performance peuvent
42
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
être relevés à la discrétion des examinateurs pour tester la profondeur et l'étendue des connaissances du candidat. Il n'est pas d'usage d'engager un(e) candidat(e) jusqu'au point où il/elle montre de la faiblesse. Plutôt, on s'attend à ce que les examinateurs changent de domaines ou entièrement de questions afin de donner au candidat un large éventail de questions dans sa spécialité avant de prendre une décision sur sa compétence/aptitude. Les questions déjà posées lors des épreuves écrites sont d'usage évitées à l'examen oral.
discretion of the examiners in order to test the depth and field of knowledge of the candidate. It is not usual to pin a candidate down to a point where he/she demonstrates weakness. Rather, the examiners are expected to move onto other areas or a different question altogether so as to give the candidate a good spread of questions in the specialty before a decision is made on his/her competence/suitability. Questions already taken in the theory papers are usually avoided at the oral examination. Scoring The candidate's final score is usually computed after all the questions have been asked within the allotted time and after the “bell has gone,” when the candidate has departed. This inevitably creates a time-lag and examiners usually compare notes to reach a consensus. In many Faculties, the “close-marking” system is employed whereby the highest score is 12 over 20 while the lowest is 8. The examiners at the oral examination are usually about three to five in number. The examiners score the candidates under several headings and sum up at the end of the oral examination; block scoring is not used in order to avoid bias and stick to objectivity. In order to maintain the credibility of oral examination, anyone with proven records of corruption or fraud is not used as an examiner.
La notion La note définitive du candidat est calculée d'habitude après avoir posé toutes les questions dans le délai prescrit et après que la "cloche soit sonnée", quand le candidat est parti. Cela crée un décalage horaire et les examinateurs échangent ordinairement leurs impressions pour aboutir à un consensus. Dans beaucoup de Facultés, on emploie le système de "correction serrée" dans lequel la note la plus supérieure est 12 sur 20 alors que la plus inférieure est 8. Les examinateurs de l'épreuve orale sont d'habitude au nombre de trois à cinq. Les examinateurs notent les candidats sous plusieurs titres et additionnent les points à la fin de l'examen oral; la notion en bloc n'est pas utilisée afin d'éviter la partialité et de garder objectivité. Pour maintenir la crédibilité de l'examen oral, quiconque ayant un record avéré de corruption ou de fraude n'est pas utilisé comme examinateur.
Defense of dissertation is not much different from the traditional Viva Voce examination except that the candidate who wrote the thesis knows his/her book inside out. Nonetheless, the assessors would ask probing questions to test the candidate's understanding of his/her subject topic, methodology, results and their interpretations. They also question and criticize the style of writing and point out typographical errors that need to be corrected before the book is finally accepted.
La soutenance de thèse n'est pas tellement différente de l'examen traditionnel de Viva Voce sauf que le candidat qui a écrit la thèse connait son travail à fond. Néanmoins, les assesseurs poseront des questions approfondies pour tester la connaissance du candidat sur son sujet, la méthodologie, les résultats et leurs interprétations. Ils questionnent aussi et critiquent le style d'écriture et signalent des erreurs typographiques qui doivent être corrigées avant que le travail ne soit finalement accepté.
43
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
What are the advantages of Oral Examinations? The Viva Voce requires only a few resource staff and very simple logistics. It is an examination method best suited to small candidate numbers if examiner fatigue is to be avoided. It tests depth of knowledge and gives a measure of the candidate's understanding of practical concepts on the topic. It is also a highly flexible examination format which thus easily detects rote learning. In fact, it tests “thinking on one's feet” as the candidate has to formulate an answer and verbalize it with little room for reordering the given answer once it is spoken. For disciplines such as teaching, broadcasting, legal practice, marketing and for men of the collar vocations where verbal skills are most essential - the Viva Voce tests oratory communication skills, being most rewarding for candidates with the gift of garb. Preparation for the examination requires the least effort for examiners as they may simply jot down some topics from the syllabus on the morning of the event. Lastly, the oral examination is greatly gratifying to the examiners' ego, who are “seen to be sitting in dreadful judgment” with great fanfare.
Quels sont les avantages des Examens Oraux? La Viva Voce n'exige que peu de personnel ressource et une logistique très simple. C'est une méthode d'examen mieux adaptée aux petits nombres de candidat si on veut éviter de fatiguer l'examinateur. Il teste la profondeur des connaissances et détermine le niveau de compréhension des concepts pratiques du sujet par le candidat. C'est aussi une formule d'examen très souple qui décèle facilement donc le par cœur. En fait, il teste la réflexion spontanée puisque le candidat doit formuler une réponse et doit la verbaliser sans avoir le temps de réorganiser la réponse une fois exprimée. Pour des disciplines telles que l'enseignement, la radiodiffusion, la profession juridique, le marketing et pour métiers de col où les compétences verbales sont très essentielles - la Viva Voce teste des compétences de la communication oratoire, cela étant très récompensant pour les candidats qui ont le don de l'apparence. La préparation pour l'examen exige le moindre effort de la part des examinateurs puisqu'ils peuvent noter simplement des points du programme le matin de l'événement. En dernier lieu, l'examen oral satisfait considérablement l'ego des examinateurs qui sont "perçus comme de monstrueux magistrats siégeant" avec grande fanfare.
Drawbacks 1. Low Objectivity Score Although no single examination method is perfect, the Viva Voce rates least among other popular examination methods on any scale of objectivity. This low objectivity score derives from many factors broadly inherent in the methodology itself or traceable to various biases at the examiners / candidate interface7.
Inconvénients 1. Un record de faible objectivité Bien qu'aucune méthode d'examen ne soit parfaite, la Viva Voce est la moins appréciée parmi d'autres méthodes d'examen populaires en termes d'objectivité. Cette faible note d'objectivité découle de beaucoup de facteurs inhérents en gros à la méthodologie elle-même ou imputables à divers partis pris au niveau de 7 l'interaction examinateurs/candidat .
a. Inherent to the Methodology Narrow Scope Inherent to the examination method is its narrow scope, a necessary price for depth of probing. Because so much time is taken in the questioning process on each topic, only 4-6
a. Inconvénients liés à la Méthodologie Ampleur restreinte La limitation du champ de l'examen est inhérente à la méthode employée et représente un prix nécessaire à payer pour la profondeur des questions. Puisqu'on passe tellement de
44
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
temps sur le processus de questionnement sur chaque sujet, seulement 4 à 6 questions peuvent être efficacement posées dans un délai prescrit de 15 à 20 minutes. La performance du candidat sur ces 4 à 6 questions est alors extrapolée pour représenter une performance moyenne à travers tous les sujets dans le programme et il est noté comme ayant réussi ou échoué à l'examen oral. Ce qui peut évidemment ne pas être le cas.
questions can be adequately taken within an allotted time of 15-20 minutes. The candidate's performance on these 4-6 areas is then extrapolated to mean an average performance throughout all the topics in the syllabus and he/she is scored as having passed or failed the oral examination. This obviously may not in fact be so. Non-Uniform Questions Candidates are not given the same questions. This non-uniform, random and unwieldy format of administered questions, while preventing repetition, may sometimes seem like comparing apples with oranges. The performances of three examination candidates who were asked the following questions will be difficult to compare:
Questions non-uniformes Les candidats n'ont pas les mêmes questions. Cette formule non-uniforme, aléatoire et complexe d'administration de questions, tout en évitant la répétition, peut apparaître parfois comme comparer des pommes avec des oranges. Les performances de trois candidats de l'examen à qui on a posé les questions suivantes seront difficiles à comparer:
n “Describe Ladd's Procedure” n “Describe apendicectomy” n “How would you drain a nail-bed abscess?”
n "Décrivez la Procédure de Ladd" n "Décrivez l'appendicectomie" n “Comment draineriez-vous un abcès de la racine des ongles? "
Some obviously seem easier to answer than others and if proffered by an examiner, may be a reflection of his like/dislike of a particular candidate. This problem is sometimes mitigated through the pooling of questions by examiners in a group who may then allow candidates to ballot for questions they will be asked. Other examination methods seek to better address this problem.
Certaines de ces questions paraissent évidemment plus faciles à répondre que d'autres et si elles sont posées par un examinateur, elles peuvent être un reflet de sa sympathie ou de son aversion pour un candidat particulier. Ce problème est atténué quelquefois par la mise ensemble des questions par les examinateurs dans un pool d'où les candidats peuvent alors tirer au choix les questions qui leur seront posées. D'autres méthodes d'examen cherchent à mieux régler ce problème.
Delayed, Varied Scoring Scoring is delayed till the candidate has left and is done one candidate at a time, therefore often shifting the reference point, depending on a good or bad performance of the previous candidate. Even when there is a structured scheme of marking, it does not provide for the individual variations in response among candidates for different segments of the answers. The examiner, meanwhile, forms an
Notation différée, variée La notation est différée jusqu'à ce que le candidat soit parti et se fait candidat par candidat, changeant par conséquent souvent le point de référence selon une bonne ou mauvaise performance du candidat précédent.
45
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
Même quand il y a un corrigé structuré, cela ne prévoit pas les variations individuelles dans la réponse parmi les candidats pour les différentes parties des réponses. Cependant, l'examinateur se former une opinion de chaque aspect et le garde dans son esprit jusqu'à la fin quand ses notes sont comparées avec celles des autres examinateurs pour arriver à une note consensuelle. Noter le candidat sous diverses rubriques convenues à l'avance par les examinateurs peut résoudre en partie ce problème.
opinion on each aspect and stores it in the mind till the end when notes are compared with the other examiner(s) to arrive at a consensus mark. Scoring the candidate under various headings agreed by the examiners may partly solve this problem.
b. Examiners' Factors Biases A number of biases and other factors ascribed to the examiners further diminish the objectivity rating of oral examinations. These, largely, are human factors operating at the examiners/candidate interface, usually not immediately apparent but contributory to the final pronouncement on each person assessed. These, it must be pointed out, may contribute positively or negatively to the outcome of the assessment but each of these influences is a bias. An examiner may exhibit a personal prejudice towards the candidate because of the candidate's (or another candidate's) performance at a lower and higher percentile. Personal bias may also be influenced by previous encounter(s) between the examiner and examinee. A visually pleasing candidate evokes a pleasant disposition in the assessors mind while a sloppy appearance may trigger a dislike. The fairer gender may provoke sympathy while a candidate who has shown up at the same examination on a number of occasions may be perceived as a habitual low performer and be so rated. Ethno-regional and racial partialities are a part of human nature which examiners constantly strive to overcome.
b. Les facteurs liés aux examinateurs Préjugés Un certain nombre de préjugés et d'autres facteurs attribués aux examinateurs diminuent davantage le degré d'objectivité des épreuves orales. Il s'agit, pour une grande part, de facteurs humains qui opèrent dans l'interaction examinateurs/candidat et qui, d'habitude, ne sont pas immédiatement visibles mais contribuent au verdict final sur chaque individu examiné. Ces facteurs, on doit le signaler, peuvent contribuer positivement ou négativement au résultat de l'évaluation mais chacune de ces influences est un préjugé. Un examinateur peut faire preuve de préjugé individuel envers le candidat à cause de la performance du candidat (ou celle d'un autre candidat) à un centile inférieur et plus élevé. Le préjugé individuel peut être aussi influencé par une ou des rencontres antérieures entre l'examinateur et le candidat. Un candidat qui a une bonne mine évoque une disposition agréable chez les assesseurs alors qu'une apparence débraillée peut déclencher une aversion. Le beau sexe peut susciter de la sympathie alors qu'un candidat qui s'est présenté au même examen à plusieurs reprises peut être perçu comme un candidat habituellement faible et sera ainsi évalué. Les penchants ethno-régionalistes et raciaux font partie de la nature humaine que les examinateurs s'efforcent constamment de maîtriser.
Fatigue It is a well-known fact that an examiner's mood may influence the candidate's result. A feisty examiner (from any reason) may exhibit unfair intolerance of minor errors and thus unfairly judge a candidate's performance. Fatigue, low blood sugar and displeasure with host
46
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
institution's hospitality may contribute to this and inform the reason why host communities must keep examiners in stress-free comfort! Similarly, a candidate fatigued by the rigorous Fellowship examination process may not present his/her best.
La fatigue C'est un fait bien connu que l'humeur d'un examinateur peut influencer le résultat du candidat. Un examinateur belliqueux (de toute raison) peut faire preuve d'intolérance injuste pour de petites erreurs et donc évaluer injustement la performance d'un candidat. La fatigue, l'hypoglycémie et le mécontentement vis-à-vis de l'accueil d'un établissement hôte peuvent y contribuer et cela justifie la raison pour laquelle les communautés hôtes se doivent de mettre les examinateurs dans un confort dénué de tout stress! De la même façon, un candidat accablé de fatigue par le processus rigoureux de l'examen savant risque de ne pas y rendre son meilleur.
Harassment Harassment is an untoward effect of the confrontational nature of Viva Voce when the two parties assume adversarial stances. The examination may easily degenerate into an unpleasant event, with the candidate usually becoming a victim and the examiner feeling the victor. The converse may also occur, with the examiner feeling put down by a candidate who “knows too much,” and ending in an equally disastrous consequence for the candidate as well.
Le harcèlement Le harcèlement est un effet fâcheux de la nature conflictuelle de la Viva Voce où les deux partis prennent des positions antagonistes. L'examen peut dégénérer facilement en un événement désagréable, avec le candidat qui devient habituellement une victime et l'examinateur qui se sent vainqueur. L'inverse peut se produire aussi avec l'examinateur qui se sent diminué par un candidat qui "en sait trop", conduisant à une fin également désastreuse pour le candidat.
c. Candidate related factors The difficult first question The oral examination method has never been very popular with candidates for the above many reasons as well as others relating to candidates. A difficult first question may throw off even the best candidate and set the tone of the whole encounter with each party wrongly assuming “he cannot be good.” Luckily, this is not always the case, as such examinee will be given other questions to tackle. Given an abysmal performance on the first question however, a candidate can only hope to escape with an average score at best.
c. Facteurs liés au candidat La question initiale difficile La méthode de l'examen orale n'a jamais été très prisée par les candidats à cause des nombreuses raisons déjà évoquées ci-dessus aussi bien que pour d'autres liées aux candidats. Une question initiale difficile peut dérouter même le meilleur candidat et déterminer le ton de toute la rencontre avec chaque parti qui présume faussement qu'"il ne peut pas être bon." Heureusement, ce n'est pas toujours le cas, puisqu'on proposera au candidat d'autres questions à aborder. Compte tenu de sa performance catastrophique sur la question initiale, un candidat peut espérer ne s'échapper au mieux qu'avec une note moyenne.
Stage fright While the oral examination presents an undue advantage to skillful speakers, stage-fright (brain block, tongue-tie) is more common and remains the most dreaded problem for examination candidates. There are anecdotal accounts of students who have had to prime themselves with ß-blockers (e.g. Propanolol) to stem the panic that usually sets in on sighting a
47
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
Le trac Alors que l'examen oral donne un avantage indu aux bons orateurs, le trac (blocage mental, timidité) est plus commun et reste le problème le plus redouté par les candidats à l'examen. Il y a des anecdotes d'étudiants qui ont dû ingurgiter des ß-Blockers (par exemple le Propanolol) pour dompter la panique qui s'installe d'habitude à la vue d'un jury d'examinateurs redoutés. Ce problème peut être minimisé par une pratique assidue de discours en public et la création d'opportunités abondantes pour l'enseigner aux jeunes internes, officiers de maison, étudiants de médecine et infirmières en visite médicale, ambiance clinique, séminaires et travaux pratiques.
panel of dreaded examiners. This problem can be minimized by constant practice at public speaking and ample opportunities abound for teaching of junior residents, house officers, medical students and nurses at ward rounds, clinic setting, seminars and tutorials. Question pooling Since candidates are assessed at different times, those who are examined later tend to pool questions from candidates exiting the venue and soon, examiners run out of topics and recycle earlier ones. In some instances candidates get to know the favourite questions of examiners and successfully predict the questions they are likely to ask thus diminishing the objectivity of the oral examination.
Regroupement de questions Etant donné que les candidats sont examinés à des moments différents, ceux qui sont interrogés après ont tendance à tirer des questions des candidats qui sortent du lieu d'examen et bientôt, les examinateurs épuisent les sujets et reprennent les précédents. Parfois, des candidats arrivent à savoir les questions favorites des examinateurs et prévoient avec succès les questions qu'ils poseraient, diminuant ainsi l'objectivité de l'examen oral.
2. Slow Pace The Viva Voce is a very slow process for examining large numbers as it cannot examine en-mass like a number of other formats such as essays, MCQ and the Objective scored Clinical Examination (OSCE). This contributes to the high cost (vide infra) 3. High Cost The Viva Voce is a very costly method when examining large candidate numbers as it requires many examiners whose travel expenses, upkeep will have to be borne by the institution for the duration of the examination process. At the West African College of Surgeons, available data suggests that the use of Viva Voce increased the unit cost of administering an examination six-fold per candidate when compared with assessments where only the MCQ system was used. In fact, overall, over 80% of the WACS examination cost was spent on examiners' overheads because of the widespread use of oral . examination by all Faculties of the WACS The
2. La lenteur La Viva Voce est un processus très lent pour examiner en grand nombre puisqu'on ne peut pas examiner en masse comme tant d'autres méthodes tel que l'essai, le QCM et l'Examen Clinique à notation objective (OSCE). Cela contribue à son coût élevé (vide infra). 3. Coût élevé La Viva Voce est une méthode très chère quand on examine de grands nombres de candidats puisque cela exige la participation de plusieurs examinateurs dont les frais de déplacement et de séjour seront supportés par l'établissement pour la durée du processus de l'examen. Au
48
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
Collège Ouest Africain de Chirurgie, les données disponibles suggèrent que l'usage de la Viva Voce a augmenté le prix unitaire de l'administration d'examen six fois par candidat lorsqu'on la compare aux évaluations où le système QCM a été exclusivement utilisé. En fait, dans l'ensemble, on a dépensé plus de 80% du coût des examens du Collège sur les frais généraux d'examinateurs à cause de l'usage répandu de l'examen oral par toutes les Facultés du Collège. Il s'est avéré que la Viva Voce est pleine de subjectivité, donc n'ajoute que très peu à l'évaluation totale par d'autres méthodes de l'examen8.
Viva Voce has been proven to be fraught with subjectivity, thus adding very little to the overall assessment from other examination methods8. Why then is the Oral Examination Method Still Used? Popularity It is a very popular method that dates back to antiquity. Since tradition is very difficult to change, assessors often stick to the dictum “If I went through it, others should” . Thus, those who are adjudged to have passed would seem to have performed to the standard by which the examiners had been certified of yore. The method is also perceived as a flexible tool which adequately tests depth of clinical and academic skills, both of which are closely associated with medical practice9.
Alors, pourquoi utilise-t-on encore la Méthode de l'Examen Orale? La popularité C'est une méthode très populaire qui remonte à l'antiquité. Puisqu'il est très difficile de changer la tradition, les assesseurs s'attachent souvent à l'affirmation selon laquelle "Si je l'avais subi, les autres aussi doivent le subir." Donc, ceux qui sont déclarés avoir réussi auraient l'impression d'avoir satisfait au même standard par lequel les examinateurs avaient été certifiés autrefois. La méthode est aussi perçue comme un outil souple qui éprouve suffisamment la profondeur de compétences cliniques et académiques, deux critères qui sont 9 intimement liés à la profession médicale .
Enormous logistics of alternative options An institution embarking on changing its examination format from the oral to MCQ or Objective Structured Clinical Examination (OSCE) or the steeple-chase will need to invest some initial material and human cost to retraining its examiners and design proper questions and materials to adequately test areas intended. Such changes are usually reluctantly made, as they often pitch older academics with younger ones and highlight the non-awareness and unfamiliarity of many with alternative examination modalities.
Enorme logistique d'options alternatives Une institution qui entreprend de changer sa méthode d'examen oral en QCM ou en Examen Clinique à Objectif Structuré (OSCE) ou en steeple-chase aura besoin d'investir des ressources initiales matérielles et humaines pour le recyclage de ses examinateurs et la conception des questions et matériels adéquats pour tester efficacement les domaines prévus. De tels changements sont d'habitude effectués à contrecœur, puisqu'ils dressent souvent les universitaires plus expérimentés contre les plus jeunes et mettent en valeur la méconnaissance et la non familiarité de beaucoup avec des modalités alternatives d'examen.
Mitigating the Disadvantages of Viva Voce Some of the undesirable features of oral examinations may best be minimized through regular training workshops for examiners to highlight the several limitations of this method and teach about newer concepts on candidate assessment. Under no circumstance should an oral examination ever be performed by a solo examiner. Examining bodies should also realize the inherent limitations of Viva Voce and
49
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
place less emphasis on its scores in the final computation of marks, but rather use such scores only as an adjunct to those obtained from other methods. Objectivity of scoring is increased when a different examiner scores the answer to questions asked by another examiner as practiced in some Royal Colleges in the United Kingdom. Examiners should be well selected, trained, guided and monitored on well entrenched examination protocols10. In addition, questions to be administered should be peer-reviewed and assigned to candidates by balloting. Examiners should be kind, polite and interactive with candidates, rather than intimidating. An examiner should start with simple questions and gradually probe deeper7. It is unacceptable to make fun of a poorly performing candidate. The examiner may give a clue when a candidate encounters a brainblock. The marks awarded for any oral examination should not carry an equal or weightier value of the total computation of marks with other examination methods such as the OSCE and MCQ which have all been proven to be superior to Viva in reliability11. The gradual adoption of more objective assessment methods by our Colleges will eventually relegate orals to the shelves of antiquity. The monitoring role of both internal and external assessors at the examinations of each of the three Anglophone Colleges cannot be overemphasized. The training of trainers' courses organized at both Faculty and College levels have been equally useful.
Atténuer les Inconvénients de la Viva Voce Quelques-uns des aspects indésirables des examens oraux peuvent être mieux minimisés par des ateliers de formation réguliers pour les examinateurs afin de souligner les diverses limitations de cette méthode et leur apprendre les nouveaux concepts de l'évaluation du candidat. Un examen oral ne devrait jamais s'effectuer sous aucun prétexte par un seul examinateur. Les directions d'examens devraient se rendre compte aussi des limitations inhérentes à la Viva Voce et mettre moins d'accent sur ses points dans le dernier calcul des notes, mais plutôt utiliser uniquement de tels points comme un supplément à ceux recueillis à travers les autres méthodes. L'objectivité de la notation est rehaussée quand un examinateur différent note la réponse aux questions posées par un autre examinateur comme cela se fait dans quelques Collèges Royaux au Royaume-Uni. Les examinateurs devraient être bien sélectionnés, formés, guidés et contrôlés sur les protocoles bien établis de l'examen10. De plus, les questions à administrer devraient être évaluées par des pairs et données aux candidats par le tirage au sort. Les examinateurs devraient être gentils, polis et interactifs avec les candidats, plutôt que d'être menaçants. Un examinateur devrait commencer par des questions 7 élémentaires et approfondir progressivement . C'est inadmissible de se moquer d'un candidat faible. L'examinateur peut donner un indice quand un candidat éprouve un blocage mental. Les notes accordées pour tout examen oral ne devraient pas avoir une valeur égale ou supérieure au calcul total des notes avec les autres méthodes de l'examen tel que l'OSCE et le QCM qui se sont tous prouvés être supérieurs à la Viva quant à leur fiabilité11. L'adoption progressive de méthodes de l'évaluation plus objectives par nos Ecoles reléguera finalement les examens oraux aux rayons d'antiquité. Le rôle de contrôle des assesseurs internes et externes aux examens de chacune des trois Ecoles Anglophones ne peut jamais être assez souligné. Les cours de formation des formateurs organisés aux niveaux de la Faculté ainsi que des Ecoles ont été également utiles.
How should candidates prepare for the oral examination? The Viva Voce will remain an integral part of candidate assessment in postgraduate surgical training for the foreseeable future, hence, candidates should appraise themselves of strategies to cope with this much dreaded examination format. A robust postgraduate training programme should include ample
50
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
opportunities for residents to teach as this improves recall, thought organization, style of delivery and confidence in verbal skills. In West Africa, postgraduate surgical training is hospital-based and residents have lots of teaching programmes to test their teaching wings. Reading and understanding does not guarantee true comprehension, the ability to recall and give back a set of facts in a form that is clearly understood by its recipients. Teachers should also strive to engage their wards in mock adversarial roles, challenging and correcting them regularly in simulated preparation for oral examinations. Study groups where roles are played and reversed among participants are also a very helpful preparation strategy. Here, a list of possible /past questions and topics are randomly assigned and candidates speak to them ex tempore and are corrected on the spot for perceived errors of style, language or facts.
Comment les candidats devraient-ils se préparer pour l'examen oral? La Viva Voce restera une partie intégrante de l'évaluation des candidats dans la formation chirurgicale de troisième cycle jusqu'à nouvel ordre. De ce fait, les candidats devraient s'armer de stratégies pour faire face à cette méthode d'examen tant redoutée. Un programme solide de la formation de troisième cycle devrait renfermer d'amples occasions pour les internes de la pratiquer puisque cela améliore la mémoire, l'organisation de la pensée, le style d'expression et la confiance dans les compétences verbales. En Afrique occidentale, la formation chirurgicale de troisième cycle est axée sur l'hôpital et les internes ont beaucoup de programmes d'enseignement pour tester leurs branches d'enseignement. Lire et comprendre ne garantissent pas la vraie compréhension, la capacité de se remémorer et redonner un ensemble de faits dans une forme qui est clairement comprise par ses destinataires. Les professeurs devraient s'efforcer aussi de faire participer leurs étudiants aux jeux de rôles contradictoires, les défier et les corriger régulièrement dans la préparation simulée pour les examens oraux. Les groupes d'étude où les jeux de rôles sont pratiqués et révisés parmi les participants sont aussi une stratégie très utile de préparation. Ici, une liste de questions possibles et passées et des sujets sont distribuées au hasard et les candidats en parlent au pied levé et sont corrigés sur place pour des erreurs de style, d'expression ou de faits.
Conclusion The traditional orals to test basic knowledge for large groups of candidates is considered expensive and at times, wasteful. It also runs the risks of low objectivity, bias, non-uniform application and narrow scope. Worldwide, the Oral Examination is however an important adjunct to other forms of assessment for the higher levels of medical specialists' cadres and its use remains as popular as ever. Examiners and candidates should therefore be prepared for, and find ways to mitigate its shortcomings in order to maximize its derivable benefits.
Conclusion Les épreuves orales traditionnelles pour tester la connaissance de base pour de grands groupes de candidats sont jugées coûteuses et parfois, gaspilleuses. Elles courent aussi les risques de faible objectivité, de préjugé, d'application non-constante et d'ampleur restreinte. De par le monde, l'Examen Oral est cependant un supplément important à d'autres genres d'évaluation pour les niveaux supérieurs des cadres de spécialistes médicaux et son usage reste aussi prisé que jamais. Les examinateurs et candidats devraient par conséquent s'y préparer et trouver des moyens d'atténuer ses
References 1.
h t t p : / / w w w . m e r r i a m w e b s t e r. c o m / d i c t i o n a r y / v i v a % 2 0 v o c e accessed January 26, 2011
2.
Socrates versus Plato: The Origins and Development of Socratic Thinking, Aspects of Education 49, 1993, 9-22; reprinted in Thinking:
51
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
The Journal of Philosophy for Children 12/4, 1996, 2-8. http://prs.heacademy.ac.uk/ view.html/prsdocuments/24 Accessed January 26, 2011. 3.
Références
Rhetoric by Aristotle. http://classics.mit.edu /Aristotle/rhetoric.1.i.html Accessed January 26, 2011
4.
Simpson RG, Ballard KG. What is being assessed in the MRCGP oral examinations? A qualitative study. Br J Gen Pract 2005; 55(515):430-6
5.
Finn JA, Crook AC. Oral Examinations for u n d e rg r a d u a t e s t u d e n t s ( t h e “ v i v a ” ) . http://www.stars.rdg.ac.uk/viva.html Accessed January 27, 2011.
6.
défauts afin de maximiser les avantages qui en découlent.
Objective Structured Assessment of Cataract Skills. Saleh GM, Gauba V, Mitra A, Litwin AS, Chung AKK, Benjamin L. Arch Ophthalmol. 2007; 125: 363-366.
1.
http://www.merriam-webster.com/dictionary /viva%20voce Téléchargé le 26 janvier, 2011
2.
Socrates versus Plato: The Origins and Development of Socratic Thinking, Aspects of Education 49, 1993, 9-22; réimprimé dans Thinking: The Journal of Philosophy for Children 12/4, 1996, 2-8. http://prs.heacademy. ac.uk/view.html/prsdocuments/24 Téléchargé le 26 janvier, 2011.
3.
Rhétorique par Aristotle. http://classics.mit.edu/Aristotle/rhetoric.1.i.html Téléchargé le 26 janvier, 2011
4.
Simpson RG, Ballard KG. What is being assessed in the MRCGP oral examinations? A qualitative study. Br J Gen Pract 2005; 55(515):430-6
5.
Finn JA, Crook AC. Oral Examinations for u n d e rg r a d u a t e s t u d e n t s ( t h e “ v i v a ” ) . http://www.stars.rdg.ac.uk/viva.html Téléchargé le 27 janvier, 2011.
7.
Prakash B. How to improve the Viva Voce: Some guidelines. Journal of GMC-Nepal. 2009; 2(3):60-61.
6.
Objective Structured Assessment of Cataract Skills. Saleh GM, Gauba V, Mitra A, Litwin AS, Chung AKK, Benjamin L. Arch Ophthalmol. 2007; 125: 363-366.
8.
Mekasha A. Assessment methods in medical education. Ethiop Med J. 2004; 42(1): 63-71.
7.
Prakash B. How to improve the Viva Voce: Some guidelines. Journal of GMC-Nepal. 2009; 2(3):60-61.
9.
Cobourne MT. What's wrong with the traditional viva as a method of assessment in orthodontic education? J Orthod 2010. 37(2): 128-33.
8.
Mekasha A. Assessment methods in medical education. Ethiop Med J. 2004; 42(1): 63-71.
9.
Cobourne MT. What's wrong with the traditional viva as a method of assessment in orthodontic education? J Orthod 2010. 37(2): 128-33.
10.
Wakeford R, Southgat L, Wass V. Improving oral examinations: selecting, training and monitoring examiners for the MRCGP, Royal College of General Practitioners. BMJ, 1995; 311(7010):931-5.
11.
Smith LJ, Price D A, Houston IB. Objective structured clinical examination compared with other forms of student assessment. Archives of Disease in Childhood, 1984; 59: 1173-1176.
10.
11.
Wakeford R, Southgat L, Wass V. Improving oral examinations: selecting, training and monitoring examiners for the MRCGP, Royal College of General Practitioners. BMJ, 1995; 311(7010):931-5. Smith LJ, Price D A, Houston IB. Objective structured clinical examination compared with other forms of student assessment. Archives of Disease in Childhood, 1984; 59: 1173-1176.
52
VIVA VOCE IN POSTGRADUATE SURGICAL EXAMINATIONS IN ANGLOPHONE WEST AFRICA LA VIVA VOCE DANS LES EXAMENS CHIRURGICAUX DE TROISIÈME CYCLE EN AFRIQUE OCCIDENTALE ANGLOPHONE BODE CO, UGWU BT*, and DONKOR P**
Abstract The Viva Voce is a form of assessment dating back to antiquity. It is widely used by the Englishspeaking West African Postgraduate Medical Colleges for intermediate and exit level examinations. Although it is still popular till the present day, there is a growing awareness of its limitation as an examination method. This paper explores the origin, format, advantages and limitations of oral examinations in postgraduate surgical assessment and proffers practical guidelines on its usage. Keywords: Viva Voce, Oral Examination, Surgical Postgraduate Assessment, Relevant. Résumé La Viva Voce est une forme d'évaluation qui remonte à l'antiquité. Il est utilisé largement par le troisième cycle des Ecoles de Médecine de l'Afrique de l'Ouest Anglophone pour les examens intermédiaires et finaux. Bien que toujours prisée, il y a une prise de conscience grandissante de ses limites comme méthode d'examen. Cette communication explore l'origine, la dimension, les avantages et limites des examens oraux dans l'évaluation chirurgicale de troisième cycle et propose des directives pratiques pour son emploi. Mots-clé: Viva Voce, Examen Oral, Evaluation de troisième cycle Chirurgicale, Pertinent. “Viva Voce” in Postgraduate Surgical Examinations “Viva Voce” (Medieval Latin) or examination “by word of mouth,” “orally,” “by the living voice,” (Webster's Dictionary) was the earliest form of formal
La "Viva Voce" dans les Examens Chirurgicaux de troisième cycle La "Viva Voce" (latin médiéval) ou examen "de bouche à oreille", "de vive voix", (Dictionnaire Webster) était la forme la plus vieille d'évaluation conventionnelle des élèves médecins et autres, datant de l'époque pré1 médiévale . Historiquement et depuis longtemps, une grande proéminence a été accordée à la parole. Platon a dénigré l'écriture explicitement, tout en déclarant que la parole était supérieure à l'écriture2. Aristotle3 en 350 avant Jésus-Christ a défendu de la même façon
Consultant Paediatric Surgeon Department of Surgery, College of Medicine of the University of Lagos, Nigeria. *Department of Surgery, Jos University Teaching Hospital, Jos, Nigeria. **Department of Surgery, Komfo Anokye Teaching Hospital, Kwame Nkrumah University of Science and Technology Kumasi, Ghana. Correspondence: BODE CO Consultant Paediatric Surgeon Department of Surgery, College of Medicine of the University of Lagos, Nigeria [email protected] Conflict of Interest: None CONFLIT D'INTÉRÊT : AUCUN Grant Support: None ACCORDER UN SOUTIEN AUCUN
40
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
assessment of medical and other apprentices, dating back to pre-medieval times1. Historically and for a long time, great prominence was given to the spoken word. Plato explicitly denigrated writing, stating that the spoken word was superior to the written2. Aristotle3 in 350 BC similarly defended robust oral arguments from which many a philosophical principle and logic emanated. Apprentices were deemed truly worthy of certification in their chosen fields of endeavor after they had satisfied a panel of more than one erudite assessor who tested the candidate's scope and depth of knowledge on sundry topics through an oral discourse within a specified time frame. The candidate would obviously have been well prepared for this session. Although the invention of the printing press and the consequent increased popularity of mass-produced books have since reduced the dependence on the spoken word, Oral Examination (OE) as an examination method remains an important method of assessment in many fields of medical training till date4. In university settings, the Viva is used often to defend theses. It may also be used discretionally to clarify final marks for candidates with borderline marks, unexpected results or sometimes in extenuating circumstances5. While it is
les discussions orales robustes dont bon nombre de principes philosophiques et logiques ont émané. Les élèves étaient jugés vraiment dignes de certification dans les domaines choisis seulement après avoir satisfait un jury d'érudits de l'étendue et la profondeur de leur connaissance sur des sujets divers par le biais d'un discours oral dans un délai déterminé. Le candidat aurait évidemment été bien préparé pour cette session. Bien que l'invention de l'imprimerie, et par conséquent la popularité croissante de la production massive de livres, aient depuis réduit la dépendance par rapport à la parole, l'Epreuve Orale (OE) comme méthode d'examen reste une méthode importante d'évaluation dans beaucoup de domaines de formation médicale jusqu'à ce jour4. Dans le cadre universitaire, la Viva est souvent utilisée pour défendre les thèses. Elle peut aussi être utilisé discrètement pour vérifier les notes définitives des candidats ayant des notes limite, des résultats inattendus ou quelquefois dans les circonstances5 atténuantes.
well known that no single examination technique adequately assesses surgical skills, the oral examination is still very popular with assessors and is widely used in medical 6 curricula worldwide . In viva voce summative assessment at postgraduate surgical fellowship examinations, the candidate has ample chance to assume the teacher mode and verbally display his depth of knowledge on a number of proffered topics. It is the closest an assessor can get in probing for a candidate's competence. This method allows examiners to get a firsthand eyeball-to-eyeball “feel” of the candidate's grasp of the subject, mettle and verbal skills. The examiner can judgmentally “size-up” the candidate's ability. At times, the examiners make judgment, going by their “gut feeling” about the person in front of them.
Alors qu'il est de notoriété qu'aucune technique d'examen ne peut seul rendre compte efficacement des compétences chirurgicales, l'examen oral est encore très populaire chez les examinateurs et est largement utilisé dans des programmes scolaires médicaux de par le monde6. Dans l'évaluation sommative de viva voce aux examens de recherche savante de troisième cycle en chirurgie, le candidat a l'immense chance d'apprécier la méthode du professeur et étaler verbalement la profondeur de sa connaissance sur plusieurs sujets proposés. C'est le plus loin qu'un examinateur peut aller pour l'évaluation des compétences d'un candidat. Cette méthode permet aux examinateurs d'avoir une ''appréciation'' nez à nez de première qualité de la maîtrise du sujet par le candidat, de son ardeur et de ses compétences verbales. L'examinateur peut avec discernement "mesurer" la capacité du candidat. Parfois, les examinateurs jugent la personne devant eux en fonction de sentiments provenant de leur " for intérieur ".
Setting The Viva Voce is a timed process during which a candidate's performance is orally assessed.
41
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
Although a typical surgical textbook may contain more than 60 chapters, only 3-5 randomly asked questions are used at the viva to judge his total knowledge of the syllabus. D i ff e r e n t q u e s t i o n s , v a r i a t i o n s a n d combinations of sundry topics are given to candidates who may be required to compose an essay, solve a puzzle, show deductive reasoning, display his knowledge, describe a procedure or defend a given position or dissertation. It is an interactive format, affording much spontaneity in both the range of questions asked and the candidate's latitude to answer. The aim of the oral examination is to assess the candidate's cognitive knowledge, psychomotor skills and best attitude for good outcome in the chosen specialty.
Le cadre La Viva Voce est un processus chronométré au cours duquel la performance d'un candidat est évaluée oralement. Alors qu'un manuel scolaire chirurgical typique peut contenir plus de 60 chapitres, seulement 3 à 5 questions posées au hasard sont utilisées dans la viva pour juger sa connaissance globale du programme. Diverses questions, variations et combinaisons de sujets différents sont proposées aux candidats à qui on peut demander d'en faire un exposé, résoudre une énigme, faire preuve de raisonnement déductif, étaler sa connaissance, décrire une procédure ou défendre une position donnée ou une dissertation. C'est une méthode interactive qui offre beaucoup de spontanéité à la fois dans la gamme de questions posées et la latitude du candidat à y répondre. Le but de l'examen oral est d'évaluer les connaissances cognitives, les compétences psychomotrices et la meilleure attitude du candidat pour un bon résultat dans la spécialité choisie.
The West African College of Surgeons (WACS), the Faculty of Surgery of the National Postgraduate Medical College of Nigeria(NPMCN) and the Ghana College of Physicians and Surgeons(GCPS) no longer conduct the OE at the Primary Examinations but continue to use it for the intermediate and exit examinations (Parts I and II for WACS or NPMCN and parts II and III for the GCPS examinations). In addition, this method is employed to assess the defense of Part II/III theses, a time honored format of dissertation assessment. In each of the three Englishspeaking postgraduate Colleges the oral examination is used at the Part I examination as follows: ORAL I: Principles of Surgery ORAL II: Operative Surgery & Pathology
Le Collège Ouest Africain de Chirurgie (WACS), la Faculté de Chirurgie de l'Ecole Nationale Supérieure de Chirurgie du Nigeria (NPMCN) et le Collège des Médecins et Chirurgiens du Ghana (GCPS) n'administrent plus l'OE aux examens fondamentaux mais continuent à l'employer pour les épreuves intermédiaires et terminales (Parties I et II pour le WACS ou le NPMCN et Parties II et III pour les examens GCPS). De plus, cette méthode est employée pour évaluer la soutenance de thèses des Parties II/III, une méthode éprouvée d'évaluation de la dissertation. Dans chacune des trois écoles de troisième cycle anglophones l'épreuve orale s'emploie dans la Partie I de l'examen comme suit: ORAL I: Principes de Chirurgie ORAL II: Chirurgie opératoire et pathologie
The initial question may be as broad as “Describe Whipple's procedure.” “What fluids would you use for resuscitation of a patient in an emergency?” What are the principles of cancer chemotherapy?” A trunk question and the level of performance may be raised at the
La question initiale peut être aussi générale que : "Décrivez la procédure de Whipple." "Quels fluides utiliseriez-vous pour la réanimation d'un malade dans une situation critique? " "Quels sont les principes de chimiothérapie du cancer? " La question principale et le niveau de performance peuvent
42
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
être relevés à la discrétion des examinateurs pour tester la profondeur et l'étendue des connaissances du candidat. Il n'est pas d'usage d'engager un(e) candidat(e) jusqu'au point où il/elle montre de la faiblesse. Plutôt, on s'attend à ce que les examinateurs changent de domaines ou entièrement de questions afin de donner au candidat un large éventail de questions dans sa spécialité avant de prendre une décision sur sa compétence/aptitude. Les questions déjà posées lors des épreuves écrites sont d'usage évitées à l'examen oral.
discretion of the examiners in order to test the depth and field of knowledge of the candidate. It is not usual to pin a candidate down to a point where he/she demonstrates weakness. Rather, the examiners are expected to move onto other areas or a different question altogether so as to give the candidate a good spread of questions in the specialty before a decision is made on his/her competence/suitability. Questions already taken in the theory papers are usually avoided at the oral examination. Scoring The candidate's final score is usually computed after all the questions have been asked within the allotted time and after the “bell has gone,” when the candidate has departed. This inevitably creates a time-lag and examiners usually compare notes to reach a consensus. In many Faculties, the “close-marking” system is employed whereby the highest score is 12 over 20 while the lowest is 8. The examiners at the oral examination are usually about three to five in number. The examiners score the candidates under several headings and sum up at the end of the oral examination; block scoring is not used in order to avoid bias and stick to objectivity. In order to maintain the credibility of oral examination, anyone with proven records of corruption or fraud is not used as an examiner.
La notion La note définitive du candidat est calculée d'habitude après avoir posé toutes les questions dans le délai prescrit et après que la "cloche soit sonnée", quand le candidat est parti. Cela crée un décalage horaire et les examinateurs échangent ordinairement leurs impressions pour aboutir à un consensus. Dans beaucoup de Facultés, on emploie le système de "correction serrée" dans lequel la note la plus supérieure est 12 sur 20 alors que la plus inférieure est 8. Les examinateurs de l'épreuve orale sont d'habitude au nombre de trois à cinq. Les examinateurs notent les candidats sous plusieurs titres et additionnent les points à la fin de l'examen oral; la notion en bloc n'est pas utilisée afin d'éviter la partialité et de garder objectivité. Pour maintenir la crédibilité de l'examen oral, quiconque ayant un record avéré de corruption ou de fraude n'est pas utilisé comme examinateur.
Defense of dissertation is not much different from the traditional Viva Voce examination except that the candidate who wrote the thesis knows his/her book inside out. Nonetheless, the assessors would ask probing questions to test the candidate's understanding of his/her subject topic, methodology, results and their interpretations. They also question and criticize the style of writing and point out typographical errors that need to be corrected before the book is finally accepted.
La soutenance de thèse n'est pas tellement différente de l'examen traditionnel de Viva Voce sauf que le candidat qui a écrit la thèse connait son travail à fond. Néanmoins, les assesseurs poseront des questions approfondies pour tester la connaissance du candidat sur son sujet, la méthodologie, les résultats et leurs interprétations. Ils questionnent aussi et critiquent le style d'écriture et signalent des erreurs typographiques qui doivent être corrigées avant que le travail ne soit finalement accepté.
43
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
What are the advantages of Oral Examinations? The Viva Voce requires only a few resource staff and very simple logistics. It is an examination method best suited to small candidate numbers if examiner fatigue is to be avoided. It tests depth of knowledge and gives a measure of the candidate's understanding of practical concepts on the topic. It is also a highly flexible examination format which thus easily detects rote learning. In fact, it tests “thinking on one's feet” as the candidate has to formulate an answer and verbalize it with little room for reordering the given answer once it is spoken. For disciplines such as teaching, broadcasting, legal practice, marketing and for men of the collar vocations where verbal skills are most essential - the Viva Voce tests oratory communication skills, being most rewarding for candidates with the gift of garb. Preparation for the examination requires the least effort for examiners as they may simply jot down some topics from the syllabus on the morning of the event. Lastly, the oral examination is greatly gratifying to the examiners' ego, who are “seen to be sitting in dreadful judgment” with great fanfare.
Quels sont les avantages des Examens Oraux? La Viva Voce n'exige que peu de personnel ressource et une logistique très simple. C'est une méthode d'examen mieux adaptée aux petits nombres de candidat si on veut éviter de fatiguer l'examinateur. Il teste la profondeur des connaissances et détermine le niveau de compréhension des concepts pratiques du sujet par le candidat. C'est aussi une formule d'examen très souple qui décèle facilement donc le par cœur. En fait, il teste la réflexion spontanée puisque le candidat doit formuler une réponse et doit la verbaliser sans avoir le temps de réorganiser la réponse une fois exprimée. Pour des disciplines telles que l'enseignement, la radiodiffusion, la profession juridique, le marketing et pour métiers de col où les compétences verbales sont très essentielles - la Viva Voce teste des compétences de la communication oratoire, cela étant très récompensant pour les candidats qui ont le don de l'apparence. La préparation pour l'examen exige le moindre effort de la part des examinateurs puisqu'ils peuvent noter simplement des points du programme le matin de l'événement. En dernier lieu, l'examen oral satisfait considérablement l'ego des examinateurs qui sont "perçus comme de monstrueux magistrats siégeant" avec grande fanfare.
Drawbacks 1. Low Objectivity Score Although no single examination method is perfect, the Viva Voce rates least among other popular examination methods on any scale of objectivity. This low objectivity score derives from many factors broadly inherent in the methodology itself or traceable to various biases at the examiners / candidate interface7.
Inconvénients 1. Un record de faible objectivité Bien qu'aucune méthode d'examen ne soit parfaite, la Viva Voce est la moins appréciée parmi d'autres méthodes d'examen populaires en termes d'objectivité. Cette faible note d'objectivité découle de beaucoup de facteurs inhérents en gros à la méthodologie elle-même ou imputables à divers partis pris au niveau de 7 l'interaction examinateurs/candidat .
a. Inherent to the Methodology Narrow Scope Inherent to the examination method is its narrow scope, a necessary price for depth of probing. Because so much time is taken in the questioning process on each topic, only 4-6
a. Inconvénients liés à la Méthodologie Ampleur restreinte La limitation du champ de l'examen est inhérente à la méthode employée et représente un prix nécessaire à payer pour la profondeur des questions. Puisqu'on passe tellement de
44
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
temps sur le processus de questionnement sur chaque sujet, seulement 4 à 6 questions peuvent être efficacement posées dans un délai prescrit de 15 à 20 minutes. La performance du candidat sur ces 4 à 6 questions est alors extrapolée pour représenter une performance moyenne à travers tous les sujets dans le programme et il est noté comme ayant réussi ou échoué à l'examen oral. Ce qui peut évidemment ne pas être le cas.
questions can be adequately taken within an allotted time of 15-20 minutes. The candidate's performance on these 4-6 areas is then extrapolated to mean an average performance throughout all the topics in the syllabus and he/she is scored as having passed or failed the oral examination. This obviously may not in fact be so. Non-Uniform Questions Candidates are not given the same questions. This non-uniform, random and unwieldy format of administered questions, while preventing repetition, may sometimes seem like comparing apples with oranges. The performances of three examination candidates who were asked the following questions will be difficult to compare:
Questions non-uniformes Les candidats n'ont pas les mêmes questions. Cette formule non-uniforme, aléatoire et complexe d'administration de questions, tout en évitant la répétition, peut apparaître parfois comme comparer des pommes avec des oranges. Les performances de trois candidats de l'examen à qui on a posé les questions suivantes seront difficiles à comparer:
n “Describe Ladd's Procedure” n “Describe apendicectomy” n “How would you drain a nail-bed abscess?”
n "Décrivez la Procédure de Ladd" n "Décrivez l'appendicectomie" n “Comment draineriez-vous un abcès de la racine des ongles? "
Some obviously seem easier to answer than others and if proffered by an examiner, may be a reflection of his like/dislike of a particular candidate. This problem is sometimes mitigated through the pooling of questions by examiners in a group who may then allow candidates to ballot for questions they will be asked. Other examination methods seek to better address this problem.
Certaines de ces questions paraissent évidemment plus faciles à répondre que d'autres et si elles sont posées par un examinateur, elles peuvent être un reflet de sa sympathie ou de son aversion pour un candidat particulier. Ce problème est atténué quelquefois par la mise ensemble des questions par les examinateurs dans un pool d'où les candidats peuvent alors tirer au choix les questions qui leur seront posées. D'autres méthodes d'examen cherchent à mieux régler ce problème.
Delayed, Varied Scoring Scoring is delayed till the candidate has left and is done one candidate at a time, therefore often shifting the reference point, depending on a good or bad performance of the previous candidate. Even when there is a structured scheme of marking, it does not provide for the individual variations in response among candidates for different segments of the answers. The examiner, meanwhile, forms an
Notation différée, variée La notation est différée jusqu'à ce que le candidat soit parti et se fait candidat par candidat, changeant par conséquent souvent le point de référence selon une bonne ou mauvaise performance du candidat précédent.
45
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
Même quand il y a un corrigé structuré, cela ne prévoit pas les variations individuelles dans la réponse parmi les candidats pour les différentes parties des réponses. Cependant, l'examinateur se former une opinion de chaque aspect et le garde dans son esprit jusqu'à la fin quand ses notes sont comparées avec celles des autres examinateurs pour arriver à une note consensuelle. Noter le candidat sous diverses rubriques convenues à l'avance par les examinateurs peut résoudre en partie ce problème.
opinion on each aspect and stores it in the mind till the end when notes are compared with the other examiner(s) to arrive at a consensus mark. Scoring the candidate under various headings agreed by the examiners may partly solve this problem.
b. Examiners' Factors Biases A number of biases and other factors ascribed to the examiners further diminish the objectivity rating of oral examinations. These, largely, are human factors operating at the examiners/candidate interface, usually not immediately apparent but contributory to the final pronouncement on each person assessed. These, it must be pointed out, may contribute positively or negatively to the outcome of the assessment but each of these influences is a bias. An examiner may exhibit a personal prejudice towards the candidate because of the candidate's (or another candidate's) performance at a lower and higher percentile. Personal bias may also be influenced by previous encounter(s) between the examiner and examinee. A visually pleasing candidate evokes a pleasant disposition in the assessors mind while a sloppy appearance may trigger a dislike. The fairer gender may provoke sympathy while a candidate who has shown up at the same examination on a number of occasions may be perceived as a habitual low performer and be so rated. Ethno-regional and racial partialities are a part of human nature which examiners constantly strive to overcome.
b. Les facteurs liés aux examinateurs Préjugés Un certain nombre de préjugés et d'autres facteurs attribués aux examinateurs diminuent davantage le degré d'objectivité des épreuves orales. Il s'agit, pour une grande part, de facteurs humains qui opèrent dans l'interaction examinateurs/candidat et qui, d'habitude, ne sont pas immédiatement visibles mais contribuent au verdict final sur chaque individu examiné. Ces facteurs, on doit le signaler, peuvent contribuer positivement ou négativement au résultat de l'évaluation mais chacune de ces influences est un préjugé. Un examinateur peut faire preuve de préjugé individuel envers le candidat à cause de la performance du candidat (ou celle d'un autre candidat) à un centile inférieur et plus élevé. Le préjugé individuel peut être aussi influencé par une ou des rencontres antérieures entre l'examinateur et le candidat. Un candidat qui a une bonne mine évoque une disposition agréable chez les assesseurs alors qu'une apparence débraillée peut déclencher une aversion. Le beau sexe peut susciter de la sympathie alors qu'un candidat qui s'est présenté au même examen à plusieurs reprises peut être perçu comme un candidat habituellement faible et sera ainsi évalué. Les penchants ethno-régionalistes et raciaux font partie de la nature humaine que les examinateurs s'efforcent constamment de maîtriser.
Fatigue It is a well-known fact that an examiner's mood may influence the candidate's result. A feisty examiner (from any reason) may exhibit unfair intolerance of minor errors and thus unfairly judge a candidate's performance. Fatigue, low blood sugar and displeasure with host
46
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
institution's hospitality may contribute to this and inform the reason why host communities must keep examiners in stress-free comfort! Similarly, a candidate fatigued by the rigorous Fellowship examination process may not present his/her best.
La fatigue C'est un fait bien connu que l'humeur d'un examinateur peut influencer le résultat du candidat. Un examinateur belliqueux (de toute raison) peut faire preuve d'intolérance injuste pour de petites erreurs et donc évaluer injustement la performance d'un candidat. La fatigue, l'hypoglycémie et le mécontentement vis-à-vis de l'accueil d'un établissement hôte peuvent y contribuer et cela justifie la raison pour laquelle les communautés hôtes se doivent de mettre les examinateurs dans un confort dénué de tout stress! De la même façon, un candidat accablé de fatigue par le processus rigoureux de l'examen savant risque de ne pas y rendre son meilleur.
Harassment Harassment is an untoward effect of the confrontational nature of Viva Voce when the two parties assume adversarial stances. The examination may easily degenerate into an unpleasant event, with the candidate usually becoming a victim and the examiner feeling the victor. The converse may also occur, with the examiner feeling put down by a candidate who “knows too much,” and ending in an equally disastrous consequence for the candidate as well.
Le harcèlement Le harcèlement est un effet fâcheux de la nature conflictuelle de la Viva Voce où les deux partis prennent des positions antagonistes. L'examen peut dégénérer facilement en un événement désagréable, avec le candidat qui devient habituellement une victime et l'examinateur qui se sent vainqueur. L'inverse peut se produire aussi avec l'examinateur qui se sent diminué par un candidat qui "en sait trop", conduisant à une fin également désastreuse pour le candidat.
c. Candidate related factors The difficult first question The oral examination method has never been very popular with candidates for the above many reasons as well as others relating to candidates. A difficult first question may throw off even the best candidate and set the tone of the whole encounter with each party wrongly assuming “he cannot be good.” Luckily, this is not always the case, as such examinee will be given other questions to tackle. Given an abysmal performance on the first question however, a candidate can only hope to escape with an average score at best.
c. Facteurs liés au candidat La question initiale difficile La méthode de l'examen orale n'a jamais été très prisée par les candidats à cause des nombreuses raisons déjà évoquées ci-dessus aussi bien que pour d'autres liées aux candidats. Une question initiale difficile peut dérouter même le meilleur candidat et déterminer le ton de toute la rencontre avec chaque parti qui présume faussement qu'"il ne peut pas être bon." Heureusement, ce n'est pas toujours le cas, puisqu'on proposera au candidat d'autres questions à aborder. Compte tenu de sa performance catastrophique sur la question initiale, un candidat peut espérer ne s'échapper au mieux qu'avec une note moyenne.
Stage fright While the oral examination presents an undue advantage to skillful speakers, stage-fright (brain block, tongue-tie) is more common and remains the most dreaded problem for examination candidates. There are anecdotal accounts of students who have had to prime themselves with ß-blockers (e.g. Propanolol) to stem the panic that usually sets in on sighting a
47
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
Le trac Alors que l'examen oral donne un avantage indu aux bons orateurs, le trac (blocage mental, timidité) est plus commun et reste le problème le plus redouté par les candidats à l'examen. Il y a des anecdotes d'étudiants qui ont dû ingurgiter des ß-Blockers (par exemple le Propanolol) pour dompter la panique qui s'installe d'habitude à la vue d'un jury d'examinateurs redoutés. Ce problème peut être minimisé par une pratique assidue de discours en public et la création d'opportunités abondantes pour l'enseigner aux jeunes internes, officiers de maison, étudiants de médecine et infirmières en visite médicale, ambiance clinique, séminaires et travaux pratiques.
panel of dreaded examiners. This problem can be minimized by constant practice at public speaking and ample opportunities abound for teaching of junior residents, house officers, medical students and nurses at ward rounds, clinic setting, seminars and tutorials. Question pooling Since candidates are assessed at different times, those who are examined later tend to pool questions from candidates exiting the venue and soon, examiners run out of topics and recycle earlier ones. In some instances candidates get to know the favourite questions of examiners and successfully predict the questions they are likely to ask thus diminishing the objectivity of the oral examination.
Regroupement de questions Etant donné que les candidats sont examinés à des moments différents, ceux qui sont interrogés après ont tendance à tirer des questions des candidats qui sortent du lieu d'examen et bientôt, les examinateurs épuisent les sujets et reprennent les précédents. Parfois, des candidats arrivent à savoir les questions favorites des examinateurs et prévoient avec succès les questions qu'ils poseraient, diminuant ainsi l'objectivité de l'examen oral.
2. Slow Pace The Viva Voce is a very slow process for examining large numbers as it cannot examine en-mass like a number of other formats such as essays, MCQ and the Objective scored Clinical Examination (OSCE). This contributes to the high cost (vide infra) 3. High Cost The Viva Voce is a very costly method when examining large candidate numbers as it requires many examiners whose travel expenses, upkeep will have to be borne by the institution for the duration of the examination process. At the West African College of Surgeons, available data suggests that the use of Viva Voce increased the unit cost of administering an examination six-fold per candidate when compared with assessments where only the MCQ system was used. In fact, overall, over 80% of the WACS examination cost was spent on examiners' overheads because of the widespread use of oral . examination by all Faculties of the WACS The
2. La lenteur La Viva Voce est un processus très lent pour examiner en grand nombre puisqu'on ne peut pas examiner en masse comme tant d'autres méthodes tel que l'essai, le QCM et l'Examen Clinique à notation objective (OSCE). Cela contribue à son coût élevé (vide infra). 3. Coût élevé La Viva Voce est une méthode très chère quand on examine de grands nombres de candidats puisque cela exige la participation de plusieurs examinateurs dont les frais de déplacement et de séjour seront supportés par l'établissement pour la durée du processus de l'examen. Au
48
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
Collège Ouest Africain de Chirurgie, les données disponibles suggèrent que l'usage de la Viva Voce a augmenté le prix unitaire de l'administration d'examen six fois par candidat lorsqu'on la compare aux évaluations où le système QCM a été exclusivement utilisé. En fait, dans l'ensemble, on a dépensé plus de 80% du coût des examens du Collège sur les frais généraux d'examinateurs à cause de l'usage répandu de l'examen oral par toutes les Facultés du Collège. Il s'est avéré que la Viva Voce est pleine de subjectivité, donc n'ajoute que très peu à l'évaluation totale par d'autres méthodes de l'examen8.
Viva Voce has been proven to be fraught with subjectivity, thus adding very little to the overall assessment from other examination methods8. Why then is the Oral Examination Method Still Used? Popularity It is a very popular method that dates back to antiquity. Since tradition is very difficult to change, assessors often stick to the dictum “If I went through it, others should” . Thus, those who are adjudged to have passed would seem to have performed to the standard by which the examiners had been certified of yore. The method is also perceived as a flexible tool which adequately tests depth of clinical and academic skills, both of which are closely associated with medical practice9.
Alors, pourquoi utilise-t-on encore la Méthode de l'Examen Orale? La popularité C'est une méthode très populaire qui remonte à l'antiquité. Puisqu'il est très difficile de changer la tradition, les assesseurs s'attachent souvent à l'affirmation selon laquelle "Si je l'avais subi, les autres aussi doivent le subir." Donc, ceux qui sont déclarés avoir réussi auraient l'impression d'avoir satisfait au même standard par lequel les examinateurs avaient été certifiés autrefois. La méthode est aussi perçue comme un outil souple qui éprouve suffisamment la profondeur de compétences cliniques et académiques, deux critères qui sont 9 intimement liés à la profession médicale .
Enormous logistics of alternative options An institution embarking on changing its examination format from the oral to MCQ or Objective Structured Clinical Examination (OSCE) or the steeple-chase will need to invest some initial material and human cost to retraining its examiners and design proper questions and materials to adequately test areas intended. Such changes are usually reluctantly made, as they often pitch older academics with younger ones and highlight the non-awareness and unfamiliarity of many with alternative examination modalities.
Enorme logistique d'options alternatives Une institution qui entreprend de changer sa méthode d'examen oral en QCM ou en Examen Clinique à Objectif Structuré (OSCE) ou en steeple-chase aura besoin d'investir des ressources initiales matérielles et humaines pour le recyclage de ses examinateurs et la conception des questions et matériels adéquats pour tester efficacement les domaines prévus. De tels changements sont d'habitude effectués à contrecœur, puisqu'ils dressent souvent les universitaires plus expérimentés contre les plus jeunes et mettent en valeur la méconnaissance et la non familiarité de beaucoup avec des modalités alternatives d'examen.
Mitigating the Disadvantages of Viva Voce Some of the undesirable features of oral examinations may best be minimized through regular training workshops for examiners to highlight the several limitations of this method and teach about newer concepts on candidate assessment. Under no circumstance should an oral examination ever be performed by a solo examiner. Examining bodies should also realize the inherent limitations of Viva Voce and
49
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
place less emphasis on its scores in the final computation of marks, but rather use such scores only as an adjunct to those obtained from other methods. Objectivity of scoring is increased when a different examiner scores the answer to questions asked by another examiner as practiced in some Royal Colleges in the United Kingdom. Examiners should be well selected, trained, guided and monitored on well entrenched examination protocols10. In addition, questions to be administered should be peer-reviewed and assigned to candidates by balloting. Examiners should be kind, polite and interactive with candidates, rather than intimidating. An examiner should start with simple questions and gradually probe deeper7. It is unacceptable to make fun of a poorly performing candidate. The examiner may give a clue when a candidate encounters a brainblock. The marks awarded for any oral examination should not carry an equal or weightier value of the total computation of marks with other examination methods such as the OSCE and MCQ which have all been proven to be superior to Viva in reliability11. The gradual adoption of more objective assessment methods by our Colleges will eventually relegate orals to the shelves of antiquity. The monitoring role of both internal and external assessors at the examinations of each of the three Anglophone Colleges cannot be overemphasized. The training of trainers' courses organized at both Faculty and College levels have been equally useful.
Atténuer les Inconvénients de la Viva Voce Quelques-uns des aspects indésirables des examens oraux peuvent être mieux minimisés par des ateliers de formation réguliers pour les examinateurs afin de souligner les diverses limitations de cette méthode et leur apprendre les nouveaux concepts de l'évaluation du candidat. Un examen oral ne devrait jamais s'effectuer sous aucun prétexte par un seul examinateur. Les directions d'examens devraient se rendre compte aussi des limitations inhérentes à la Viva Voce et mettre moins d'accent sur ses points dans le dernier calcul des notes, mais plutôt utiliser uniquement de tels points comme un supplément à ceux recueillis à travers les autres méthodes. L'objectivité de la notation est rehaussée quand un examinateur différent note la réponse aux questions posées par un autre examinateur comme cela se fait dans quelques Collèges Royaux au Royaume-Uni. Les examinateurs devraient être bien sélectionnés, formés, guidés et contrôlés sur les protocoles bien établis de l'examen10. De plus, les questions à administrer devraient être évaluées par des pairs et données aux candidats par le tirage au sort. Les examinateurs devraient être gentils, polis et interactifs avec les candidats, plutôt que d'être menaçants. Un examinateur devrait commencer par des questions 7 élémentaires et approfondir progressivement . C'est inadmissible de se moquer d'un candidat faible. L'examinateur peut donner un indice quand un candidat éprouve un blocage mental. Les notes accordées pour tout examen oral ne devraient pas avoir une valeur égale ou supérieure au calcul total des notes avec les autres méthodes de l'examen tel que l'OSCE et le QCM qui se sont tous prouvés être supérieurs à la Viva quant à leur fiabilité11. L'adoption progressive de méthodes de l'évaluation plus objectives par nos Ecoles reléguera finalement les examens oraux aux rayons d'antiquité. Le rôle de contrôle des assesseurs internes et externes aux examens de chacune des trois Ecoles Anglophones ne peut jamais être assez souligné. Les cours de formation des formateurs organisés aux niveaux de la Faculté ainsi que des Ecoles ont été également utiles.
How should candidates prepare for the oral examination? The Viva Voce will remain an integral part of candidate assessment in postgraduate surgical training for the foreseeable future, hence, candidates should appraise themselves of strategies to cope with this much dreaded examination format. A robust postgraduate training programme should include ample
50
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
opportunities for residents to teach as this improves recall, thought organization, style of delivery and confidence in verbal skills. In West Africa, postgraduate surgical training is hospital-based and residents have lots of teaching programmes to test their teaching wings. Reading and understanding does not guarantee true comprehension, the ability to recall and give back a set of facts in a form that is clearly understood by its recipients. Teachers should also strive to engage their wards in mock adversarial roles, challenging and correcting them regularly in simulated preparation for oral examinations. Study groups where roles are played and reversed among participants are also a very helpful preparation strategy. Here, a list of possible /past questions and topics are randomly assigned and candidates speak to them ex tempore and are corrected on the spot for perceived errors of style, language or facts.
Comment les candidats devraient-ils se préparer pour l'examen oral? La Viva Voce restera une partie intégrante de l'évaluation des candidats dans la formation chirurgicale de troisième cycle jusqu'à nouvel ordre. De ce fait, les candidats devraient s'armer de stratégies pour faire face à cette méthode d'examen tant redoutée. Un programme solide de la formation de troisième cycle devrait renfermer d'amples occasions pour les internes de la pratiquer puisque cela améliore la mémoire, l'organisation de la pensée, le style d'expression et la confiance dans les compétences verbales. En Afrique occidentale, la formation chirurgicale de troisième cycle est axée sur l'hôpital et les internes ont beaucoup de programmes d'enseignement pour tester leurs branches d'enseignement. Lire et comprendre ne garantissent pas la vraie compréhension, la capacité de se remémorer et redonner un ensemble de faits dans une forme qui est clairement comprise par ses destinataires. Les professeurs devraient s'efforcer aussi de faire participer leurs étudiants aux jeux de rôles contradictoires, les défier et les corriger régulièrement dans la préparation simulée pour les examens oraux. Les groupes d'étude où les jeux de rôles sont pratiqués et révisés parmi les participants sont aussi une stratégie très utile de préparation. Ici, une liste de questions possibles et passées et des sujets sont distribuées au hasard et les candidats en parlent au pied levé et sont corrigés sur place pour des erreurs de style, d'expression ou de faits.
Conclusion The traditional orals to test basic knowledge for large groups of candidates is considered expensive and at times, wasteful. It also runs the risks of low objectivity, bias, non-uniform application and narrow scope. Worldwide, the Oral Examination is however an important adjunct to other forms of assessment for the higher levels of medical specialists' cadres and its use remains as popular as ever. Examiners and candidates should therefore be prepared for, and find ways to mitigate its shortcomings in order to maximize its derivable benefits.
Conclusion Les épreuves orales traditionnelles pour tester la connaissance de base pour de grands groupes de candidats sont jugées coûteuses et parfois, gaspilleuses. Elles courent aussi les risques de faible objectivité, de préjugé, d'application non-constante et d'ampleur restreinte. De par le monde, l'Examen Oral est cependant un supplément important à d'autres genres d'évaluation pour les niveaux supérieurs des cadres de spécialistes médicaux et son usage reste aussi prisé que jamais. Les examinateurs et candidats devraient par conséquent s'y préparer et trouver des moyens d'atténuer ses
References 1.
h t t p : / / w w w . m e r r i a m w e b s t e r. c o m / d i c t i o n a r y / v i v a % 2 0 v o c e accessed January 26, 2011
2.
Socrates versus Plato: The Origins and Development of Socratic Thinking, Aspects of Education 49, 1993, 9-22; reprinted in Thinking:
51
Viva Voce in Postgraduate Surgical Examinations in Anglophone West Africa La Viva Voce Dans Les Examens Chirurgicaux de Troisième Cycle en Afrique Occidentale Anglophone
The Journal of Philosophy for Children 12/4, 1996, 2-8. http://prs.heacademy.ac.uk/ view.html/prsdocuments/24 Accessed January 26, 2011. 3.
Références
Rhetoric by Aristotle. http://classics.mit.edu /Aristotle/rhetoric.1.i.html Accessed January 26, 2011
4.
Simpson RG, Ballard KG. What is being assessed in the MRCGP oral examinations? A qualitative study. Br J Gen Pract 2005; 55(515):430-6
5.
Finn JA, Crook AC. Oral Examinations for u n d e rg r a d u a t e s t u d e n t s ( t h e “ v i v a ” ) . http://www.stars.rdg.ac.uk/viva.html Accessed January 27, 2011.
6.
défauts afin de maximiser les avantages qui en découlent.
Objective Structured Assessment of Cataract Skills. Saleh GM, Gauba V, Mitra A, Litwin AS, Chung AKK, Benjamin L. Arch Ophthalmol. 2007; 125: 363-366.
1.
http://www.merriam-webster.com/dictionary /viva%20voce Téléchargé le 26 janvier, 2011
2.
Socrates versus Plato: The Origins and Development of Socratic Thinking, Aspects of Education 49, 1993, 9-22; réimprimé dans Thinking: The Journal of Philosophy for Children 12/4, 1996, 2-8. http://prs.heacademy. ac.uk/view.html/prsdocuments/24 Téléchargé le 26 janvier, 2011.
3.
Rhétorique par Aristotle. http://classics.mit.edu/Aristotle/rhetoric.1.i.html Téléchargé le 26 janvier, 2011
4.
Simpson RG, Ballard KG. What is being assessed in the MRCGP oral examinations? A qualitative study. Br J Gen Pract 2005; 55(515):430-6
5.
Finn JA, Crook AC. Oral Examinations for u n d e rg r a d u a t e s t u d e n t s ( t h e “ v i v a ” ) . http://www.stars.rdg.ac.uk/viva.html Téléchargé le 27 janvier, 2011.
7.
Prakash B. How to improve the Viva Voce: Some guidelines. Journal of GMC-Nepal. 2009; 2(3):60-61.
6.
Objective Structured Assessment of Cataract Skills. Saleh GM, Gauba V, Mitra A, Litwin AS, Chung AKK, Benjamin L. Arch Ophthalmol. 2007; 125: 363-366.
8.
Mekasha A. Assessment methods in medical education. Ethiop Med J. 2004; 42(1): 63-71.
7.
Prakash B. How to improve the Viva Voce: Some guidelines. Journal of GMC-Nepal. 2009; 2(3):60-61.
9.
Cobourne MT. What's wrong with the traditional viva as a method of assessment in orthodontic education? J Orthod 2010. 37(2): 128-33.
8.
Mekasha A. Assessment methods in medical education. Ethiop Med J. 2004; 42(1): 63-71.
9.
Cobourne MT. What's wrong with the traditional viva as a method of assessment in orthodontic education? J Orthod 2010. 37(2): 128-33.
10.
Wakeford R, Southgat L, Wass V. Improving oral examinations: selecting, training and monitoring examiners for the MRCGP, Royal College of General Practitioners. BMJ, 1995; 311(7010):931-5.
11.
Smith LJ, Price D A, Houston IB. Objective structured clinical examination compared with other forms of student assessment. Archives of Disease in Childhood, 1984; 59: 1173-1176.
10.
11.
Wakeford R, Southgat L, Wass V. Improving oral examinations: selecting, training and monitoring examiners for the MRCGP, Royal College of General Practitioners. BMJ, 1995; 311(7010):931-5. Smith LJ, Price D A, Houston IB. Objective structured clinical examination compared with other forms of student assessment. Archives of Disease in Childhood, 1984; 59: 1173-1176.
52
