Why answers vary, and where AI fails: bias and hallucination

AI tools can support teaching, planning and communication, but they are not neutral truth machines. They predict from patterns. Because of this, their answers may vary, reflect bias, or present false information confidently.

Learning focus

This reading explains three important limitations of AI tools: variation, bias and hallucination. These limitations matter for teachers because AI-generated content may enter lesson plans, worksheets, feedback, assessment items, parent communication and student learning. A teacher does not need to understand all the technical details of AI, but every teacher needs to know how to read AI outputs carefully.

The most important idea is simple: AI output should be treated as a draft that needs human review. It may be useful, creative and time-saving. It may also be incomplete, unfair, misleading or wrong. Responsible AI use begins with professional judgement.

Variation

The same prompt can produce different answers. This is useful for brainstorming, but risky when facts must be exact.

Bias

AI may favour some groups, languages, cultures or examples while ignoring others.

Hallucination

AI may invent information and present it as if it were true.

1. Why AI answers may vary

A chatbot may give different answers to the same prompt at different times. This is not always a technical error. Many generative AI systems are designed to choose from several likely ways of continuing a sentence, paragraph or explanation. When the task is creative, this flexibility can be helpful. For example, if you ask for five classroom discussion questions, you may want different options. If you ask for alternative wording for a notice to parents, variation can help you choose a better tone.

However, variation becomes risky when the task requires accuracy. If you ask the same factual question three times and receive three different answers, at least one answer may be incomplete or wrong. The fluency of the answer does not guarantee correctness. A chatbot may produce a polished answer even when it is uncertain.

Example

A teacher asks: “What are the main causes of air pollution in Kathmandu Valley?” One response may mention vehicle emissions, dust and brick kilns. Another may focus on waste burning and industrial emissions. A third may add seasonal temperature inversion. Each answer may contain useful points, but the teacher should still verify the facts from reliable sources before using them in class.

Teacher implication

When using AI for classroom preparation, variation should be understood as a signal to check. If the tool gives several different answers, compare them. Ask: What is repeated across answers? What is missing? Which claim needs evidence? Which answer best fits the grade level, curriculum and local context?

Variation is not always bad. It can help teachers generate examples, discussion prompts, role-play situations, simple explanations and alternative activities. But when the answer includes facts, dates, laws, health information, policy, research claims or assessment criteria, the output must be checked.

2. Bias: when AI reflects narrow or unfair patterns

Bias means that an AI output may unfairly favour one group, language, culture, place, viewpoint or type of learner over another. Bias can enter AI systems through training data, design choices, missing voices, social stereotypes and user prompts. If the data used to train a model is narrow, the model’s answers may also become narrow.

Imagine a model that has mostly seen images of sliced bread. If it is asked to identify food, it may recognise sliced bread quickly but fail to recognise roti, sel-roti, dhindo, gundruk or other local foods. The problem is not that local food is less important. The problem is that the model’s experience is limited. In the same way, a language model may respond better to English examples than to Nepali, Maithili, Tamang, Tharu, Newari or other local languages if those languages are less represented in its training data.

Bias can appear in examples

A chatbot may give classroom examples from urban, wealthy or English-speaking contexts while ignoring rural, multilingual or low-resource school realities.

Bias can affect learners

In Nepal, bias may affect learners by gender, caste, ethnicity, language, disability, geography, religion, income level, school type and cultural background.

Bias in a school setting

Suppose a teacher asks an AI tool to “write a story about a good student.” If the story repeatedly describes the good student as quiet, obedient, high-scoring, urban, male or fluent in English, the story may unintentionally reinforce stereotypes. Good learning is not limited to one gender, one language, one personality type or one social group.

Similarly, if an AI tool suggests classroom activities that require fast internet, individual devices and large classroom space, those suggestions may not fit many schools. A teacher needs to adapt AI-generated content to the actual classroom situation.

Better teacher prompt

“Create a Grade 7 science activity for a Nepali public school with limited internet access. Use locally available materials, include both boys and girls equally, and make the activity accessible for students with different reading levels.”

3. Hallucination: when AI invents information

Hallucination means that an AI tool presents false or invented information as if it were true. This can happen when the model does not know the answer, misunderstands the prompt, combines unrelated information, or tries to produce a complete-sounding response even without enough evidence.

Hallucination is dangerous because it may look normal. The answer may have good grammar, confident wording and a professional tone. It may even include names, dates, book titles or citations that look real. But some details may be invented. For this reason, teachers should not assume that a detailed answer is automatically reliable.

High-risk areas

Be extra careful when AI outputs include:

  • laws, policies, circulars or official dates;
  • medical, safety or child protection advice;
  • research findings, references or citations;
  • student assessment decisions;
  • local facts, names, places or statistics;
  • claims about communities, cultures or identities.
How to recognise possible hallucination

You cannot always detect hallucination by reading style alone. However, some warning signs can help. If an answer includes very specific facts but no source, be careful. If the answer gives a citation that you cannot find, be careful. If it gives an official-sounding policy without a link or document name, be careful. If the answer changes when you ask again, check it. If the answer is about current events, laws, admissions, exam schedules or government decisions, verify from official sources.

A practical verification routine

Teachers can use a simple routine before accepting AI-generated content:

  1. Identify the claim: What important facts does the AI output make?
  2. Separate facts from wording: Is the tool giving factual information, or just helping with language?
  3. Check one reliable source: Use a textbook, official website, policy document or trusted publication.
  4. Look for missing context: Does the answer fit Nepal, the local community and the grade level?
  5. Check fairness: Does it include diverse learners and avoid stereotypes?
  6. Revise before use: Edit the output using your professional knowledge.
Mini case: AI-generated quiz question

A teacher asks a chatbot to create five quiz questions about earthquakes for Grade 8. The chatbot gives clear questions and answers. Before using them, the teacher should check whether the facts are correct, whether the language is suitable, whether the examples are locally meaningful, and whether the questions encourage safety awareness rather than fear.

The teacher may keep two questions, revise two questions and reject one question. This is responsible use. The goal is not to avoid AI completely. The goal is to use AI as an assistant while keeping the teacher’s judgement at the centre.

Red line

Verify before you trust. AI output is a draft to be checked, not a fact to be accepted on sight.

Reflection task

Choose one AI-generated answer you might use in your teaching. Before accepting it, answer these questions:

  1. Which parts are factual and need verification?
  2. Which parts may show bias or missing perspectives?
  3. How will you adapt it for your students and local context?
Key message

AI can help teachers work faster and generate ideas, but it can also vary, reflect bias and hallucinate. Responsible teachers use AI critically: check facts, look for bias, adapt to context and keep human judgement in control.

५ · उत्तर किन फरक हुन्छ र एआई कहाँ असफल हुन्छ: पक्षपात र भ्रमपूर्ण उत्तर

एआई उपकरणले शिक्षण, योजना निर्माण र सञ्चारमा सहयोग गर्न सक्छ, तर ती निष्पक्ष सत्य बताउने मेसिन होइनन्। तिनीहरूले ढाँचाका आधारमा अनुमान गर्छन्। त्यसैले उत्तर फरक हुन सक्छ, पक्षपात देखिन सक्छ वा गलत जानकारी आत्मविश्वासका साथ प्रस्तुत हुन सक्छ।

सिकाइको केन्द्र

यस पढाइले एआईका तीन महत्वपूर्ण सीमितता बुझाउँछ: उत्तर फरक पर्नु, पक्षपात र भ्रमपूर्ण उत्तर। यी सीमितता शिक्षकका लागि महत्वपूर्ण छन्, किनकि एआईबाट बनेको सामग्री पाठयोजना, कार्यपत्र, प्रतिक्रिया, मूल्याङ्कन प्रश्न, अभिभावकसँगको सञ्चार र विद्यार्थीको सिकाइमा प्रयोग हुन सक्छ। शिक्षकले एआईको सबै प्राविधिक पक्ष जान्नैपर्छ भन्ने छैन, तर एआईको output कसरी सावधानीपूर्वक पढ्ने भन्ने अवश्य जान्नुपर्छ।

सबैभन्दा महत्वपूर्ण विचार सरल छ: एआईको output लाई मानवीय समीक्षा आवश्यक पर्ने मस्यौदाका रूपमा लिनुपर्छ। यो उपयोगी, सिर्जनात्मक र समय बचत गर्ने हुन सक्छ। तर यो अपूर्ण, अन्यायपूर्ण, भ्रामक वा गलत पनि हुन सक्छ। जिम्मेवार एआई प्रयोग व्यावसायिक विवेकबाट सुरु हुन्छ।

उत्तर फरक पर्नु

एउटै prompt ले फरक उत्तर दिन सक्छ। विचार संकलनका लागि उपयोगी भए पनि तथ्यमा जोखिमपूर्ण हुन सक्छ।

पक्षपात

एआईले केही समूह, भाषा, संस्कृति वा उदाहरणलाई बढी महत्व दिएर अरूलाई बेवास्ता गर्न सक्छ।

भ्रमपूर्ण उत्तर

एआईले बनाइएको वा गलत जानकारीलाई सत्यजस्तै प्रस्तुत गर्न सक्छ।

१. एआईको उत्तर किन फरक हुन सक्छ?

च्याटबोटले एउटै prompt मा फरक समयमा फरक उत्तर दिन सक्छ। यो सधैँ प्राविधिक त्रुटि होइन। धेरै जेनेरेटिभ एआई प्रणालीहरू वाक्य, अनुच्छेद वा व्याख्या अगाडि बढाउने धेरै सम्भावित तरिकामध्ये छनोट गर्न बनाइएका हुन्छन्। सिर्जनात्मक काममा यो लचिलोपन उपयोगी हुन्छ। उदाहरणका लागि, तपाईंले पाँचवटा छलफल प्रश्न माग्नुभयो भने फरक विकल्पहरू उपयोगी हुन सक्छन्। अभिभावकलाई पठाउने सूचना फरक शैलीमा लेख्न लगाउँदा पनि भिन्नता उपयोगी हुन सक्छ।

तर तथ्यात्मक शुद्धता आवश्यक हुँदा यही भिन्नता जोखिमपूर्ण हुन्छ। यदि एउटै तथ्यात्मक प्रश्न तीन पटक सोध्दा तीन फरक उत्तर आयो भने, कम्तीमा एउटा उत्तर अपूर्ण वा गलत हुन सक्छ। उत्तर प्रवाहपूर्ण छ भन्दैमा त्यो सही हुन्छ भन्ने हुँदैन। च्याटबोट अनिश्चित भए पनि आत्मविश्वासी शैलीमा उत्तर दिन सक्छ।

उदाहरण

शिक्षकले सोधे: “काठमाडौँ उपत्यकामा वायु प्रदूषणका मुख्य कारणहरू के हुन्?” एउटा उत्तरले सवारी साधनको धुवाँ, धुलो र इँटा भट्टा उल्लेख गर्न सक्छ। अर्को उत्तरले फोहोर जलाउने काम र उद्योगलाई बढी जोड दिन सक्छ। तेस्रो उत्तरले मौसमी तापक्रम inversion थप्न सक्छ। सबै उत्तरमा उपयोगी बुँदा हुन सक्छन्, तर शिक्षकले कक्षामा प्रयोग गर्नुअघि विश्वसनीय स्रोतबाट तथ्य जाँच गर्नुपर्छ।

शिक्षकका लागि अर्थ

कक्षाको तयारीमा एआई प्रयोग गर्दा उत्तर फरक आउनुलाई जाँचको संकेतका रूपमा बुझ्नुपर्छ। यदि उपकरणले धेरै फरक उत्तर दियो भने तिनलाई तुलना गर्नुहोस्। सोध्नुहोस्: कुन कुरा सबै उत्तरमा दोहोरिएको छ? के छुटेको छ? कुन दाबीलाई प्रमाण चाहिन्छ? कुन उत्तर कक्षास्तर, पाठ्यक्रम र स्थानीय सन्दर्भसँग बढी मिल्छ?

फरक उत्तर आउनु सधैँ खराब होइन। यसले उदाहरण, छलफल प्रश्न, भूमिका निर्वाह, सरल व्याख्या र वैकल्पिक गतिविधि सिर्जना गर्न मद्दत गर्न सक्छ। तर उत्तरमा तथ्य, मिति, कानुन, स्वास्थ्य सूचना, नीति, अनुसन्धान दाबी वा मूल्याङ्कन मापदण्ड छ भने output अवश्य जाँच गर्नुपर्छ।

२. पक्षपात: जब एआईले साँघुरो वा अन्यायपूर्ण ढाँचा देखाउँछ

पक्षपात भनेको एआईको output ले कुनै समूह, भाषा, संस्कृति, ठाउँ, दृष्टिकोण वा सिकाइकर्ताको प्रकारलाई अनुचित रूपमा बढी महत्व दिनु वा अरूलाई बेवास्ता गर्नु हो। पक्षपात प्रशिक्षण तथ्याङ्क, डिजाइन निर्णय, छुटेका आवाज, सामाजिक stereotype र प्रयोगकर्ताको prompt बाट आउन सक्छ। यदि मोडेललाई तालिम दिने तथ्याङ्क साँघुरो छ भने मोडेलको उत्तर पनि साँघुरो हुन सक्छ।

कल्पना गर्नुहोस्, कुनै मोडेलले प्रायः sliced bread का तस्वीर मात्र देखेको छ। उसलाई खाना चिन्न भनियो भने उसले sliced bread छिटो चिन्न सक्छ तर रोटी, सेलरोटी, ढिँडो, गुन्द्रुक वा अन्य स्थानीय खानालाई नचिन्न सक्छ। समस्या स्थानीय खाना कम महत्वपूर्ण हो भन्ने होइन। समस्या मोडेलको अनुभव सीमित हुनु हो। त्यस्तै, भाषा मोडेलले नेपाली, मैथिली, तामाङ, थारू, नेपाल भाषा वा अन्य स्थानीय भाषाभन्दा अंग्रेजी उदाहरणमा राम्रो प्रतिक्रिया दिन सक्छ, यदि ती भाषा training data मा कम प्रतिनिधित्व भएका छन् भने।

पक्षपात उदाहरणमा देखिन सक्छ

च्याटबोटले ग्रामीण, बहुभाषिक वा सीमित स्रोत भएका विद्यालयको वास्तविकता बेवास्ता गर्दै शहरी, सम्पन्न वा अंग्रेजी माध्यमका उदाहरण दिन सक्छ।

पक्षपातले विद्यार्थीलाई असर गर्न सक्छ

नेपालमा पक्षपातले लिङ्ग, जात, जातीयता, भाषा, अपाङ्गता, भूगोल, धर्म, आयस्तर, विद्यालय प्रकार र सांस्कृतिक पृष्ठभूमिका आधारमा विद्यार्थीलाई असर गर्न सक्छ।

विद्यालय सन्दर्भमा पक्षपात

मानौं, शिक्षकले एआई उपकरणलाई “राम्रो विद्यार्थीबारे कथा लेख” भने। यदि कथाले राम्रो विद्यार्थीलाई बारम्बार चुपचाप बस्ने, आज्ञाकारी, उच्च अंक ल्याउने, शहरी, पुरुष वा अंग्रेजीमा दक्ष भनेर मात्र चित्रण गर्छ भने त्यसले stereotype बढाउन सक्छ। राम्रो सिकाइ कुनै एक लिङ्ग, भाषा, व्यक्तित्व वा सामाजिक समूहमा मात्र सीमित हुँदैन।

त्यस्तै, यदि एआई उपकरणले छिटो इन्टरनेट, व्यक्तिगत उपकरण र ठूलो कक्षाकोठा चाहिने गतिविधि सुझाउँछ भने ती सुझाव धेरै विद्यालयमा उपयुक्त नहुन सक्छन्। शिक्षकले एआईबाट आएका सामग्रीलाई आफ्नो वास्तविक कक्षा अवस्थाअनुसार अनुकूलन गर्नुपर्छ।

राम्रो शिक्षक prompt

“सीमित इन्टरनेट पहुँच भएको नेपाली सार्वजनिक विद्यालयका कक्षा ७ का लागि विज्ञान गतिविधि बनाऊ। स्थानीय रूपमा उपलब्ध सामग्री प्रयोग गर, केटा र केटी दुवैलाई समान रूपमा समेट, र फरक पढाइ स्तर भएका विद्यार्थीका लागि पनि पहुँचयोग्य बनाऊ।”

३. भ्रमपूर्ण उत्तर: जब एआईले जानकारी बनाउँछ

भ्रमपूर्ण उत्तर भन्नाले एआई उपकरणले गलत वा बनाइएको जानकारीलाई सत्यजस्तै प्रस्तुत गर्नु हो। यस्तो तब हुन सक्छ जब मोडेललाई उत्तर थाहा हुँदैन, prompt गलत बुझ्छ, असम्बन्धित जानकारी मिलाउँछ वा पर्याप्त प्रमाणबिना पूरा सुनिने उत्तर दिन खोज्छ।

भ्रमपूर्ण उत्तर खतरनाक हुन्छ, किनकि त्यो सामान्य जस्तै देखिन सक्छ। उत्तरको व्याकरण राम्रो हुन सक्छ, भाषा आत्मविश्वासी हुन सक्छ र शैली व्यावसायिक हुन सक्छ। कहिलेकाहीँ यसमा नाम, मिति, पुस्तक शीर्षक वा citation जस्ता वास्तविक देखिने विवरण पनि हुन सक्छन्। तर तीमध्ये केही विवरण बनाइएका हुन सक्छन्। त्यसैले विस्तृत उत्तर स्वतः विश्वसनीय हुन्छ भन्ने मान्नु हुँदैन।

उच्च जोखिम क्षेत्र

एआई output मा यी कुरा आएमा विशेष सावधानी अपनाउनुहोस्:

  • कानुन, नीति, परिपत्र वा आधिकारिक मिति;
  • चिकित्सा, सुरक्षा वा बाल संरक्षण सल्लाह;
  • अनुसन्धान नतिजा, सन्दर्भ वा citation;
  • विद्यार्थी मूल्याङ्कन निर्णय;
  • स्थानीय तथ्य, नाम, ठाउँ वा तथ्याङ्क;
  • समुदाय, संस्कृति वा पहिचानसम्बन्धी दाबी।
सम्भावित भ्रमपूर्ण उत्तर कसरी चिन्ने?

लेखाइको शैली हेरेर मात्रै भ्रमपूर्ण उत्तर सधैँ पत्ता लगाउन सकिँदैन। तर केही संकेतले सावधान गराउन सक्छ। यदि उत्तरले धेरै विशिष्ट तथ्य दिन्छ तर स्रोत दिँदैन भने सावधान हुनुहोस्। यदि citation खोज्दा भेटिँदैन भने सावधान हुनुहोस्। यदि आधिकारिक सुनिने नीति link वा कागजातबिना उल्लेख गर्छ भने सावधान हुनुहोस्। यदि फेरि सोध्दा उत्तर बदलिन्छ भने जाँच गर्नुहोस्। यदि उत्तर हालका घटना, कानुन, भर्ना, परीक्षा तालिका वा सरकारी निर्णयबारे छ भने आधिकारिक स्रोतबाट प्रमाणित गर्नुहोस्।

व्यवहारिक प्रमाणीकरण प्रक्रिया

एआईबाट बनेको सामग्री स्वीकार गर्नु अघि शिक्षकहरूले सरल प्रक्रिया अपनाउन सक्छन्:

  1. दाबी पहिचान गर्नुहोस्: AI output ले कुन महत्वपूर्ण तथ्य भनिरहेको छ?
  2. तथ्य र भाषा छुट्याउनुहोस्: उपकरणले तथ्यात्मक जानकारी दिइरहेको छ कि भाषा मिलाउन मात्र सहयोग गरिरहेको छ?
  3. एक विश्वसनीय स्रोत जाँच गर्नुहोस्: पाठ्यपुस्तक, आधिकारिक वेबसाइट, नीति कागजात वा विश्वसनीय प्रकाशन प्रयोग गर्नुहोस्।
  4. छुटेको सन्दर्भ खोज्नुहोस्: उत्तर नेपाल, स्थानीय समुदाय र कक्षास्तरसँग मिल्छ?
  5. न्याय जाँच गर्नुहोस्: विविध विद्यार्थी समेटिएका छन्? stereotype छैन?
  6. प्रयोग गर्नु अघि संशोधन गर्नुहोस्: आफ्नो व्यावसायिक ज्ञान प्रयोग गरेर output सम्पादन गर्नुहोस्।
सानो केस: एआईबाट बनेको quiz question

शिक्षकले च्याटबोटलाई कक्षा ८ का लागि भूकम्पबारे पाँचवटा quiz question बनाउन भने। च्याटबोटले स्पष्ट प्रश्न र उत्तर दियो। प्रयोग गर्नु अघि शिक्षकले तथ्य सही छन् कि छैनन्, भाषा उपयुक्त छ कि छैन, उदाहरण स्थानीय रूपमा अर्थपूर्ण छन् कि छैनन्, र प्रश्नहरूले डर होइन सुरक्षा सचेतना बढाउँछन् कि छैनन् भन्ने जाँच गर्नुपर्छ।

शिक्षकले दुई प्रश्न राख्न, दुई प्रश्न संशोधन गर्न र एउटा प्रश्न हटाउन सक्छन्। यो जिम्मेवार प्रयोग हो। उद्देश्य एआई पूर्ण रूपमा नचलाउने होइन। उद्देश्य एआईलाई सहायकका रूपमा प्रयोग गर्ने तर शिक्षकको विवेकलाई केन्द्रमा राख्ने हो।

रेड लाइन

विश्वास गर्नु अघि प्रमाणित गर्नुहोस्। एआईको output जाँच गर्नुपर्ने मस्यौदा हो, हेरेकै भरमा स्वीकार गर्ने तथ्य होइन।

प्रतिबिम्ब कार्य

तपाईंले शिक्षणमा प्रयोग गर्न सक्ने एउटा AI-generated answer छान्नुहोस्। स्वीकार गर्नु अघि यी प्रश्नहरूको उत्तर दिनुहोस्:

  1. कुन भाग तथ्यात्मक छ र प्रमाणीकरण चाहिन्छ?
  2. कुन भागमा पक्षपात वा छुटेका दृष्टिकोण हुन सक्छन्?
  3. यसलाई आफ्नो विद्यार्थी र स्थानीय सन्दर्भका लागि कसरी अनुकूलन गर्नुहुन्छ?
मुख्य सन्देश

एआईले शिक्षकलाई छिटो काम गर्न र विचार सिर्जना गर्न सहयोग गर्न सक्छ, तर यसको उत्तर फरक पर्न सक्छ, पक्षपात देखिन सक्छ र भ्रमपूर्ण उत्तर दिन सक्छ। जिम्मेवार शिक्षकले एआईलाई आलोचनात्मक रूपमा प्रयोग गर्छन्: तथ्य जाँच गर्छन्, पक्षपात खोज्छन्, सन्दर्भअनुसार अनुकूलन गर्छन् र मानवीय विवेकलाई नियन्त्रणमा राख्छन्।

Last modified: Sunday, 28 June 2026, 3:19 PM