이러닝에서의 평가

1. 평가

(1) 평가의 정의

    - 교육의 목표가 얼마나 잘 달성되었는지 검토하는 일

    - 교육의 목표의 달성도 측정

    - 학습자 평가 뿐 아니라 교수자 평가, 교육 자체의 평가

(2) 평가의 전제조건

    - 평가는 교육목표 달성의 평가이어야

    - 평가는 그 자체가 교육적이어야

    - 평가는 학습개선과 효율화에 기여할 수 있어야

(3) 평가의 목적

    - 학습자의 교육목표 달성도를 파악하기 위해

    - 교수자의 교수활동에 대한 자기반성(성찰) 자료를 얻기 위해

    - 교육의 질 제고를 위해 교육전반에 대한 자료를 수집하고 가치판정을 내리기 위해

    - 학습자의 향후 진로 등 방향 등을 지도하기 위해

(4) 교육에서의 평가의 기능

    - 학습동기 강화

    - 교수학습 과정의 개선에 도움

    - 학습자의 학습정도 점검, 학습 방해점 진단, 개인차 확인 등

    - 학습자의 능력을 토대로 수준에 맞는 다음과정에 배치

(5) 평가의 영역

    - 학습자 평가 : 학력, 지능, 적성, 성격, 행동 등

    - 교수자 평가 : 교수방법, 교재활용, 교육과정 평가 등

    - 학교 등 교육기관 평가 : 운영계획, 조직관리, 시설관리, 교수-학습활동 지원, 사후관리 등

(6) 평가와 교수-학습 과정의 관계

    - 평가는 교육과정 마지막 단계이며 교수-학습 전 과정에서 이루어짐

    - 교육목표 단계 : 철학, 사회, 내용 등에서의 타당성 평가

    - 학습내용 선정과 조직단계 : 교육목표를 달성할 수 있는가에 대한 평가

    - 교수-학습 과정 단계 : 교육목표 달성에 기여하고 있는가에 대한 평가

    - 학습자 측면 : 교수-학습 과정에 따른 평가(진단, 형성, 총괄)가 이루어져야

(7) 평가의 강조점

    - 교육목표 달성도를 높이기 위해 진단, 형성, 총괄평가로 나누어 실시하는 경향

    - 교육목표를 “관찰할 수 있는 행동”을 중심으로 구체적으로 진술하는 경향

(8) 평가와 측정

    - 측정 : 객관적인 사실을 정확히 양으로 나타내는 활동

    - 평가 : 측정해서 얻은 자료를 기초하여 설정된 교육목표에 비추어 가치유무를 따져보는 일

    - 평가가 측정보다 더 포괄적임

2. 평가의 유형

(1) 진단평가

    - 교수학습 활동 시작 초기에

        · 교수 전략을 위한 기초 자료 얻기

        · 학습자의 기초 능력을 진단하는 평가

    ► 진단평가의 특징

        - 학습을 시작하기 전 학습자이 현재 위치를 결정하기 위해 실시

        - 진단에 따라 교수 전략이 극대화 될 수 있도록 학습자를 지원

        - 학습자가 학습에서 나타내는 계속적인 결함의 원인, 환경적 정보를 수집하여 적절한 의사 결정을 하는 것

    ► 진단기능

        - 선수학습 능력 진단 : 선행학습의 결손을 진단하고 교정을 위한 평가

        - 사전학습 능력 진단 : 학습하고자 하는 내용을 얼마나 미리 달성하고 있는지 평가

        - 학습자의 흥미, 성격, 적성에 따라 처방을 내리기 위한 평가

(2) 형성평가

    - 교수-학습 진행 중 학습자에게 피드백을 주고 교육과정을 개선하기 위해 실시

    ► 형성평가의 특징 : 피드백과 교정!

    ► 형성평가의 기능

        - 학습진도의 개별화

        - 피드백 효과

        - 학습 곤란 진단

        - 학습 동기 촉진

        - 교수-학습 전략에 활용

    ► 형성평가 도구 제작시 유의사항

        - 중요 학습요소 모두 포함

        - 선택형, 단답형 등 다양한 형태로 측정

        - 분석은 학습요소를 달성했는지 못했는지

        - 학습오류에 대해서는 직접적인 피드백을 주어야

(3) 총괄평가

    - 학습자의 학업 성취 수준을 종합적으로 판정하고 성적을 주기 위해 실시

    ► 총괄평가의 목적과 기능

        - 성적 결정

        - 다음 학습에서의 성공 예언

        - 교수-학습 방법의 개선

        - 집단간의 학습 효과비교

    ► 총괄평가의 특징

        - 학습 내용에 대해 교수의 효과가 어느 정도인지 판단

        - 평가의 빈도는 적으나 평가시간은 긴 편

        - 전체 교육목표를 기준으로 가장 잘 대표할 수 있는 문항 표본을 골고루, 난이도는 30~70%, 평균 난이도는, 50% 정도로

(4) 능력 평가

    - 사람이 무엇을 할 수 있는가에 관련

    - 적성평가

    - 학력평가 : 얼마나 학습하였는지    

(5) 인성평가

    - 사람이 무엇을 하려고 하느냐에 관련

    - 성격 : 사회적 가치와 결부된 개인의 행동

    - 적응 : 사회에 어울려 살 수 있는 행동의 형태

    - 기질 : 인간의 기분, 생활양식 등에 대한 평가

    - 흥미 : 하고자 하는 행동 경향

    - 태도 : 사건, 사물, 인물에 대한 행동 경향

3. 평가의 도구

(1) 타당도(validity)

    1) 타당도의 개념

        - 평가도구가 내용, 목표 그 자체를 얼마나 충실히 측정하고 있는가의 정도를 나타냄(얼만큼 충실히 측정?)

    2) 타당도의 추정 방법

        ► 내용타당도

            - 평가하려고 하는 내용을 어느 정도 충실히 측정하고 있는가를 논리적으로 측정하려는 타당도(전문가 판단)

            - 준거 : 교육목표, 교육과정, 교재내용을 얼마나 충실하게 재고 있는가?

        ► 예언타당도

            - 평가도구가 목적하는 준거를 얼마나 정확하게 예언하는 능력을 가지고 있는가를 알아보는 것

            - 선행검사 점수와 준거와의 상관관계로 표시

        ► 공인타당도

            - 해당 평가 점수와 그 점수 외에 다른 어떤 점수간의 상관계수로 파악하는 방법

            - 평가가 정말로 의도하는 특성을 재어주고 있는가에 관심

            - 예언타당도와 공인타당도는 기준만 차이(미래, 현재), 어떤 기준에 대한 관계를 밝힌 다는 점에서 동일.
              이 두 타당도를 합쳐 준거타당도라고 함

        ► 구인타당도

            - 평가가 의도하는 특성을 측정하는가를 이론적 가설을 세워 경험적으로 검증 또는 논리적으로 따지는 과정

            - “공부 잘하는 학생이 친구가 더 많을 것이다”라는 추리를 규명하는 경우 사회성을 확인하는 구인타당화 과정

 

(2) 신뢰도(reliability)

    1) 신뢰도의 개념

        - 평가에서 얻어진 점수를 얼마만큼 믿을 수 있는가에 대한 정도

        - 측정의 오차가 얼마나 작은가?

    2) 신뢰도 추정 방법

        ► 재검사 신뢰도

            - 한 평가를 같은 집단에서 일정한 시간 간격을 두고 측정

            - 전과 후의 점수 사이에 어느 정도의 안정성이 있느냐를 보는 관점으로 안정성 계수라고 함

            - 난점 : 실시 간격에 따라 오차가 발생(대개 2~4주) / 전 후 검사시 여러 변인(태도, 동기, 검사시간)을 통제하기
             어려워 오차가 커질 수 있음

        ► 동형검사 신뢰도

            - 동질적인 내용으로 2개를 만들어 같은 대상에게 실시 후 두 검사에서 얻어진 점수 사이의 상관계수를
              산출하는 방법 (동형적 계수라고도 함)

            - 재검사 신뢰도의 단점을 보완하지만 실제로 두 검사를 완벽하게 동질적으로 구성하기 어려움

        ► 반분신뢰도

            - 한 개의 평가를 한 대상에 실시한 후 평가를 두 부분으로 나누어 독립된 평가로 취급하여 이들의 상관계수를
              나타내는 방법

            - 재검사 신뢰도가 부적당하거나 동형검사를 만들기 어려울 때 사용

            - 계산된 두 부분 검사를 통해 전체 신뢰도를 추정해야 함

            - 스피어만-브라운 예언 공식과 루론 공식 사용

        ► 문항내적 합치도(동질성 계수)

            - 각각의 평가 문항이 독립된 한 개의 평가라 보고 합치성, 동질성, 일치성을 종합하려는 방법

            - 쿠더-리처드슨 공식 활용

        ► α 계수법(Cronbach의 α 계수)

            - 한 평가를 독립적인 검사들로 나누어, 나누어진 검사점수들의 변량합과 나누어지기 전의 검사 점수를 변량을
             고려하여 신뢰도를 산출하는 방법

    3) 신뢰도를 높이는 요인

        - 시험의 문항이 많을수록 / 객관식에서 선택할 답지가 많을수록(5지선다)

        - 문항은 적절한 난이도를 가져야 / 난이도가 50% 수준의 문항들로 구성

        - 문항 변별도도 고려해야 하므로 난이도는 25~75% 가 적당

        - 문항의 지시문이나 설명이 명확해야

        - 시험시간은 충분히 줘아(신뢰도는 속도검사에는 적용되지 않음)

        - 부정행위 방지

        - 신뢰도와 타당도

            · 신뢰도를 높이는 것은 타당도를 높이기 위한 필요조건이지만 충분조건은 되지 않음

            · 타당도는 없으나 신뢰도가 높은 측정도구가 있을 수 있음

(3) 객관도(objectivity)

    1) 객관도의 개념

        - 평가자의 신뢰도라고도 함

        - 평가자에 따라 평가점수가 일관성이 있는 정도

        - 평가결과가 평가자간 또는 시간이 흐름에 따라 어느 정도 일치하느냐 정도

    2) 객관도를 높이는 요인

        - 평가도구를 객관화 시켜야

        - 평가자의 역량 높이기

        - 명확한 평가 기준

        - 여러 사람이 공동으로 평가해서 그 결과를 종합하는 것(논문평가)

        - 반응내용에만 충실한 채점(글씨 보지 않기)

 

(4) 실용도

    1) 실용도 개념

        - 평가도구가 비용, 시간, 노력을 적게 들이고도 평가 목적을 얼마나 달성할 수 있느냐의 정도

    2) 실용도를 높이는 요인

        - 평가의 실시와 채점이 쉬어야 함

        - 해석과 활용이 용이해야 함

        - 비용 시간 등이 절약되어야 함

 

(5) 문항의 유형

(6) 선택형 문항 유형

    1) 주관식 문항이 바람직한 경우

        - 문장을 통한 표현 능력과 구성 능력 등을 강조하고자 할 경우

        - 학습자의 태도나 의견에 더 관심이 있는 경우

        - 학습자 수가 적고 동일한 문항을 다시 사용할 필요 없을 때

        - 객관식 문항을 제작할 시간이 없을 때

    2) 객관식 문항이 바람직한 경우

        - 평가 결과에 더 관심이 크거나 신뢰할 수 있는 평가 결과가 필요할 때

        - 평가의 공정성, 객관성에 영향을 끼칠 수 있는 외적 요인을 제거하고자 할 경우

        - 평가해야 하는 학습자 수가 많고 동일한 문항을 다시 사용할 경우

    3) 진위형

        - 주어진 문항에 대해 진위 또는 정오를 판단하여 반응하도록 하는 문항

        - 장점

            · 읽기 능력이나 언어능력이 발달하지 않은 저학년 대상

            · 정해진 시간에 많은 양 출제

            · 어떤 교수목표나 내용을 쉽게 적용

            · 구조가 간단하며 오류 가능성 낮음

        - 단점

            · 추측 요인이 크게 작용하여 신뢰도 낮음

            · 문항 자체가 진위 여부의 혼란을 가져올 수 있음

            · 고등정신기능 측정 불가능

    4) 배합형

        - 전제와 답지를 제시하고 관련있는 것끼리 짝짓기 하는 형태

        - 장점

            · 채점이 신뢰롭고 객관적(객관도 및 신뢰도 높일 수 있음)

            · 배합하는 형식을 자유롭게 할 수 있기 때문에 여러 평가 목적에 적절히 변형 가능

            · 문항 제작이 간단하고 고등정신능력과 관련된 분석, 판단, 비교, 해석능력 측정 가능

        - 단점

            · 잘못된 제작은 진위형이나 마찬가지로 단편 지식을 측정할 가능성 있음

            · 배합형의 전제조건인 동질적인 전제와 동질적인 답지 개발이 어려워 무리한 문항이 될 수 있음

            · 배합형은 진행됨에 따라 배합의 수가 적어져 정답의 단서를 제공할 수 있음

    5) 선다형

        - 문항에 질문이 있고 그 다음에 두 개 이상의 답지로 구성한 문항

            ① 최선답형 : 다음주 이러닝의 기본 목적은 무엇인가? 1) 2) 3) 4) 5)

            ② 다답형 : 이리닝의 구성 요소를 두 개 이상 고르시오

            ③ 불완전 문장형 : 문장에 들어갈 정답을 제시된 답 중에 찾아내게 하는 방법을 ________라 한다

                1) 최선답형......4) 정답형

            ④ 정답형 : 여러 개의 답지 중 한 개의 정답이 있고 다른 것은 전혀 관계없는 오답으로 되어 있는 형식

            ⑤ 합답형 : 다음 중 이러닝 구성요소로만 묶인 것인?

            ⑥ 부정형 : 다음중 LMS의 특징이 아닌 것은?

        - 장점

            · 유통성과 신축성이 높음

            · 채점이 쉽고, 객관적이어서 객관성과 신뢰성이 높음

            · 문항내 보기를 수정해서 문항의 난이도 조절 가능

        - 단점

            · 다른 선택형에 비해 좋은 문항 만들기가 어려움

            · 선다형 보다는 진위형이 적합한 내용을 선다형으로 만들어 지식위주 문항을 만드는 결함 발생

            · 선다형은 학습이 낮은 학생에게 유리한 측면 있음

    6) 단답형

        - 간단한 단어, 숫자나 기호 등을 사용하여 반응하도록 유도

        - 장점 : 추측요인 배제 / 문항 제작 쉬움 / 도표나 그림 등에 표시된 명칭과 관련된 것 측정하는데 적합

        - 단점 : 단편적이고 사실적인 지식 수준 이상을 측정하는데 부적합 / 채점 어려움(채점의 주관성도 문제)

    7) 완성형

        - 문제 중 일부를 빼놓고 간단한 단어, 숫자, 기호 로 반응하도록 요구

        - 장점 : 추측요인을 배제할 수 있고 비교적 문항 제작이 쉬움

        - 단점 : 단편적이고 사실적인 지식수준 이상을 측정하는데 부적합

    8) 논문형

        - 어떤 질문 혹은 지시에 따라 자유롭게 반응할 수 있는 문항

        - 장점

            · 반응의 자유도가 큼

            · 고등정신기능을 측정하는데 효과적

            · 문항제작이 쉽다

            · 표현력을 학습시키는데 효과적

        - 단점

            · 채점이 객관적이지 못하고 신뢰성 낮음

            · 문항의 표본수가 제한적

            · 채점에 시간과 노력이 많이 소요

<!--[if !supportEmptyParas]--> <!--[endif]-->

4. 온라인 평가

(1) 진단/형성평가

    - 진단/형성 평가의 경우 콘텐츠 내에서 이루어지는 경우 많음

    - 진단 평가의 경우 활용 범위와 목적에 따라 별도의 온라인 평가 시스템 구축이 필요

    - 형성 평가의 결과가 학습자의 새로운 학습 위치를 정해야 할 경우 LMS 등과 연계되도록 해야

(2) 총괄평가

    - 콘텐츠와 별도의 평가 시스템에서 하는게 바람직

    - 평가 유형, 평가 내용 등에 따라 문제은행을 구축하여 데이터 베이스를 통해 문항관리

    - 문항에 대한 메타데이터도 필요

(3) 온라인 평가의 장점

    - 많은 학습자 대상 가능

    - 평가결과를 신속하게 분석

    - 학습자와 교수자 모두 빠른 피드백 가능

    - 문제은행 운영을 통해 문항의 난이도, 신뢰도, 타당도, 변별력 등을 관리할 수 있음