Об измерении сложности учебного текста по естественно научным дисциплинам

Майер Роберт Валерьевич доктор педагогических наук профессор, кафедра физики и дидактики физики, Глазовский государственный педагогический институт 427628, Россия, Республика Удмуртия, г. Глазов, ул. Калинина, 8А Mayer Robert Valerievich Doctor of Pedagogy Professor, the department of Physics and Didactics of Physics, Glazov State Pedagogical Training Institute 427628 Russia, The Udmurt Republic, Glazov, Kalinina Street 8A, unit #79 robert_maier@mail.ru Другие публикации этого автора

Уровень усвоения школьником естественно научных дисциплин во многом зависит от качества используемых учебных пособий, их сложности и понятности для ученика. Создание новых учебников и методик преподавания физики, химии, биологии и других предметов требуют разработки методов измерения дидактических характеристик различных элементов учебного материала (ЭУМ), к которым могут быть отнесены фрагменты теории, практические и теоретические задачи, описания научных экспериментов и т.д. Проблема контент–анализа учебных текстов и оценки их сложности является актуальной [1–3].

Учителя и школьники, сравнивая различные учебные дисциплины, интуитивно “реагируют” на уровень абстрактности изучаемых вопросов, поэтому, как отмечал В.П. Беспалько, критерием сложности учебного текста прежде всего является его степень теоретичности и абстрактности ^{[4, c. 97–98]}. Она зависит от соотношения между опытом ученика и содержанием учебного материала: “учебный предмет представляется учащемуся тем более сложным, чем больше разница в ступенях абстракции учебника и прошлого опыта ученика” ^{[4, c. 98]}. Чем выше сложность и ниже уровень знаний, тем большую трудность представляет данный учебный материал для ученика и тем меньше его доступность. Я.А. Микк утверждал, что “научность без доступности теряет смысл: незачем обучать, если школьники не могут усвоить учебный материал” ^{[5, с. 3]}.

Возможны различные подходы к измерению сложности учебного текста [3 – 7]. Например, в книге Я.А. Микка ^{[5, с. 32]} выделяются следующие компоненты сложности текста: 1) информативность; 2) лингвистическая сложность; 3) ясность структуры; 4) абстрактность изложения. При этом подразумевается, что лингвистическая сложность текста зависит от разнообразия словаря, средней длины слов и средней длины предложений. Для определения уровня абстрактности текста используют шкалы конкретности–абстрактности, либо подсчитывают количество слов с абстрактными суффиксами ^{[5, с. 45]}.

В настоящей статье рассматривается проблема приближенной оценки дидактической сложности (ДС) учебников по естественно–научным дисциплинам за 5–11 классы. При этом рассматриваются два метода определения дидактической сложности (ДС) учебных текстов: 1) путем подсчета количества научных терминов и учета их сложности с помощью компьютера; 2) методом парных сравнений различных текстов друг с другом.

На наш взгляд дидактическая сложность текста должна быть сведена к величинам, которые поддаются измерению и имеют практический смысл для организации обучения. Такими величинами являются: 1) количество слов, которые произносит учитель или читает ученик; 2) время, требуемое для восприятия или усвоения данного информационного блока. При этом можно представить среднестатистического школьника, успешно закончившего 5–ый класс, которому учитель объясняет сущность вопроса, изложенного в данном тексте, сообщая при этом все необходимые определения используемых понятий и формулировки законов. Чем больше слов должен произнести учитель, тем больше для этого требуется времени и тем выше сложность текста.

Для большинства школьников основную трудность представляет собой не собственно чтение текста, а понимание и усвоение некоторых довольно абстрактных рассуждений о строении Вселенной, структуре атомов и молекул, процессов, происходящих внутри живого организма и т.д., а также приобретение навыка использования этих знаний для решения задач. Если предположить, что ученик не испытывает трудностей с чтением длинных слов и предложений, то можно не учитывать лингвистическую сложность. Тогда дидактическая сложность ДС учебного текста будет определяться исключительно его смыслом. Можно считать, что ДС приближенно равна его уровню абстрактности, который пропорционален числу и сложности используемых понятий, суждений, логических выводов, математических выражений и рисунков, несущих абстрактную информацию. Учебный текст, содержащий понятия “синус”, “логарифм”, “производная”, “интеграл”, ощутимо сложнее текста, в котором на качественном уровне объясняется диффузия или Солнечное затмение.

Один из подходов к определению сложности учебного текста состоит в подсчете количества входящих в него понятий и учете их сложности. Если текст содержит рисунок или формулу (математическую или химическую), то их следует заменить максимально кратким словесным описанием, а затем определить его сложность. При этом предполагается, что ДС текста пропорциональна сумме сложностей всех составляющих его слов.

Необходимо выработать критерии оценки сложности слов (понятий) в учебном тексте. Если данное слово (собственное или нарицательное) входит в словарь по физике, математике, химии, биологии и т.д., то оно является научным термином. Представим, что анализируемый текст читает среднестатистический ученик, успешно закончивший 5 класс общеобразовательной школы, которого будем условно называть “школьником”. Дидактическая сложность слов, входящих в текст, определяется так:

ДС s=1: слова, которые не являются научными терминами и используются школьником в повседневной жизни (“падает”, “течет”, “вращается”).

ДС s=2: 1) научные термины с низкой степенью абстрактности, изучаемые в 1–5 классах, используемые школьником в повседневной жизни и не требующие объяснений (“шар”, “воздух”, “испарение”, “почва”, “растение”, “Луна”); 2) имена собственные, часто употребляющиеся в повседневной жизни, обозначающие географические, астрономические и иные объекты, которые демонстрируются по телевидению и не требуют пояснений; 3) арифметические операции: сложение, вычитание, умножение, деление.

ДС s=3: 1) научные термины, имеющие среднюю степень абстрактности, не использующиеся в повседневной жизни и требующие несложных пояснений; они обозначают или характеризуют явления и объекты, с подобными которым школьник встречается ежедневно (“импульс”, “напряжение”, “кадмий”) или которые он может очень редко наблюдать (“Солнечное затмение”, “клетка”, “рубин”); 2) имена собственные, обозначающие географические, астрономические и иные объекты, которые редко употребляются в повседневной жизни, плохо известны ученику и требуют пояснений (“тропик”, “Плутон”); 3) математические термины: линейная зависимость, прямая или обратная пропорциональность, векторная сумма или разность.

ДС s=4: 1) научные термины с высокой абстрактностью, соответствующие явлениям и объектам, которые ученик в принципе не может ощутить органами чувств и вынужден напрягать свое воображение, чтобы их представить. Они не похожи на объекты, наблюдаемые в повседневной жизни (“двойная звезда”, “нейтрон”, “ген”, “зигота”, “ядро клетки”, “молекула” без учета структуры, “моль”). К этой категории относятся объекты микромира, мегамира, а также абстрактные понятия, которые сложно объяснить школьнику. 2. Математические операции и функции: возведение в нецелую степень, стандартная запись числа, извлечение корня, синус, косинус, тангенс.

ДС s=5: 1) научные термины с очень высокой абстрактностью, обозначающие объекты и процессы, состоящие из большого числа компонентов (частиц), которые ученик в принципе не может пронаблюдать (“атом натрия” как система из 11 протонов, 12 нейтронов и 11 электронов; “молекула ДНК” с учетом структуры); 2) математические термины, обозначающие сложные функции и операции: потенцирование, логарифмирование, дифференцирование, интегрирование, нахождение предела, скалярное произведение векторов. К этой группе относятся термины, которые очень сложно объяснить школьнику.

Допустим, необходимо оценить дидактическую сложность какого–либо утверждения, например, закона Ома. Представим себе учителя физики, который, объясняя его сущность, описывает соответствующую физическую ситуацию (явление, эксперимент и т.д.) и дает определения всем используемым понятиям (терминам). ДС закона пропорциональна затраченному времени, поэтому для ее определения следует оценить сложность текста, состоящего из: 1) формулировки закона; 2) описания физической ситуации (явления, опыта), соответствующей данному закону; 3) определений научных терминов, входящих в формулировку закона. При этом единицей измерения текстовой сложности является одно упоминание слова с s = 1. Пример такого текста приведен ниже.

Закон Ома для участка цепи: Сила тока прямо пропорциональна напряжению на участке цепи. Анализируемое явление: к источнику напряжения подключим последовательно соединенные резистор и амперметр, параллельно резистору включим вольтметр; изменяя напряжение на полюсах источника, будем измерять силу тока. Сила тока: заряд, проходящий через проводник за единицу времени. Электрический заряд: эбонитовая палочка при трении о мех приобретает заряд. Напряжение: разность потенциалов. Резистор: проводник с известным сопротивлением. Прямая пропорциональность: во сколько раз увеличивается аргумент, во столько же раз увеличивается функция. Сопротивление: отношение напряжения к силе тока. (сложность понятий, выделенных жирным курсивом не учитывалась; сложность текста 113).

Рассмотренный выше подход перекликается с методом А.М. Сохора ^{[5, с. 34 – 35]}, который для оценки сложности текста делил понятия на: 1) знакомые или житейские, которые в тексте нигде не раскрываются; 2) незнакомые или научные, для которых даны определения в тексте. Анализируя текст, он выписывал определения всех научных понятий, находил в этих определениях другие научные понятия, выписывал их определения, и так до тех пор, пока не останутся только знакомые понятия. Сложность или информационная глубина текста считалась пропорциональной числу выписанных определений.

С целью повышения объективности оценки ДС текста и повторяемости получающихся результатов подсчет терминов удобно осуществлять с помощью специальной компьютерной программы ^{[6, 7]}. Она, используя словарь–тезаурус, определяет частоты упоминания различных терминов в текстовом файле и учитывает их сложность, которая определена в соответствии с представленными выше критериями. Работа эксперта в этом случае состоит из следующих этапов: 1) составление словаря–тезауруса; 2) оценка дидактической сложности входящих в него терминов ^[8]; 3) подготовка файла с анализируемым текстом; 4) создание и запуск программы, анализирующей текст; 5) интерпретация результатов. Рассмотренный выше текстовый блок имеет сложность 113. Предложенный метод удобно применять для оценки ДС небольших учебных текстов, для которых словарь-тезаурус не очень велик. Для определения ДС учебников следует привлекать экспертов, использующих соответствующие шкалы или критерии сложности, метод парных сравнений и т.д.

Любой текст состоит из суждений, каждое из которых – не просто совокупность слов, а система взаимосвязанных понятий, поэтому его сложность, строго говоря, не равна сумме сложностей этих понятий. Из теории систем ^[9] известно, что сложность любой системы зависит от степени разнообразия, количества и сложности составляющих ее элементов (подсистем) и связей между ними. Утверждение, состоящее из “простых” понятий может выражать сложную мысль, которая многим будет трудна для понимания. Учесть “смысловую” составляющую сложности текста можно, если осуществлять экспертную оценку всего текста, не раскладывая его на отдельные термины. При этом эксперт может: 1) оценивать ДС учебного текста по некоторой шкале, получая числовые значения; 2) применять метод парных сравнений, сопоставляя каждые два учебных текста из заданной совокупности и вычисляя ДС для каждого текста.

Изучение основ естественных наук предполагает построение и анализ качественных и количественных моделей рассматриваемых явлений природы, выполнение практических заданий, решение задач и т.д. Поэтому логично предположить, что дидактическая сложность изучаемых в школе вопросов определяется: 1) разнообразием и абстрактностью качественных объяснений и их оторванностью от повседневной жизни (характеристика A); 2) сложностью математических методов и моделей, разнообразием решаемых количественных задач (характеристика В).

Сложность или абстрактность качественных рассуждений А учебного текста пропорциональна степени оторванности рассматриваемых вопросов от повседневной жизни школьника. В теории познания абстрактное противопоставляется конкретному. К самому низкому уровню абстракции относится конкретная вещь, воспринимаемая органами чувств (“данное растение”, “именно этот амперметр”, “конкретная пробирка с реактивом”). Более высоким уровнем абстракции является понятие родовой сущности вещи (“соляная кислота вообще”, “любое насекомое”, “каждое дерево”). Следующий уровень соответствует использованию в своих рассуждениях идеализированных моделей (“капельная модель ядра”, “электронная орбиталь”, “модель молекулы белка”) или объектов (“фотон”, “позитрон”, “хромосома”), которые школьник не может пронаблюдать ни повседневной жизни, ни в физической лаборатории.

Чтобы оценить сложность качественных рассуждений А, необходимо определить уровень абстрактности используемых моделей, степень их оторванности от повседневного опыта школьника, наличие противоречия между ними. При этом следует учитывать: 1) возможность восприятия рассматриваемого объекта (или его аналога) органами чувств; 2) изменение объекта с течением времени; 3) число степеней свободы, количество независимых переменных, определяющих состояние объекта; 4) размеры, пространственная локализация объекта или временная протяженность процесса; 5) наличие структуры и ее сложность; 6) соответствие поведения объекта “здравому смыслу”.

Известно, что изучение природоведения и географии в 4 – 6 классах предполагает обсуждение сравнительно простых объектов, многие из которых (или подобные которым) встречаются в жизни каждого человека (реки, горы, различные растения, животные, насекомые). При рассмотрении каких-то воображаемых объектов (ядро Земли, клетка растения) глубина теоретического изучения не велика. В то же время освоение курсов физики и химии в 9–11 классах требует от школьников развитого абстрактного мышления. Даже рассмотрение механических и тепловых явлений предполагает использование идеализированных моделей (материальная точка, молекула, идеальный газ) и разнообразных математических абстракций (система отсчета, вектора и их проекции, графики и т.д.). При изучении же основ электродинамики, оптики, атомной и ядерной физики обучаемые вынуждены представлять в своем воображении различные объекты (электромагнитные волны, атомы, элементарные частицы) и явления (фотоэффект, ядерный распад), которые не воспринимаются их органами чувств непосредственно, а некоторые из них не могут быть изучены экспериментально с помощью имеющихся в кабинете физики приборов.

Основы естественных наук нашли свое отражение в следующих школьных дисциплинах: окружающий мир (3 – 4 кл.), природоведение (5 кл.), география (6 – 8 кл.), биология (6 –11 кл.), экология (10 – 11 кл.), физика (7 – 11 кл.) и химия (8 – 11 кл.). Для оценки характеристики A (абстрактность качественных объяснений) школьных учебников был проведен их анализ с целью оценки сложности и разнообразия представленных в них объектов и процессов. Эксперт просматривал учебник, обращая внимание на названия тем и параграфов, рисунки, определения и формулировки законов, выявляя при этом наиболее сложные вопросы. Учебники попарно сопоставлялись друг с другом, результат сравнения выражался в простановке оценки –1, 0 и 1 в соответствующую ячейку таблицы Excel. Оценка 1 (или –1) на пересечении i–ой строки и j–ого столбца означает, что количество оцениваемого качества A в i–том учебнике заметно больше (или меньше), чем в j–том. Если количества качества A в обоих учебниках примерно одинаковы, то ставилась оценка 0. После заполнения всей таблицы вычислялось значение A’_i для i–ого учебника; для этого из суммы оценок i–ой строки вычиталась сумма значений i–ого столбца.

Оценка дидактической сложности используемых математических моделей (характеристика B) производилась аналогичным методом. Математическая сложность учебного текста зависит от: 1) сложности и разнообразия формул, рисунков, содержащих математические абстракции; 2) сложности и разнообразия решаемых задач; 3) требуемого от ученика уровня знаний математики для понимания материала. Понятно, что учебник физики за 9 класс, в котором используются только арифметические операции, в этом смысле заметно проще учебника физики за 11 класс, для понимания которого необходимо знать тригонометрические формулы и производные. Результаты оценок, полученных методом парных сравнений, нормировались так, чтобы получающиеся значения A и B лежали в интервале от 0 до 1 (рис. 1.1). Коэффициент корреляции между А и В, найденный в программе Excel, составляет 0,51; это означает, что выбранные характеристики можно рассматривать как независимые.

На рис. 1.1 приведена таблица, содержащая: 1) список учебников, расположенных в порядке возрастания их дидактической сложности; 2) код учебника, используемый на рис. 1.2; 3) соответствующие значения характеристик А, В и дидактической сложности учебника S. На рис. 1.2 представлено распределение учебников в двумерном пространстве признаков, образованном взаимно перпендикулярными осями А и В. При этом дидактическая сложность i–того учебника пропорциональна длине отрезка, соединяющего i–ую точку с началом координат O. Степень различия между двумя учебниками определяется расстоянием между соответствующими им точками в пространстве признаков A и B. Например, учебник географии за 8 кл. в этом смысле ближе к учебнику биологии за 8 кл. (расстояние 0,14), чем к учебнику химии за 8 кл. (расстояние 0,50). Из рис. 1.2 видно, что все учебники можно разделить на следующие группы: 1) учебники географии, природоведения, экологии и биологии за 6–8 кл., имеющие низкую сложность (ДС меньше 0,4); 2) учебники биологии за 9–11 кл. с высокой сложностью качественных рассуждений A и низкой сложностью математических моделей B; 3) учебники физики и химии за 9–11 классы, имеющие высокие значения показателей А и В (S больше 0,65). Учебники за различные классы, соответствующие одной дисциплине, соединены линиями. Видно, что: 1) ДС учебников биологии возрастает за счет увеличения A; 2) ДС учебников физики и химии при переходе к старшим классам возрастает за счет увеличения обеих характеристик A и B; 3) ДС учебников природоведения, географии и экологии сравнительно не высока. Учебники физики превосходят учебники химии за те же классы по характеристике B, но “проигрывают” по характеристике A. На рис. 1.2 штриховкой выделена область пространства A – B, в которую попадают учебники алгебры и геометрии, имеющие высокую сложность математических моделей, но практически не содержащие качественных моделей природных явлений.

В статье рассмотрены единые критерии оценки ДС научных понятий по различным естественно научным дисциплинам и метод определения ДС путем подсчета количества научных терминов и учета их степени абстрактности с помощью компьютера. Также показано, что дидактическая сложность изучаемых в школе вопросов определяется разнообразием и абстрактностью качественных и математических моделей. Проанализированы современные учебники по природоведению, географии, биологии, физике, химии, и произведено их по-парное сравнение друг с другом. Это позволило для каждого учебника определить степень сложности качественных и количественных моделей, проанализировать их распределение в этом пространстве признаков. Предлагаемые методы и результаты оценки дидактической сложности учебных текстов могут быть использованы для сравнения различных параграфов, тем, учебных пособий и выявления соответствующих закономерностей.