Генетические исследования особенностей поведения начались вскоре после вторичного открытия законов Менделя. Накопившийся к настоящему времени материал показывает, что многие особенности поведения наследуются по законам Менделя, однако в большинстве случаев ряд факторов изменяет картину их наследования.

Для генетических исследований поведения удобной моделью оказались оборонительные реакции у животных. Этому вопросу посвящен ряд исследований.

В 1932 г. Давсоном были проведены исследования способа наследования резко выраженной пугливости диких мышей по сравнению со слабой выраженностью этого признака у лабораторных мышей. Всего было исследовано 3376 особей. Использовался объективный метод регистрации: время пробежки по коридору (длиной 24 фута) при пугании мыши передвигающимся движком. Предварительное исследование выявило высокую корреляцию (r=+0,92+0,003) между отдельными испытаниями одних и тех же мышей, указывающую на значительную стабильность изучаемых признаков поведения. Среднее время пробежки для диких мышей составляло 5 с, для домашних — 20 с.

В первом поколении наблюдалось почти полное доминирование пугливости диких мышей. Среди особей второго поколения значительно увеличилась вариабельность в степени пугливости (рис. 1) по сравнению с F₁. На основании своего исследования Давсон пришел к выводу, что различие в пугливости между дикими и домашними мышами определяется двумя или тремя генами. Практически все дикие мыши гомозиготны по этим доминантным генам. Помимо основных генов, определяющих степень пугливости родительского поколения, на формирование изучаемых признаков оказывают влияние несколько модификаторов.

Это исследование показало наследование особенностей поведения по законам Менделя, однако оно в то же время проиллюстрировало, что это наследование осуществляется, как и в случае большинства количественных различий между признаками, при участии полимерных генов. Наследуемость особенностей поведения по тем же законам, по каким наследуются морфологические признаки, ясно указывает, что эволюция поведения осуществляется в результате естественного (или искусственного) отбора наследственных изменений. На это указывал еще Ч. Дарвин в главе об инстинктах в «Происхождении видов». В настоящее время накопился значительный материал, подтверждающий воззрения Дарвина по этому вопросу.

В качестве примера, показывающего роль селекции в изменении характера поведения, могут быть приведены работы по геотаксису у Drosophila melanogaster. На рис. 2 приведены результаты селекции по изменению геотаксиса. Селекция в течение 65 поколений привела к дивергенции: были созданы линии с ясно выраженным положительным и отрицательным геотаксисом. Обратная селекция (проводившаяся между 52-м и 64-м поколением) повела к изменению характера геотаксиса. На основании гибридологического анализа авторы приходят к выводу о полигенной природе произошедших изменений в поведении мух, которые зависят от генов, расположенных в аутосомах и Х-хромосоме.

Наряду с гибридологическим анализом различий в особенностях поведения очень существен феногенетический метод, позволяющий устанавливать механизм наследственного осуществления генотипически обусловленных признаков. Примером простой зависимости наследования различных особенностей поведения от морфологических признаков является выбор температурного оптимума у мышей. Так, например, в работах Гертера было показано, что дикие мыши и альбиносы выбирают различную температуру во время отдыха. Оказалось, что температурный оптимум диких мышей — 37,36°, белых — 34,63°. Обнаружена простая картина наследования этого оптимума. Изучение показало, что температурный оптимум определяется густотой меха и толщиной эпидермиса на коже живота мыши. У белых мышей густота меха меньше, чем у диких (число волосков на единицу площади 45:70, а толщина эпидермиса больше — отношение 23:14). Особенно ясная зависимость установлена между температурным оптимумом и густотой шерсти. У гибридов F_i; температурный оптимум близок к оптимуму белых мышей: он равен 34,76±0,12°, густота шерсти — 43,71 волоска на единицу площади.

В уменьшенном масштабе приведены результаты обратной селекции (селекция мух с наиболее отрицательным геотаксисом в положительной линии и наиболее положительным в отрицательной линии). Жирные кривые — селекция на отрицательный геотаксис; тонкие — на положительный. Точками обозначены участки кривой, отображающие поколения, по которым отсутствуют данные (по Эрленмайер-Киммлингу и др., 1962).

При обратном скрещивании (F₁ × дикие мыши) произошло расщепление на две группы. У одной группы оптимум соответствовал таковому у белых мышей (+34,56°±0,12) при густоте меха 52,7 волоска, в другой группе температурный оптимум был близок к оптимуму диких мышей (37°); У этой группы число волосков на единицу площади составляло 70,94. Воспитывая мышей при различной температуре, Гертер пришел к выводу, что, помимо наследственно обусловленной толщины эпидермиса и густоты шерсти, определяющих температурный оптимум, наблюдается и модификационное приспособление каждой мыши к той температуре, в которой она воспитывается. Это модификационное приспособление может изменить характерный для данной особи оптимум выбора места отдыха. Этот пример ясно показал зависимость формирования адаптационной реакции поведения от генотипически обусловленных морфологических признаков организма.

Примером, в котором при помощи генетического метода удалось отдифференцировать наследование типа поведения от наследования морфологических признаков, явилась работа Мазинг по изучению фотореакции у Drosophila melanogaster. Исследование показало, что путем отбора в течение 26 поколений не удалось выделить линию, в которой бы все особи реагировали или не реагировали на свет. Это указывает на неполное проявление генов, обусловливающих разную активность мух по отношению к свету. Мухи с редуцированными глазами (Ваг, Ваг еуеless) реагируют на свет, однако реакция у них замедленная. Среди безглазых особей из линии eyeless встречаются мухи, которые оказываются активно реагирующими на свет. Это показало, что глаза не являются единственным рецептором, воспринимающим свет. Резкое ослабление фотореакции, отмеченное у мух с редуцированными крыльями, давало основание предположить, что фоторецепторы расположены на крыле. Опыты с обрезанием крыльев у мух из линии, активно реагирующей на свет, привели к значительному ослаблению положительного фототаксиса. Это подтвердило предположение о значительной роли поверхности крыльев в осуществлении фотореакции мух. Однако генетический анализ показал, что это, очевидно, не так. Система генетического анализа проводилась таким образом, что мухи vestigial скрещивались с нормальной линией мух, активно реагирующей на свет. Положительный фототропизм оказался полностью доминантным признаком. Мухи vestigial, появляющиеся в F₂, скрещивались опять с нормальными мухами. После 17 поколений «вкрещиваний» гена vestigial в нормальную линию, когда генотипическая среда гена vestigial была практически заменена генотипом нормальных мух, оказалось, что мухи с редуцированными крыльями стали активно реагировать на свет. Это показало, что слабая фотореакция мух vestigial определяется нередуцированностью крыльев. Данное исследование подтвердило взгляд некоторых энтомологов, что восприятие света осуществляется всей поверхностью тела, а не связано специфически с глазами или с поверхностью крыла.

Примером очевидной зависимости наследственно обусловленного поведения от различий активности половых желез могут служить исследования Мак-Гилла и Бляйта, в которых было показано, что наступление времени половой активности самцов, приводящее к спариванию после предыдущего спаривания (с эякуляцией), чрезвычайно различно в разных линиях мышей. У мышей линии C57BL/6 это время составляло в среднем 96 ч, а в линии DBA/2–1ч. Быстрое восстановление половой активности доминантно. При обратном скрещивании F₁ × C57 BL/6 время восстановления половой активности равнялось в среднем 12 ч; при этом наблюдалась большая вариация, указывающая на расщепление по этому признаку.