Теоретические основы компаративного метода всегда были уязвимыми, но его реальные достижения трудно было оспаривать. Об этом писал еще в 1908 г. выдающийся швейцарский лингвист, ученик Соссюра Альбер Сеше (1870–1946): «Эта регулярность фонетических законов, эта проверенная эмпирически и так удачно использованная грамматистами гипотеза нуждалась в рациональном обосновании. Такая попытка была предпринята, но и здесь проявилось отставание теории от практики, и следует признать, что эта попытка так до сих пор и не увенчалась успехом. И если мы по-прежнему верим в плодотворность этого принципа, то потому, что он существует и приносит пользу, а совсем не потому, что мы его поняли». Если серьезных попыток опровержения сравнительно-исторического метода никогда не было, то предложенное Шлейхером его «рациональное обоснование», то есть теоретические принципы, не раз подвергалось критике в разные эпохи. Особо надо отметить таких ученых, как Бодуэн де Куртенэ и Трубецкой.
Главным недостатком компаративистики Бодуэн де Куртенэ считал неучет факта смешения, схождения языков. Свою статью 1901 г. он полемически назвал «О смешанном характере всех языков». Он постоянно указывал на языки, для которых концепция «родословного древа», по его мнению, неверна. Это пиджины и креольские языки, которые он понимал достаточно широко: «Особую группу при классификации языков составляют смешанные языки.… В том же ряду стоят такие консолидированные, определившиеся уже языки, как: еврейско-немецкий говор[3], китайско-русский язык в Кяхте и Маймачине или китайско-английский на южном побережье Китая[4] и т. д. На эти языки мы смотрим свысока, презрительно называя их «жаргонами», но не следует забывать, что подобные жаргоны иногда вырастают в очень уважаемые и могучие языки. Достаточно назвать английский язык. Вообще мы имеем право сомневаться в чистоте очень многих языков». Как подчеркивал Бодуэн де Куртенэ, «нет и быть не может ни одного чистого, не смешанного языкового целого». Уже у ребенка, как он указывает, происходит смешение языков взрослых. Пусть в каких-то (далеко не во всех) языках один из источников смешения более значим, чем другие, но всё равно отказ от признания смешения языков, согласно Бодуэну де Куртенэ, — сильное упрощение реальности.
Что такое пиджин? Как писал российский лингвист Виктор Алексеевич Виноградов (1939–2016), это «не результат естественного исторического развития языка, а результат вторичного преобразования его в условиях регулярных и массовых этноязыковых контактов»; они «используются как средство межэтнического общения в среде смешанного населения». Чаще всего они возникали либо в условиях рабского труда на плантациях, либо в сфере торговли. На послевоенном рынке в Кенигсберге / Калининграде можно было слышать русско-немецкие фразы вроде: Фюнф хундерт рублей или: Вифиль костет твое барахло? Языками, вступающими в контакт, могут быть как родственные, но не взаимопонятные языки (например, русский и немецкий), так и языки разных семей и разного строя, связанные с разными культурами. В последнем случае обычно преобладает лексика социально господствующего языка, но она переосмысляется под влиянием другого языка; грамматика в любом случае упрощается. Примером может служить известная фраза из русско-китайского пиджина (употреблявшегося также в общении русских с коренным населением Дальнего Востока; на нем говорил, например, Дерсу Узала в книге В. К. Арсеньева): Моя твоя не понимай. Здесь слова моя и твоя заменяют не только притяжательные, но и личные местоимения соответственно 1-го и 2-го лица в любой грамматической форме, а форма императива вытесняет все остальные формы глагола.
Пиджины легко появляются и легко исчезают, но если носители пиджина, находящиеся в сходных условиях (например, рабы или жители колоний), начинают его использовать в общении между собой и передавать его детям, то пиджин может превратиться во вполне стабильный язык, именуемый креольским. Например, язык ток-писин на основе смешения местных языков с английским стал государственным языком Папуа — Новой Гвинеи, а гаитянский язык на основе смешения африканских языков с французским господствует в Гаити. Компаративисты обычно считают, например, ток-писин германским, а гаитянский язык — романским, но о регулярных соответствиях тут говорить не приходится. А английский язык, в чьей общепринятой принадлежности к германским языкам сомневался Бодуэн де Куртенэ, после норманнского завоевания испытал в XI–XIV вв. сильное влияние французского языка, из-за чего этот ученый считал его смешанным германо-романским языком.
В 1930-е гг. другой знаменитый языковед, Николай Сергеевич Трубецкой (не только фонолог, но и крупный компаративист), подверг сомнению обычное понимание языкового родства: «Предположение о едином индоевропейском праязыке нельзя признать совсем невозможным. Однако оно отнюдь не является безусловно необходимым, и без него прекрасно можно обойтись…. Для объяснения закономерности языковых соответствий вовсе не надо прибегать к предположению общего происхождения языков данной группы, так как такая закономерность существует и при массовых заимствованиях одним языком у другого». «Нет, собственно, никакого основания, заставляющего предполагать единый индоевропейский праязык, из которого якобы развились все индоевропейские языки. С таким же основанием можно предполагать и обратную картину развития, то есть предполагать, что предки индоевропейских ветвей первоначально были непохожи друг на друга и только с течением времени благодаря постоянному контакту, взаимным влияниям и заимствованиям значительно сблизились друг с другом, однако без того, чтобы совпасть друг с другом. История языков знает и дивергентное и конвергентное развитие. Порою бывает даже трудно провести грань между этими двумя видами развития».
Таким образом, возможны два предположения, объясняющие причины сходства, например, индоевропейских языков: дивергенция (разделение) единого праязыка и конвергенция (то есть скрещение) первоначально не обязательно родственных языков (эти предположения абсолютно не исключают друг друга: скрещиваться могут и ранее разошедшиеся языки). «Между тем до сих пор при обсуждении "индоевропейской проблемы" учитывается только предположение чисто дивергентного развития из единого индоевропейского праязыка. Благодаря этому одностороннему подходу всё обсуждение проблемы попало на совершенно ложный путь…. Стали рассуждать о местожительстве, культуре и расе индоевропейского "пранарода", между тем как этот пранарод, может быть, никогда и не существовал». Трубецкой фактически вообще «закрывал» проблемы, связанные с реконструкцией ненаблюдаемых лингвистических объектов прошлого. Если соотношение двух противоположных процессов подвержено множеству случайностей и может быть каким угодно, то нет возможности выработать какой-либо строгий метод.
С этим подходом, однако, не согласны все сколько-нибудь значительные современные компаративисты. Сравнительно-исторический метод, основанный на спорной гипотезе о родословном древе, работал и работает, дал и продолжает давать науке много нового. А построить сколько-нибудь равноценную методику на основе какой-либо иной теории не удалось. Теоретические идеи Бодуэна де Куртенэ были очень разумными, но как на их основе работать с массами языкового материала, осталось неясным. Трубецкой же вообще снимал всю проблему с повестки дня, хотя ряд результатов, полученных компаративистами, слишком впечатляющ.
Наоборот, в ХХ в. традиционная компаративная методика была усовершенствована. Особенно надо отметить крупнейшего российского компаративиста Сергея Анатольевича Старостина (1953–2005), деятельность которого опережала мировой уровень этой дисциплины. Он продолжил и значительно продвинул начатые в середине ХХ в. Владиславом Марковичем Илличем-Свитычем (1934–1966), Ароном Борисовичем Долгопольским (1929–2012) и Владимиром Антоновичем Дыбо, ныне академиком, исследования дальнего родства языков. В рамках ностратики выявляются связи между индоевропейской семьей и другими семьями: уральской (финно-угорские языки, а также ненецкий и ряд других языков севера Сибири), алтайской (тюркские, монгольские, тунгусо-маньчжурские, японский и корейский языки), картвельской (грузинский и другие языки Закавказья) и, возможно, некоторыми другими. Всё это, по мнению упомянутых лингвистов, — часть более обширной ностратической макросемьи. Школа С. А. Старостина выдвигает и обосновывает и другие гипотезы о древнейших родственных связях языков мира. Не все лингвисты принимают эти гипотезы, как и ностратику, но исследования такого рода позволяют углубиться в языковое прошлое вплоть до 8–10 тысяч лет до н. э. И вопрос о прародине индоевропейцев продолжает обсуждаться.
«Родословное древо» — это не краеугольный камень теории, а методическое правило, заведомо идеализирующее реальность. До сих пор лингвисты имеют развитую методику движения в сторону схождения языков, но не могут двигаться в сторону их расхождения. Лингвист на первом этапе должен исходить из презумпции верности данного правила, но бывает, что идеализация оказывается слишком значительной и далее приходится вводить коррективы. Иногда, однако, корректировать требуется столь много, что пока компаративисты по-настоящему не охватили некоторые языки своим методом. Так, по-видимому, обстоит дело с креольскими языками. Показательно, что, например, в сравнительных грамматиках германских языков всегда присутствует английский язык, но игнорируются идиш, африкаанс (язык буров Южной Африки на голландской основе) и тем более ток-писин и другие креольские языки. Попытки же видеть в концепции родословного древа «божью правду» могут приводить к исторически не оправданным решениям, против которых предостерегал Трубецкой.
Вопрос о компаративной теории, адекватной методу, однако, остается открытым, и лишь в последнее время наши ведущие компаративисты начинают им заниматься. Кроме того, существуют специальные процедуры, помогающие увеличить достоверность реконструкций. К их числу относятся вероятностные обоснования тех или иных реконструкций, в которых используют данные типологии. Если в результате реконструкции получается система, не зафиксированная ни в одном реальном языке (вроде упомянутой выше системы с одной гласной фонемой), то вероятность существования такой системы очень мала. Желательно провести реконструкцию так, чтобы ее результаты не противоречили типологическим данным и укладывались с некоторой вероятностью в рамки того, что бывает в языках.