Как поиск математической истины и сложных моделей может привести к бесполезным научным предсказаниям

В науке преобладает мнение, что существует математическая истина, структурирующая вселенную. Предполагается, что задача ученого состоит в том, чтобы расшифровать эти математические отношения: однажды понятые, они могут быть переведены в математические модели. Запуск получившейся «кремниевой реальности» на компьютере может дать нам полезную информацию о том, как устроен мир.

Поскольку наука продолжает раскрывать секреты, модели становятся все больше. Они объединяют открытия и новые механизмы, чтобы лучше отражать мир вокруг нас. Многие ученые предполагают, что более подробные модели дают более точные оценки и лучшие прогнозы, потому что они ближе к реальности. Но наше новое исследование, опубликованное в Научные достиженияпредполагает, что они могут иметь противоположный эффект.

Предположение о том, что «чем больше деталей, тем лучше», выходит за рамки дисциплинарных областей. Разветвления огромны. Университеты получают все более и более мощные компьютеры, потому что хотят запускать все более крупные модели, требующие все большей вычислительной мощности. Недавно Европейская комиссия инвестировала 8 млрд евро (6,9 млрд фунтов стерлингов) в создание очень подробной симуляции Земли (с участием людей), получившей название «цифровой двойник», в надежде лучше решать текущие социальные и экологические проблемы.

В нашем последнем исследовании мы показываем, что поиск все более сложных моделей в качестве инструментов для получения более точных оценок и прогнозов может не сработать. Основываясь на статистической теории и математических экспериментах, мы запустили сотни тысяч моделей с различными конфигурациями и измерили, насколько неопределенны их оценки.

Мы обнаружили, что более сложные модели, как правило, дают более неопределенные оценки. Это связано с тем, что добавляются новые параметры и механизмы. Необходимо измерить новый параметр, скажем, влияние жевательной резинки на распространение болезни, и поэтому он подвержен ошибкам измерения и неопределенности. Разработчики моделей также могут использовать разные уравнения для математического описания одного и того же явления.

Как только эти новые дополнения и связанные с ними неопределенности интегрированы в модель, они накапливаются поверх уже существующих неопределенностей. И неопределенности продолжают увеличиваться с каждым обновлением модели, делая вывод модели более нечетким на каждом этапе пути, даже если сама модель становится более точной.

Это влияет на все модели, которые не имеют соответствующих данных проверки или обучения, по которым можно проверить точность их выходных данных. Сюда входят глобальные модели изменения климата, гидрологии (потока воды), производства продуктов питания и эпидемиологии, а также все модели, прогнозирующие будущие воздействия.

Нечеткие результаты

В 2009 году инженеры создали алгоритм под названием Google Flu Trends для прогнозирования доли обращений к врачу в связи с гриппом в США. Несмотря на то, что модель была основана на 50 миллионах запросов, которые люди ввели в Google, модель не смогла предсказать вспышку свиного гриппа в 2009 году. Затем инженеры сделали модель, которая больше не работает, еще более сложной. Но все равно это было не так точно. Исследование, проведенное немецким психологом Гердом Гигеренцером, показало, что количество посещений врачей в 2011–2013 годах постоянно завышалось, в некоторых случаях более чем на 50%.

Гигеренцер обнаружил, что гораздо более простая модель может дать лучшие результаты. Его модель предсказывала еженедельные показатели заболеваемости гриппом, основываясь только на одном крошечном фрагменте данных: сколько людей посетило своего врача общей практики на предыдущей неделе.

Другой пример — глобальные гидрологические модели, которые отслеживают, как и где вода движется и хранится. Они начались с простого в 1960-х годах, основанного на «процессах эвапотранспирации» (количество воды, которое могло испариться и испариться из ландшафта, покрытого растениями), и вскоре расширились, принимая во внимание использование воды в быту, промышленности и сельском хозяйстве в глобальном масштабе. Следующим шагом для этих моделей является моделирование потребности Земли в воде на каждый километр каждый час.

И все же возникает вопрос, не сделает ли эта дополнительная деталь их еще более запутанными. Мы показали, что оценки количества воды, используемой на орошение, полученные по восьми глобальным гидрологическим моделям, могут быть рассчитаны только с одним параметром — площадью орошаемой площади.

Пути вперед

Почему до сих пор игнорировался тот факт, что большее количество деталей может ухудшить модель? Многие разработчики моделей не подвергают свои модели анализу неопределенности и чувствительности, методам, которые сообщают исследователям, как неопределенности в модели влияют на окончательную оценку. Многие продолжают добавлять детали, не выясняя, какие элементы в их модели в наибольшей степени ответственны за неопределенность результатов.

Это вызывает озабоченность, поскольку моделисты заинтересованы в разработке все более крупных моделей — фактически вся карьера строится на сложных моделях. Это потому, что их труднее фальсифицировать: их сложность отпугивает посторонних и затрудняет понимание того, что происходит внутри модели.

Однако есть средства. Мы предлагаем следить за тем, чтобы модели не становились все больше и больше ради этого. Даже если ученые проведут анализ неопределенности и чувствительности, их оценки рискуют стать настолько неопределенными, что станут бесполезными для науки и разработки политики. Вкладывать большие деньги в вычисления только для того, чтобы запускать модели, оценки которых совершенно нечетки, не имеет большого смысла.

Вместо этого разработчики моделей должны подумать о том, как увеличивается неопределенность с каждым добавлением деталей в модель, и найти наилучший компромисс между уровнем детализации модели и неопределенностью в оценке.

Чтобы найти этот компромисс, можно использовать концепцию «эффективных измерений» — меру количества параметров, которые добавляют неопределенность к конечному результату, принимая во внимание то, как эти параметры взаимодействуют друг с другом, — которые мы определяем в нашей статье. .

Вычисляя эффективные размеры модели после каждого обновления, разработчики моделей могут оценить, делает ли увеличение неопределенности модель по-прежнему пригодной для разработки политики или, наоборот, делает ли ее выходные данные настолько неопределенными, что они становятся бесполезными. Это повышает прозрачность и помогает ученым разрабатывать модели, которые лучше служат науке и обществу.

Некоторые разработчики моделей все еще могут утверждать, что добавление деталей модели может привести к более точным оценкам. Теперь бремя доказывания лежит на них.

Эта статья переиздана из The Conversation под лицензией Creative Commons. Прочитайте оригинальную статью.