ИИ может предсказывать результаты нейробиологических исследований

Большие языковые модели (LLM), обученные на текстовых данных, способны выявлять закономерности в научной литературе и предсказывать научные результаты с точностью, превышающей человеческую. Такие модели могут стать мощным инструментом для ускорения исследований, выходя за рамки простого поиска знаний.

Кен Луо, ведущий автор (UCL Psychology & Language Sciences), отмечает: «С появлением генеративного искусственного интеллекта, такого как ChatGPT, многие исследования были сосредоточены на способности LLM отвечать на вопросы. Мы решили исследовать, могут ли LLM синтезировать знания для прогнозирования будущих результатов».

Ученые разработали BrainBench – инструмент для оценки способности LLM предсказывать результаты нейронаучных исследований. Они протестировали 15 различных LLM и 171 эксперта в нейробиологии, которые прошли скрининговый тест для подтверждения квалификации. Все LLM превзошли нейробиологов: их средняя точность составила 81%, в то время как точность людей – 63%.

Исследователи обнаружили, что когда LLM были более уверены в своих решениях, они чаще оказывались правы. Это открывает путь к будущему, где эксперты-люди смогут сотрудничать с хорошо откалиброванными моделями.

Источник: Large language models surpass human experts in predicting neuroscience results, Nature Human Behaviour (2024) | DOI: 10.1038/s41562-024-02046-9.