Нейросеть-рецензент забраковала посвященную ей самой статью
В Политехническом университете Виргинии решили заняться процессом автоматизации процесса рецензирования. ИИ получил способность по автоматическому определению качества статьи, исходя из ее внешнего вида.
В итоге, созданная нейросеть-рецензент забраковала статью, посвященную ей самой. Искусственный интеллект отнес ее к категории «плохих научных работ» с вероятностью 97%.
Как правило, рецензентами научных трудов выступают эксперты по этой тематике. Они способны к объективной оценке их качества. В то же время, некоторые области науки настолько молоды, что найти подходящих специалистов бывает достаточно непросто.
Тогда и родилась идея автоматизирования этого процесса. Для начала выбрали материалы конференций, посвященных компьютерному зрению. Там много материала имеют визуальный характер и нейросети проще дать объективную оценку.
Итоги эксперимента оказались вполне приемлемыми. Нейросеть рецензент «неправильно» выбраковала хорошие статьи лишь в 0,4% случаев. С откровенно плохими научными работами, показатель пока хуже. Он составляет лишь 50%.
Однако, и это уже может стать существенным подспорьем в рецензировании огромных масс информации.
Пока что ИИ считает, что хорошая работа это та, в которой присутствуют математические расчеты, графики и яркие иллюстрации. К оценке содержания она пока не способна.
То есть не может использоваться в качестве единственного метода рецензирования.
