Соц сеть Reddit продолжает биться с веб-ботами, которые безвозмездно употребляют контент платформы для обучения нейросетей. По данным источника, за последние недели администрация Reddit скорректировала файл robot.txt, который рассказывает ботам о разрешении либо запрете на изучение разделов веб-сайта, таким макаром, что контент общества и комменты юзеров не стали правильно отображаться в почти всех поисковиках.
В сообщении сказано, что в текущее время только система Гугл правильно показывает итоги поиска последних постов на Reddit. При всем этом в других поисковиках, таких как Bing либо DuckDuckGo, подобные запросы обрабатываются неправильно, т.е. или не находят интересующие юзеров странички, или показывают только их часть. Возможно, в случае с Гугл заморочек не наблюдается из-за достигнутых раньше договорённостей, в рамках которых поисковый великан будет платить Reddit $60 миллиона в год за применение контента площадки для обучения собственных ИИ-алгоритмов.
При всем этом в Reddit опровергли информацию о том, что сделка с Гугл каким-то образом повлияла на разрешение разработчиков на применение контента платформы для обучения нейросетей. «Это абсолютно не связано с нашим недавнешним партнёрством с Гугл. Мы вели переговоры с несколькими поисковыми машинами. Мы не смогли условиться со всеми, так как некие не могут либо не желают давать каких-то обещаний относительно использования ими контента Reddit, в том числе для обучения искусственного ума», — ответил этот вопрос агент Reddit.
Для такового большого веб-сайта, как Reddit, блокировка веб-ботов больших поисковых машин является смелым шагом, но полностью ожидаемым. За крайний год администрация веб-сайта стала сильно энергичнее оберегать публикуемый юзерами контент, стремясь открыть новый источник дохода и привлечь инвесторов. Разработчики повысили цена использования API Reddit посторонними разработчиками, и пригрозили Гугл блокировкой поисковика, если компания не закончит безвозмездно применять контент платформы для обучения собственных нейросетей.