| | О каталоге | Развитие соц. поиска | Юмор | Ссылки | E-mail | | ||||||
Что бы это значило?В давние времена, когда интернет был маленький, ответов на каждый поисковый запрос было совсем немного. Со временем число документов, сколько-нибудь отвечающих каждому популярному запросу ("релевантных"), стало огромным. И пользователь стал получать список этих ресурсов из сотен или тысяч, причём действительно нужные сайты оказывались где-то далеко в середине...Поисковые системы, конечно, очень хотели, чтобы люди посещали именно их службы и поэтому стремились предоставить ссылки на самые релевантные страницы в начале списка. Но отбирать качественные ответы силами сотрудников было уже нельзя, обработать всю информацию успевали только машины. Сначала для упорядочивания, или ранжирования, ресурсов создателям сайтов предложили просто записывать ключевые слова в особом месте невидимого служебного заголовка страницы (в так называемых мета-тегах) с тем, чтобы компьютеры поисковых машин учли таким образом выраженное пожелание вебмастера поднять свой документ повыше в выдаче по этим поисковым словам. Наверное, некоторое время это работало... Давно это было! |
ГИПЕР ссылки
|
|
||||
|
Вскоре оказалось, что самые релевантные ресурсы
опять оказались в списках ответов очень глубоко,
потому что, во-первых, их авторы не предвидели запрос и не догадались вписать именно
эти ключевые слова в мета-теги и, во-вторых, более ловкие владельцы сайтов постарались
насытить поисковыми словами невидимую часть своих менее подходящих страниц. Следующим шагом повышения качества поиска стал учёт количества употреблений ключевых слов в тексте документа, выделения их. Действительно, нормальный автор нормальной статьи по нормальному предмету не станет писать сто раз жирным шрифтом и во всех заголовках "бесплатно скачать порно". Зачем ему посетитель, ищущий порно? И его статья по запросу "бесплатно скачать порно" в результатах поиска не появится. Новый способ "отделения чистых от нечистых" заработал, и некоторое время хорошо. Но кроме нормальных авторов, есть другие. Один решил, что если предлагать описание своей страницы, например, о "крукозябре", ежедневно миллиону ищущих "бесплатно скачать порно", то кто-нибудь из этого миллиона заинтересуется "крукозяброй" и даже её купит. Другой осознал, что ресурсов о его, например, опять-таки "крукозябре", уже много, и чтобы подняться в выдаче из всех этих сайтов, надо слово "крукозябра" написать несколько сот раз. А чтобы пользователь всё-таки заинтересовался их документом после перехода по ссылке, оба владельца написали - первый "бесплатно скачать порно", а второй "крукозябра" - шрифтом величиной один пиксель. Так родился "спамдексинг" - от "спам" и "индекс" - замусоривание индекса, поисковый спам. Поисковики приняли меры, научили своих роботов выделять такие подозрительные страницы и стали вычищать их, плохие ресурсы, напрочь из своих баз. Но спамдексеры применили другой приём, стали писать по белому светло-серым. За каждым ответным ходом поисковых систем следовала новая атака спамдексеров. Кроме использования разницы в восприятии человека и поискового робота разными приёмами оформления документа, применялись автоматическое перенаправление на другой сайт, особые серверные программы для предоставления разной информации броузеру и роботу поисковой машины по одному и тому же URL и так далее. Борьба продолжалась с переменным успехом до внедрения "ссылочного ранжирования" Ссылочное ранжирование результатов поиска основано на том предположении, что вебмастеры не станут предлагать своим пользователям статьи мало содержательные и далёкие от темы. Поэтому ресурс, на который сделаны ссылки на большем числе сайтов, достоин лучшего места в выдаче. И поиск заработал лучше, пока не... оказалось, что ссылками можно меняться, ссылки можно продавать и покупать. И новая защита поисковиков была легко взломана. Ответным ходом поисковых систем стало иключение из подсчёта релевантности взаимных ссылок и ссылок, многочисленных на одной странице. А иногда и удаление напрочь из индекса сайта, слишком резво и нагло "накачивающего ссылочную массу" И, конечно, на новую броню поисковых машин обрушиваются новые снаряды спамдексеров. В нескончаемой битве между поисковыми спаммерами и поисковыми системами есть множество невинных жертв. Поисковики постоянно изменяют "вес факторов ранжирования" и находят дополнительные "признаки неестественного поведения". В большинстве случаев нарушители гибки и находят новые лазейки, которые можно использовать. Веб-сайты с особенностями, ошибочно принятыми за спам, страдают гораздо сильнее. В общем, целом и среднем поиск в конце 2012 года гораздо качественнее, чем в 2002 году. Но, конечно, от идеала далёк. Алгоритм по сути своей конечен и не проявляет гибкости. Каждое изменение в программах ранжирования вызывает новые изъяны в определении релевантности: с одной стороны, из-за гибкой реакции поисковых спаммеров и, с другой стороны, из-за бесконечного разнообразия "честных" документов, которые могут быть интересны пользователю, несмотря на свою "нееестественность" с точки зрения поисковых машин. Значительно повысить качество поиска можно, если ранжировать ответы будут люди. Но людей надо заинтересовать и объединить, а как? Одна из самых красивых идей реализации интеллектуального поиска принадлежит Андрею Иванову. К сожалению, ему не хватило в своё время начального капитала для её "раскрутки", и теперь она стала то ли историческим фактом, то ли перспективным замыслом. Подробнее о каталоге "Нейрон". | ||||||
