Проблемы информационного поиска в сети Интернет

Количество wеb-страниц в сети Интернет достигло более двух миллиардов. Каталогизация имеющихся в сети ресурсов стала значительной проблемой в последние годы. Несмотря на то, что проблемой занимаются сотни организаций, она не только не приближается к разрешению, но и становится острее. Процент каталогизированных ресурсов неуклонно падает. В последние годы это падение стало катастрофическим. Таким образом, Web-пространство быстрее наполняется, нежели систематизируется. Перспективы не радужны – поиск в Интернете считается одной из наиболее острых проблем, и ежесекундно масштаб проблемы только растёт.
Справочно-информационные фонды большинства информационно-поисковых систем, работающих с интернет-документами, пополняются не вручную, а с помощью тех или иных программ, автоматизирующих поиск и индексацию документов. И здесь-то, в процессе индексации документа, проявляется основная проблема использования таких программ: автоматическое структурирование метаданных оказывается весьма непростой задачей. Таким образом, ещё одна проблема инфоомационного поиска в сети Интернет – несовершенство автоматизации. Можно привести пример, просмотрев некоторое число документов научной тематики. Можно легко увидеть, что в некоторых случаях фамилии авторов пишутся перед названием документа, а в некоторых, наоборот, после названия. 
Наличие указанных проблем привело к тому, что обычной практикой универсальных поисковых систем является представление поискового образа документа в виде неструктурированного набора ключевых слов - информативных слов, приведенных к стандартной лексикографической форме

.
Несовершенство поисковых машин – значительная проблема современности, которую возможно решить путём повышения компьютерной и поисковой грамотности. В глобальном смысле программисты дают рекомендации для совершенства данной системы. Совершенно очевидны преимущества структурированного описания документа перед неструктурированными. Организациями, пытающимися выступать в качестве «законодателе мод» в Интернете, прежде всего консорциумом W3C, неоднократно предпринимались попытки предоставить создателям интернет-документов возможность явно указывать значения основных элементов метаданных документа, что позволило бы значительно повысить эффективность функционирования поисковых роботов.
К сожалению, данные «советы» воспринимаются только на теоретическом уровне, либо в конкретных организациях. Проблема же должна решаться комплексно и широко.
Причины сложившейся ситуации широко обсуждаются в интернет-сообществе, но, несомненно, к числу основных причин относится «человеческий фактор»