Лист поисковая система. Поисковые системы интернета: обзор существующих решений

Поисковая система - это один из ключевых уровней интернета наравне с контентом и браузером. «Яндекс»-поисковик или аналогичные системы («Гугл», «Бинг», DuckDuckGo и другие) позволяют пользователю осуществлять поиск информации во Всемирной паутине, формулируя запрос.

Работа же поисковой системы заключается в том, чтобы найти по этому запросу (ключевому слову или фразе) все документы, страницы, видео, то есть весь контент.

Какой поисковик самый лучший? Есть ли альтернативные варианты, что-то кроме «Гугла» и «Яндекса»? Какой поисковик интернета больше подходит для сканирования англоязычных источников или, например, музыки? Именно об этом и пойдет речь в статье.

Рейтинг: лидеры рынка

Если говорить о мире в целом, то «Гугл»-поисковик является самой популярной поисковой системой. Корпорация занимает практически 70% рынка. Вторую позицию рейтинга занимает «Бинг» (доля - 12,26%). Борьбу за вторую строчку с ним ведет система Baidu (6,48% по состоянию на сентябрь 2015 года). Время от времени они меняются местами.

Так, например, в 2014 «силы» были распределены по-другому: первое место занимал «Гугл»-поисковик с 68,69%, второе - Baidu (17,7%), третье - «Бинг» с капитализацией рынка в 6,22%.

Но общемировые данные очень обобщенные. Какой поисковик самый лучший?

В Китае, к примеру, очень небольшой процент населения сканирует «Гуглом», большинство использует отечественную систему Soso. В Южной Корее большая часть жителей пользуется собственной разработкой - поисковиком интернета Naver. Правда, в последние несколько месяцев количество запросов в этой системе начало стремительно снижаться.

В Японии и Тайване пользователи чаще других используют Yahoo!

Рейтинг: русскоязычные системы

Какой поисковик самый лучший? В России рейтинг поисковых систем совсем не похож на общемировой. Лидер рынка в русскоязычном сегменте интернета - это «Яндекс», которым пользуются более 55% пользователей.

На втором месте «Гугл» с результатом 37,6%. Согласно данным сервиса LiveInternet, охват русскоязычных поисковых запросов во Всемирной паутине распределился следующим образом:

1. Универсальные поисковики: «Гугл» (37,6%), «Бинг» (0,3%), Yahoo! (0,1%).
2. Англоязычные и международные (AskJeeves, например).
3. Русскоязычные системы поиска: «Яндекс» (56,2%), Mail (5,3%), «Рамблер» (0,5%).

DuckDuckGo

Разговор об альтернативных поисковых системах стоит начать с поисковика DuckDuckGo. Это достаточно известная и распространенная система с открытым исходным кодом. Серверы DuckDuckGo находятся в Соединенных Штатах Америки. Результаты поиска довольно обширные, так как система использует не только собственные алгоритмы, но и результаты некоторых других источников, например, "Википедии", поисковика «Бинг» и Yahoo!

Поисковик DuckDuckGo обеспечивает максимальную безопасность личной информации пользователя, приватность и конфиденциальность. Система не собирает никаких данных о пользователях, не хранит историю и максимально ограничивает использование файлов cookie.

Отличие DuckDuckGo в том, что эта система не персонализирует поисковую выдачу, как это делают другие системы. В «Гугле» или «Яндексе», например, пользователь видит только ту информацию, которая согласуется с его предпочтениями. А вот DuckDuckGo формирует реальную картину и позволяет избавиться от навязчивой конкретной рекламы. Поисковый сервис легко ищет информацию на иностранных языках, тогда как «Яндекс» и «Гугл» по умолчанию отдают предпочтение русскоязычным источникам, даже если запрос введен на английском, немецком или другом языке.

В системе можно настроить интерфейс: изменять можно цветовое оформление, шрифты, ссылки и другие параметры всего в несколько кликов.

Пока еще этой поисковой системе далеко до гиганта «Гугла», но утёнок развивается, так что вполне возможно, что в будущем DuckDuckGo займет одну из лидирующих позиций. Команда создала отличный продукт, который обеспечивает анонимный, быстрый и функциональный поиск, заслуживающий внимания пользователя.

NotEvil

Это система, которая осуществляет поиск по анонимной сети Tor. Поисковая система предустановлена в одноименном браузере. Чем лучше notEvil? Он «проходит» туда, куда не могут добраться «Гугл» или «Яндекс»-поисковик. Вообще, в сети Tor очень много ресурсов которые нельзя посетить в «обычном» (законопослушном) интернете. Это такая себе площадка внутри сети со своими социальными платформами, торрент-трекерами, СМИ, блогами, торговыми центрами, форумами, библиотеками и так далее.

Кстати, notEvil - это не единственный в своем роде поисковик. Еще есть Look, который по умолчанию доступен в том же браузере «Тор», и TORCH - одна из самых старых систем поиска в анонимной сети.

YaCy

Бесплатный поисковик YaCy - это совершенно другой подход к организации поиска во Всемирной паутине. Система работает по принципу Р2Р. Это значит, что каждый компьютер, на котором установлен модуль, самостоятельно сканирует интернет, а потом все полученные результаты собираются в единую базу, которой могут пользоваться все пользователи YaCy.

Система полностью независима, автономна, обеспечивает анонимность каждого пользователя. YaCy подойдет сторонникам открытого интернета, который не подвержен влиянию крупных корпораций и государственных органов.

В быту поисковик пока что не очень полезен, зато в перспективе является достойной альтернативой «Гуглу» даже с точки зрения организации процесса поиска информации.

Pipl

Pipl - система, предназначенная для поиска информации о каком-то определенном человеке. Разработчики утверждают, что алгоритмы поисковика ищут людей эффективнее, чем распространенные во всем мире «Гугл» или «Яндекс».

Приоритетными источниками являются профили в социальных сетях комментарии, списки участников, базы данных, где публикуются разнообразные данные о людях, например, базы судебных решений. Но есть и недостаток. Для Pipl недоступны российские базы данных, так что он будет полезен только для поиска информации о гражданах США.

FindSounds

Какой поисковик самый лучший? Если нужно найти музыку или звуки, то, конечно, самым лучшим будет именно FindSounds. Это специализированный поисковик, где есть список тегов. Тут можно выбрать нужный формат аудиофайла или его качество. Все результаты поиска доступны для скачивания.

Wolfram|Alpha

Эта система выдает не страницы, на которых есть нужная пользователю информация, а готовый результат. Например, карты, графики, таблицы, короткие ответы. Сервис как нельзя лучше подходит для вычисления данных и поиска конкретных фактов. Поисковик пока понимает не все запросы, но постоянно развивается.

С помощью Wolfram|Alpha удобно, например, сравнивать параметры для настройки фотоаппарата, смартфона или ноутбука. Также вычислять уровень алкоголя в крови (система запрашивает у пользователя вес и рост, количество выпитого, время, а затем сообщает, через сколько алкоголь полностью выведется из организма).

Инструмент может конвертировать размеры обуви и одежды, считать калории, смотреть курсы валют или настраивать музыкальный инструмент.

Dogpile

Dogpile выводит результаты из выдач всех распространенных поисковых систем сразу. Сервис использует улучшенный алгоритм и, как уверяют разработчики, формирует самую лучшую выдачу в интернете. Кроме того, здесь мало рекламы. Можно попробовать воспользоваться Dogpile, если нужная информация никак не находится в стандартных «Гугле» или «Яндексе».

BoardReader

Эта система ищет информацию на форумах, опросах, сервисах вопросов и ответов, социальным сообществам, сужая поле поиска до социальных площадок. Можно выставить фильтры: язык и дату публикации, название сайта и тому подобное.

Поисковик может пригодиться специалистам по рекламе, которых интересует мнение аудитории.

В заключение

Часто альтернативные поисковые системы скоротечны. Они появляются также быстро, как и умирают. Большинство альтернативных систем на сегодняшний день специализируются на какой-либо узкой нише или тестируют оригинальный алгоритм в формировании результатов поиска.

В контексте описания альтернативных поисковых систем, критерий «лучше» совсем не означает «лучше во всем». Каждый из перечисленных выше сервисов дает конкретному пользователю что-то такое, чего нет в «Гугле» или «Яндексе». В любом случае, ознакомиться с альтернативными вариантами (на фоне того, что система кажется практически монополизированной поисковыми гигантами) интересно и полезно каждому пользователю.

Поисковые системы (ПС) уже приличное время являются обязательной частью интернета. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.

Многие пользователи поиска никогда не думали о принципах их работы, о способах обработки пользовательских запросов, о том, как построены и функционируют данные системы. Данный материал поможет людям, которые занимаются оптимизацией и , понять устройство и основные функции поисковых машин.

Функции и понятие ПС

Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.

Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).

Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Для того чтобы получить правильные ответы на подобные вопросы, разработчики поиска постоянно улучшают принципы ранжирования и его алгоритмы, добавляют им новые возможности и функции и любыми средствами пытаются сделать быстрее работу системы.

Основные характеристики поисковых систем

Обозначим главные характеристики поиска:

Полнота.

Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.

Точность.

Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

Актуальность.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска.

Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.

Наглядность.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

История развития поисковых систем

Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.

Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.

Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самый известный и большой каталог в мире имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.

Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.

В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.

В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.

В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.

По данным на сентябрь 2015 года , доли поисковых систем в мире распределены следующим образом:

• Google - 69,24 %;
• Bing - 12,26 %;
• Yahoo! - 9,19 %;
• Baidu - 6,48 %;
• AOL - 1,11 %;
• Ask - 0,23 %;
• Excite - 0,00 %

По данным на декабрь 2016 года , доли поисковых систем в Рунете:

• Яндекс - 48,40%
• Google - 45,10%
• Search.Mail.ru - 5,70%
• Rambler - 0,40%
• Bing - 0,30%
• Yahoo - 0,10%

Принципы работы поисковой системы

В России главной системой поиска является Яндекс, затем Google, а потом Поиск@Mail.ru. Все большие системы поиска имеют свою структуру, которая весьма отличается от других. Но все-таки можно выделить общие для всех поисковиков основные элементы.

Модуль индексирования.

Данный компонент состоит из трех программ-роботов:

Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.

«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.

• URL скаченной страницы;
• дата, когда осуществлялось скачивание страницы;
• заголовок http-ответа сервера;
• html-код, «тела» страницы.

Crawler («путешествующий» паук). Данная программа автоматически заходит на все ссылки, которые найдены на странице, а также выделяет их. Его задача – определиться, куда в дальнейшем должен заходить паук, основываясь на этих ссылках или исходя из заданного списка адресов.

Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.

Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.

Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.

Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.

База данных

База данных (или индекс поисковика) - комплекс хранения данных, массив информации в котором сохраняются определенным образом переделанные параметры каждого обработанного модулем индексации и скачанного документа.

Поисковый сервер

Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.

Поисковый сервер работает следующим образом:

• Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
• Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
• В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
• Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
• Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).

Все эти элементы тесно связаны между собой и функционируют, взаимодействуя, образовывая отчетливый, но достаточно непростой механизм функционирования ПС, требующий громадных затрат ресурсов.

С расцветом цензуры и слежения альтернативы Google и Яндекс интересуют пользователей все больше и больше. Мы расскажем вам о трех поисковых системах без запретов, которые не собирают о вас личную информацию, а, напротив, защищают вашу приватность.

Startpage: самая дискретная поисковая система в мире

Startpage.com называет себя «самой дискретной поисковой системой в мире». С 2016 года сервис был объединен с сайтом Ixquick. В качестве доказательства безопасности своего поиска Startpage.com позиционирует себя как единственная поисковая система, имеющая сертификат ЕС о конфиденциальности.

Startpage.com обещает не сохранять IP-адреса пользователей и, по утверждению сервиса, не использует файлы cookie для трекинга. Кроме того, Startpage.com доступен из сети Tor. Серверы поисковой системы находятся в Нидерландах.

У сайта есть удобная особенность: результаты поиска можно просматривать при помощи опции «Прокси», которая шифрует соединение с соответствующей веб-страницей с помощью прокси-сервера. Таким образом, это настоящий поисковик без запретов: можно спокойно просматривать то, что блокирует ваш провайдер.

Поисковые прокси: Startpage спокойно обходит блокировку Яндекс.DNS

Поисковые прокси - главная фишка Startpage, которые делают его поисковиком без цензуры. Если вам необходимо искать без блокировок, этот сервис для вас.

DuckDuckGo: анонимная поисковая система из США

DuckDuckGo - наиболее широко используемая безопасная альтернатива Google с более чем десятью миллионами запросов в день. Несмотря на то, что серверы поисковой системы находятся в США, DuckDuckGo.com, тем не менее, предлагает некоторые интересные функции.

При поиске через DuckDuckGo.com ваш IP-адрес не будет сохранен. Система также н е использует файлы cookie для отслеживания. DuckDuckGo применяет шифрование с использованием HTTPS. В поисковую систему также можно ввести запрос через сеть Tor. Кроме того, можно использовать различные темы, чтобы настроить отображение поисковой страницы.

Открывать сайты через прокси тут нельзя. Но с учетом того, что система находится вне юрисдикции РФ, на него не распространяется, к примеру, «право на забвение» в том смысле, в котором оно понимается у нас. Результаты поиска могут быть не идеальными, но все же довольно полезными.

Право на забвение: DuckDuckGo находит сайты с компроматом, заблокированные в РФ. Google — только новости

Этот сервис больше подойдет тем, кому в первую очередь важна анонимность и поиск без слежения. Либо тем, кто хочет найти информацию, исключенную из результатов поисковой выдачи в РФ. Однако, следует предупредить: в России DuckDuckGo стал партнером Яндекса, так что можно ожидать всего.

notEvil: поиск по интернету, которого нет

Поисковик notEvil позволяет осуществлять поиск из интернета по анонимной сети Tor. Для этого не надо устанавливать никакого дополнительного программного обеспечения (хотя оно, понадобится для того, чтобы открывать результаты поиска).

Эта поисковая система позволяет искать по так называемому даркнету - той части Интернета, которая обычно недоступна среднему пользователю. В связи с блокировками в нее постепенно переезжают полезные сервисы, например, для скачивания контента.

Большинство веб-поисковиков по Tor бессовестно зарабатывают на рекламе: вы получаете результаты из Tor, и вдобавок - горсть рекламных объявлений и трекинг в подарок. notEvil принципиально этим не занимается. Понятное дело, что об отслеживании IP и использовании cookie речь тут вообще не идет.

notEvil: помогает найти в Tor то, чего в интернете может не быть

Сайт пригодится тем, кто хочет познакомиться с содержимым невидимого интернета; хардкорная анонимность гарантируется. Кстати, рекомендуем сразу сохранить себе ссылку в закладки - URL-адреса категории « Tor-to-web» очень недружелюбны в плане запоминания.

Анонимные поисковые системы как безопасная альтернатива Google

Все три поисковых системы не регистрируют ваш IP-адрес и не используют файлы cookie для слежки. Шифрование с использованием HTTPS предоставляется всеми названными поставщиками.

Лучшие результаты поиска в тесте показал поисковик DuckDuckGo, а гарантированную безопасность при выборе альтернативного поисковика вы получите с системой Startpage.com. Сертификация защиты данных ЕС подтверждает, что поисковая система придерживается своих обещаний об анонимности поиска. Для поиска по даркнету, в свою очередь, пригодится notEvil.

Для профессионального поиска в Интернете необходимы специализированный софт, а также специализированные поисковики и поисковые сервисы.

ПРОГРАММЫ

http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

http://www.fmsasg.com/ - одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer . Компания полностью русифицировала свои продукты и подключил горячую линию на русском.

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.

SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики.

WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.

http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.

http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.

Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.

http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.

http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.

http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.

CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.

http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.

http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».

http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.

Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.

СЕРВИСЫ

new https://hunter.io/ – эффективный сервис для обнаружения и проверки email.

https://www.whatruns.com/ – простой в использовании, но эффективный сканер, позволяющий обнаружить, что работает и не работает на веб-сайте и каковы дыры в безопасности. Реализован также как плагин к Chrom.

https://www.crayon.co/ – американская бюджетная платформа рыночной и конкурентной разведки в интернете.

http://www.cs.cornell.edu/~bwong/octant/ – определитель хостов.

https://iplogger.ru/ – простой и удобный сервис для определения чужого IP .

http://linkurio.us/ – новый мощный продукт для работников экономической безопасности и расследователей коррупции. Обрабатывает и визуализирует огромные массивы неструктурированной информации из финансовых источников.

http://www.intelsuite.com/en – англоязычная онлайн платформа для конкурентной разведки и мониторинга.

http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.

https://start.avalancheonline.ru/landing/?next=%2F – прогнозно-аналитические сервисы Андрея Масаловича.

https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web 1.

https://github.com/search?q=user%3Acmlh+maltego – расширения для Maltego.

http://www.whoishostingthis.com/ – поисковик по хостингу, IP адресам и т.п.

http ://appfollow .ru / – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store , Google Play и Windows Phone Store .

http://spiraldb.com/ – сервис, реализованный как плагин к Chrom , позволяющий получить множество ценной информации о любом электронном ресурсе.

https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.

http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.

http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.

https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.

http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для G oogleC hrome.

http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.

http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.

http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.

http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.

http://imgops.com/ – сервис извлечения метаданных из графических файлов и работы с ними.

http://sergeybelove.ru/tools/one-button-scan/ – маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.

http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке

https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.

http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам.

http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам.

http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.

www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.

http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.

http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.

http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.

http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.

http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.

http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.

http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ.

http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.

http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.

http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.

http://www.recipdonor.com/ - сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.

http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.

www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.

ПОИСКОВИКИ

https ://www .idmarch .org / – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.

http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.

http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.

https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.

http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.

http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями

Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.

http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.

http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).

http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.

http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.

http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.

http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.

Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.

http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.

http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.

Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.

www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.

www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.

всего

Вступление

Мало кто сейчас может представить Интернет без поиска, поисковой выдачи и организующих всё это информационных поисковых систем (ИПС). А ведь еще недавно, вся информация Интернет умещалась в несколько каталогов, название которые еще на слуху (DMOZ, Yahoo).

Сегодня, объем информации в сети Интернет настолько огромный, что уместить её ни в какие каталоги не возможно. Для обработки, хранения информации, организации поиска созданы и продолжают создаваться, мощные программные продукты которые мы называем поисковые системы (ПС). У каждой поисковой системы (поисковика) свои базы данных, свои алгоритмы обработки, поиска, ранжирования и выдачи информации.

Поисковые системы Интернет это

Можно дать следующее академическое определение поисковым системам. Поисковая система это набор программ и технических средств для организации в сети Интернет пользовательского поиска, при котором на текстовой запрос, пользователь получает список релевантных (соответствующих запросу) результатов.

Выдача производится в виде списка ссылок на источник информации с кратким описанием (превью) иногда с фото.

Для первого примера, вспомним мирового лидера поиска «Google» и лидера Рунета поисковик «Яндекс». Кроме этих поисковиков можно назвать еще десяток существующих поисковых систем, о коих поговорим чуть ниже.

Мнение: Поисковые системы Google, Яндекс и другие, не являются генераторами (производителями) контента, а являются агрегаторами (аккумуляторами) контента и в основной массе, чужого контента. Стоит вспомнить, что использование чужого контента для создания собственного трафика и его монетизации, можно характеризовать, как «пиратство», что на деле, конечно же, не происходит.

Рейтинг

• и Google делят первые два места лидеров: около 49% и 45%.
• Третье место: Поиск Mail.ru около 3%;
• Остальные поисковики плавают ниже 1%.

Смотрю статистику по Google Analytics:

• yandex / organic 40,26 %
• google / organic 38,93 %
• mail.ru / organic 0,60 %
• rambler / organic 0,52 %
• bing / organic 0,12 %

Статистика неумолима: к поискам Яндекс и обращаются больше всего, и если посчитать, что 3% это хороший результат по сравнению с 45%, то третьим по популярности можно назвать поиск Mail.ru.

В этой связи рассуждения о популярности поисковиков кроме Яндекс и Google, можно отнести к суемудрию, а специальное продвижение сайтов в других поисковиках (не Яндекс и Google), не заслуживающих внимание.

Как работают поисковики

Вопрос, как работают поисковики, такой же общий, как вопрос «какого цвета небо». Если небо синее, то поисковики собирают информацию в интернет, обрабатывают её, ранжируют и отдают по поисковому запросу пользователю.

Теория поиска Интернет гораздо объемнее и в статье её не изложить. Однако основные моменты нам пригодятся:

Поисковые системы Интернет не осуществляют хранение документов, то есть не производят скачивание и выгрузку документов полностью в свои хранилища;

ИПС используют Интернет в качестве децентрализованного хранилища документов. Поисковики периодически обходят Интернет, выбираю нужную, по их алгоритмам, информацию и частично помещая её (информацию) в свою базу данных (Database). Отсюда несколько проблем:

• ИПС используют для выдаче не всю информацию Интернет, а только часть;
• Информация интернет часто меняется. Добавляется около 1500 тыс. страниц в день, отсюда возможная «пустая выдача»;
• Имеется большое количество дублей (дубли контента). К сожалению, у меня нет точных данных по дублям, а встречающаяся цифра в 25% дублей, кажется завышенной;
• Много рекламы, которую тоже обходят поисковики;
• «Блуждание» поисковых роботов в сети многократно увеличивает нагрузку не ресурсы (не относится к поисковикам);
• Большинства сайтов коммерческие (порядка 83%), и имеют малое информативное значение.

По этим и некоторым другим причинам, подавляющее большинство ИПС Интернет используют схему поиска по ключевым словам (search engines), а не классическую схему поиска по классификации информации.

Особенности поиска по ключевым словам

Несмотря на меняющиеся алгоритмы поисковых систем, реклама которых пытается нас убедить, что машины становятся умнее и понятливее, в основу работы поисковых систем лежит поиск по ключевым словам.

Мне нравится такая схема поиска по ключевым словам.

Как видим, работа поисковые системы Интернет основана на поиске новых документов (поисковой робот Spider + Crawler), индексирование обнаруженных документов (Indexer) и выполнение пользовательского запроса (Search Engine Results Engine). В скобках перечислены названия используемых для этих целей поисковых роботов.

Как я сказал, большинство поисковых систем не копируют полные тексты документов в свою базу данных. Для поиска при индексировании документа создается его поисковый образ. Для организации поиска по , робот индексирования создает образ документа по, так называемому, выводящему методу (derived). То есть в образе документа указывается заголовок и набор ключевых слов.

Однако достаточно точно можно утверждать, что все ИПС обращают внимание на следующее:

• Присутствие ключевого слова в