Составление тематических баз данных ресурсов сети интернет

Одним из самых эффективных и безопасных способов раскрутки интернет ресурсов является рассылка рекламных объявлений на доски, форумы, блоги, гостевые книги, рейтинги, каталоги и др. В предыдущей статье мы рассмотрели особенности грамотного и четкого составления объявления для рассылки. Теперь возникает вопрос: «Куда будем рассылать?» В начале все пользуются бесплатными базами сайтов из комплекта программ рассылки, но мы пойдем другим путем!

Дело в том, что гораздо большую пользу, в отличие от беспорядочного спама, приносит рассылка по тематическим ресурсам. Вопрос, где же достать тематические базы? Некоторые фирмы предлагают купить у них готовые базы, но мы будем составлять такие базы самостоятельно. Это позволит максимально гибко и избирательно составлять базы на любые интересующие нас темы.

Для составления базы предлагаю написать несложную программку на языке PHP. Я надеюсь, Вы знаете, что это такое. Смысл написания скрипта и вообще сбора базы заключается в следующем: мы задаем тематический запрос поисковой системе и парсим выход поисковика, выдирая оттуда исключительно ссылки на интересующие нас ресурсы. Обычно мы ограничены 10-100 ссылками на одной странице выдачи, так что будем собирать их в цикле. Программа скрипта состоит из функции, которая парсит выдачу и печатает на экране результаты работы и вызова этой функции для проверки работоспособности.

Ниже приведен текст программы. Функция рассчитана на три основные поисковые машины в мире. Это Google, Yahoo, MSN. Кто расковыряет язык запросов Яндекса и доработает функцию для работы с самой популярной Российской поисковой системы, присылайте мне свои наработки, буду рад продуктивному сотрудничеству. Я использовал эти три популярные системы из-за достаточно простого и документированного языка запросов к ним. Кроме того в сервисе Google.ru существует отличный поиск по регионам, доменам и другим тематическим частям сети.

<?php

//---- примерный запуск до 10000 элементов выборки ------------------------------------------------------------

    for($i=0; $i<10000; $i+=100)

    {

                $result = parse_serp("google", "форум реклама",$i);

    }

//---- функция парсинга нескольких поисковых систем -----------------------------------------------------------  

    function parse_serp($engine, $query, $start)

    {

        switch (strtolower($engine))

        {

            case 'google':

$request = 'http://www.google.ru/ie?hl=en&num=100&start='.$start.'&lr=&q='.urlencode(trim($query));

                $pattern = '/<a title="(.*)" href=(.*)>(.*)<\/a>/isU';

                $result = file_get_contents($request);

                if(preg_match_all($pattern, $result, $matches))

                {

                            for ($i=0; $i<count($matches[0]); $i++)

                            {

                                $link = urldecode($matches[2][$i]);

                                echo($link);

                                echo("<br>");

                                $serp[] = $link;

                            }

                        }

                break;

            case 'yahoo':

$request = 'http://search.yahoo.com/search?ei=UTF-8&n=100&b=0&vl=&p='.urlencode(trim($query));

$pattern = '/<a class=yschttl.*(http%3a\/\/.*)">(.*)<\/a>.*<div class=yschabstr>(.*)<\/div>/isU';

                                $result = file_get_contents($request);

                 if(preg_match_all($pattern, $result, $matches))

                {

                            for ($i=0; $i<count($matches[0]); $i++)

                            {

                                $link = urldecode($matches[1][$i]);

                                echo($link);

                                echo("<br>");

                                $serp[] = $link;

                            }

                        }

                break;

            case 'msn':

$request = 'http://search.msn.com/results.aspx?count=50&first=0&mkt=&q='.urlencode(trim($query));

$pattern = '/<li.*><h3><a href=".*" gping="\/GLinkPing.aspx\?\/_1_9SE\/1\?(.*)&&.*">(.*)<\/a><\/h3><p>(.*)<\/p>/isU';

                $result = file_get_contents($request);

                 if(preg_match_all($pattern, $result, $matches))

                {

                            for ($i=1; $i<count($matches[0]); $i++)

                            {

                                $link = urldecode($matches[1][$i]);

                                echo($link);

                                echo("<br>");

                                $serp[] = $link;

                            }

                        }

                break;

        }

         return $serp;

    }

//------------------------------------------------------------------------------------------------------------------------------

?>

Следует обратить внимание на то, что для парсинга русскоязычной сети используется сервис русского Google – http://www.google.ru/ie, который выдает спец выдачу только ресурсов, без описания.

В следующей статье мы рассмотрим обзор рынка программного обеспечения, посвященного рекламе, оптимизации, продвижению и раскрутке сайтов в русском сегменте сети интернет .