Сбор форумов для создания будущей Р базы
В этой статье я Вам расскажу как лучше всего собрать форумы, чтоб уже из них делать свою Р базу.
Что нам потребуется для сбора форумов:
-Xrefer
-запросы
-ключевые слова
-прокси
-терпение
Скачиваем программу Hrefer и устанавливаем ее на компьютер или сервер.
Теперь я Вам опишу первый способ сбора форумов, по моим запросам, для этого:
-скачайте мои запросы по ссылке http://babbls.com/zap_forum.zip
После разархивации архива, который Вы скачали увидите две папки “Уникальные” и “С Подстановками” в этих папках есть по два текстовых файла “bolshe_1000.txt” и “do_1000.txt”
Что такое файлы “bolshe_1000.txt” и “do_1000.txt”
“bolshe_1000.txt” – в этом файле запросы по которым в выдаче в гугле больше 1000 результатов.
К этим запросам где больше 1к результатов, можно подставлять доменные зоны.
“do_1000.txt” - по этим запросам меньше 1000 результатов в гугле. Т.е. к этим запросам нечего не надо подставлять больше не
соберешь уже.
-делаем следующее файл “do_1000.txt” из папки “Уникальные” и “С Подстановками” объединяем в один.
-объединенный файл размешаем в папку “Words” – эта папка находится в папке с Хрефером.
-теперь запускаем хрефер, если хрефер работал, то перезапустите его.
-заходим во вкладку “Words Database” и выбираем файл который объединили.
Пример:
-потом заходим в раздел Options – Parsing options и настраиваем все как тут:
-настраиваем прокси
Для этого нам надо нажать на вкладку Options – Anonymity options
Прокси от ботмастера не подойдут они очень плохие, нам надо вставить свой прокси источник.
Заходим в папку с Hrefer и там есть папка proxyc, заходим в нее и открываем текстовый файл list.txt и Вы увидите список ссылок откуда берутся прокси, удаляем все эти ссылки и в этот текстовый файл вписываем ссылку с нормальными прокси, рекомендую сервис http://anonimsurfer.ru/ арендовать прокси лучше минимум на 7мь дней.
Если нет желание тратить деньги: запрос free proxy list в гугле может помочь вам
сэкономить копеечку..
После того как приобретете или найдете нормальные прокси Вам дадут урл с http прокси или с socks и эту ссылку вставляете в тектовый файл list.txt
Теперь папку proxyc надо закачать на свой хостинг или на сервер, как Вам угодно.
И во вкладке Options Вам надо прописать ссылку, куда вы закачали папку. Например:
http://domne.com/proxyc/engines.php
Сохраняем все опции.
Пример:
-потом заходим во вкладку Proxylist и нажимаем на кнопку
Пример:
-если после нажатия на кнопку которая выделена прокси будут чекаться то все круто.
-во вкладке Multithreadling выставьте потоки на парсер 300 и на чек прокси 150
-во вкладке Search Engines options & Filter у вас должна стоять поисковая система Google.
-проверьте еще раз вкладку “Words Database” чтоб там был выбран объединенный файл.
-запускаем парсер.
Второй способ сбора баз. ,
Как вы помните у нас еще остались текстовые файлы в папках “Уникальные” и “С Подстановками” файлы “bolshe_1000.txt”
-их тоже объединяем в один текстовый файл.
-также настраиваем прокси.
-выбираем объединенный файл во вкладке “Words Database”
-опции только должны быть настроены по другому, вот так:
-переходим во вкладку Additive words database
-нажимаем на кнопку Edit additive words и вписываем туда домены зоны, пока что самые основные это:
site:com
site:net
site:org
site:info
site:ws
site:ru
пример:
-проверяем все вкладки, чтоб все было как настраивали. Ну потом нажимаем на парсинг.
По эти двум способам, можно по моим запросам выпарсить максимально много форумов. ,
ТРЕТИЙ способ сбора форумов.
- прокси настраиваем также как и выше.
-заходим во вкладку Options – Parsing options
Все настраиваем как на картинке.
-теперь закрываем Хрефер и заходим в папку Templates и там видим два файла текстовых “all_forums.txt” и “all_forums_addwords.txt”
В этих файлах должно быть такое содержание:
“all_forums.txt”:
forum
phorum
topic
bulletin
thread
modules.php
yabb
ultimatebb
board
phpbb
act=ST
act=SF
list.php
posting
profile.php
act=Reg
post.php
ubb
exbb
newbb
ipb
invision
foro/
/sutra
lofiversion
в файле “all_forums_addwords.txt”:
forum
phorum
add topic
new topic
phpBB
yaBB
IPB
posting
add message
send message
post new topic
создать сообщение
добавить сообщение
создать топик
добавить
new thread
send thread
VBulletin
BBS
-все сохраняем и заходим в Хрефер.
-потом заходим во вкладку Search Engines options &Filter
И в поле Sieve-filter выбираем all_forums
-заходим потом во вкладку Additive Words database
И нажимаем на кнопочку Edit additive words..
Там должно быть это:
forum
phorum
add topic
new topic
phpBB
yaBB
IPB
posting
add message
send message
post new topic
создать сообщение
добавить сообщение
создать топик
добавить
new thread
send thread
VBulletin
BBS
-теперь нам нужны ключевые слова как можно больше, соберите ключевых слов штук 10к - 100к
(любых)
Сохраняем ключевые слова в текстовый файл и этот текстовый файл копируем в папку в хрефере – Words, перезапускаем хрефер, заходим во вкладку “Worlds database” и выбираем там файл который добавили в папку.
-Заходим во вкладку ProxsyList и обновляем прокси.
-выставляем потоки нужные и все, можем запускать парсер.
ТРЕТИЙ метод используйте если по первым двум методам форумов собралось мало.