Присоединяйтесь к нам! » Регистрация Логин Пароль Забыли пароль?
0
0
Был на сайте: больше года назад
−

Парсинг выдачи Google

Статус Открытый
Публикация: 12.04.2018 / 16:45

Задание

На данный момент мы используем A-parser, мы в парсим 100 позиций выдачи гугла порядка 500к - 1.5 милионов запросов в день. До того, как гугл перешел c цифровой капчи на recaptcha2, для решения капч мы использовали capmonster2 и скорость была около 4к в минуту. После перехода на новую капчу, капмонстр перестал справляться с нагрузкой, в связи с чем было решено попробовать отказаться от него. Пробовали сервисы, в которых оплата идет за определенное количество решенных капч, но они оказались не эффективными, так-как время решения капчи больше, чем выигранное благодаря этому время и средняя скорость еще меньше, чем вообще без разгадывания капчи. Без разгадывания капчи скорость так же очень низкая, варьируется от 50 до 700 запросов в минуту. Дополнительные прокся не сильно помогают, так-как в начале скорость нормальная (около 2к/минуту), но очень быстро запросы банятся и скорость снова падает.

Необходимо:
1) Наладить безпрерывный ежедневный парсинг 10 000 000 запросов поисковой выдаче Google.
2) Дооптимизировать A-parser или предложить свое решение.

Файлы

Нет загруженных файлов
Нет предложений
Участники проекта (0)
Выберите работников из доступных предложений
Здесь Вы можете размещать дополнительную информацию и новости проекта