[Udemy] Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP

​

Станьте профессиональным разработчиком парсеров, роботов. Научитесь работать с Selenium, PhantomJS и cURL с PHP

Чему я научусь?
Вы сможете создавать парсеры и роботы
Вы сможете парсить любые сайты
Вы сможете писать автоматизированные тесты веб-приложений
Вы сможете создавать копии сайтов

Учебный план этого курса
22 лекции - 03:12:52
– Введение - 04:59
Что будет рассмотрено в курсе - 04:59
– Простой парсинг - 53:14
Подключаем библиотеку для парсинга - 05:00
Тест. Получаем исходный код страницы - 02:30
Получаем ссылки на каждую из статей со страницы каталога - 04:28
Работа с паджинацией (когда каталог, контент разбит на страницы). Рекурсия - 04:44
Парсинг каждой отдельной статьи - 04:41
Создаем таблицу articles для хранения данных парсинга - 04:19
Добавляем ссылки на каждую статью в таблицу БД - 04:48
Парсим и сохраняем каждую статью в БД - 03:11
Переносим парсер вчистовик. CLI - 04:51
Сохранение статей в БД. Парсер готов - 04:54
Как параллельно запустить много потоков парсера? Часть 1 - 04:57

Спойлер: Продолжение описания

Как параллельно запустить много потоков парсера? Часть 2 - 04:51
– PhantomJS и PHP. Парсим сайты. Создаем живую копию сайта Zappos.com - 01:58:07
Знакомимся с PhantomJS. Командная строка. Скриншоты сайтов. Исходный код сайта - 16:20
Работа PhantomJS и PHP. Приложение-генератор скриншотов сайтов. Меняем UserAgent - 34:29
Парсим Zappos.com. Часть 1: пишем JS код для получения ссылок категорий товаров - 11:43
Парсим Zappos.com. Часть 2: получаем JSON со ссылками. Внедрение кода с evaluate - 07:04
Парсим Zappos.com. Часть 3: пишем JSON в файл из PhantomJS. Читаем его из PHP - 08:32
Парсим Zappos.com. Часть 4: Рекурсия в PhantomJS - берем страницы из педжинации - 23:27
Парсим Zappos.com. Часть 5: Получаем ссылки на все товары со страницы каталога - 08:43
Парсим Zappos.com. Часть 6: пишем ссылки на все товары категории в JSON файл - 07:49
– Бонус. Безлимитный Google Translate без ключа API. Парсинг Google Translate - 16:32
Парсим Google Translate с PhantomJS. Передача аргументов из командной строки - 16:32
Добавить размер окна через viewportSize и установить userAgent, как будто Chrome - 1 вопрос
Перевод больших текстов с переносами строк - 1 вопрос

Требования
Знакомство с PHP и JavaScript

Описание
Этот курс сделает вас профессиональным разработчиком парсеров, роботов, скриптов автоматизации. Вы сможете парсить сайты любой сложности, работать с Selenium Webdriver, писать роботы, и создать платформу уровня UNI Delivery. Курс будет активно наполняться новыми лекциями и разделами!

Курс включает в себя такие разделы:
1. Простой парсинг
Вы изучите, как парсить простые сайты с минимальными затратами времени. Как сохранять контент в БД и запускать параллельно несколько потоков парсера.

2. Автоматизация, роботы, парсеры, тестирование с помощью Selenium и PHP
Вы научитесь работать в Selenium WebDriver с помощью PHP - мы сделаем заказы в интернет магазинах с помощью робота.

3. Работа с cURL, прокси, Cookie
Изучим работу с cURL, прокси, Cookie в PHP.

4. Копии сайтов с помощью cURL, создание прокси скрипта
Автор курса - разработчик платформы UNI Delivery, где десятки американских магазинов открываются внутри платформы. Мы создадим LIVE (онлайн) копии таких сайтов как Amazon и 6PM.

5. Работа с PhantomJS
Вы изучите PhantomJS - виртуальный браузер, мощный инструмент для автоматизации и парсинга.

6. Работа с DigitalOcean, Vultr
Вы узнаете, как работать с виртуальными серверами на платформах DigitalOcean, Vultr и разворачивать там парсеры.

Какова целевая аудитория?
Для тех, кто хочет научиться создавать парсеры, роботы
Для тех, кто хочет научиться освоить автоматизацию Selenium WebDriver

О преподавателе (энглиш)
PHP - Academy
Web development courses
PHP Academy is surely one of the most effective ways for you to acquire all the necessary skills in web development since we truly wish all of our students to become really talented professionals.

We have a great experience in teaching which means that we already have our own magic formula of providing foundation knowledge, so that you will be able to create your own web sites, get the desired job and well-paid position. What is more, we constantly improve ourstrategy of teaching to make our students feel more comfortable, confident and satisfied. Our aim is to deliver valuable knowledge, provide you with pretty simple, succinct, comprehensible and qualitative materials at quite acceptable price. We are absolutely open to our students that`s why you are welcome to ask any questions which we are really thankful for.

You should also notice, that all of our courses have money back guarantee, which lasts 30 days.

We wish you happy learning and successful digesting of our materials!

Складчина состоит из
[Udemy] Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP (PHP-Academy)
001 Что будет рассмотрено в курсе.mp4 [85m 608k 674]
002 Подключаем библиотеку для парсинга.mp4 [87m 681k 384]
003 Тест. Получаем исходный код страницы.mp4 [46m 466k 558]
004 Получаем ссылки на каждую из статей со страницы каталога.mp4 [0]
005 Работа с паджинацией (когда каталог, контент разбит на страницы). Рекурсия.mp4 [0]
006 Парсинг каждой отдельной статьи.mp4 [85m 678k 642]
007 Создаем таблицу articles для хранения данных парсинга.mp4 [0]
008 Добавляем ссылки на каждую статью в таблицу БД.mp4 [0]
009 Парсим и сохраняем каждую статью в БД.mp4 [57m 905k 993]
010 Переносим парсер вчистовик. CLI.mp4 [86m 402k 855]
011 Сохранение статей в БД. Парсер готов.mp4 [86m 646k 989]
012 Как параллельно запустить много потоков парсера. Часть 1.mp4 [85,4Мб]
013 Как параллельно запустить много потоков парсера. Часть 2.mp4 [85,8Мб]

Складчина состоит из (обновленный вариант)
1-01 Введение.mp4 [85m 608k 674]
2-02 simple-html-dom.zip [14k 973]
2-02 Подключаем библиотеку для парсинга.mp4 [87m 681k 384]
2-03 Тест. Получаем исходный код страницы.mp4 [46m 466k 558]
2-04 Получаем ссылки на каждую из статей со страницы каталога.mp4 [81m 273k 814]
2-05 Работа с паджинацией (когда каталог, контент разбит на страницы). Рекурсия.mp4 [86m 650k 95]
2-06 Парсинг каждой отдельной статьи.mp4 [85m 678k 642]
2-07 Создаем таблицу articles для хранения данных парсинга.mp4 [75m 948k 366]
2-08 Добавляем ссылки на каждую статью в таблицу БД.mp4 [87m 234k 963]
2-09 Парсим и сохраняем каждую статью в БД.mp4 [57m 905k 993]
2-10 Переносим парсер вчистовик. CLI.mp4 [86m 402k 855]
2-11 Сохранение статей в БД. Парсер готов.mp4 [86m 646k 989]
2-12 Как параллельно запустить много потоков парсера Часть 1.mp4 [89m 634k 390]
2-13 Как параллельно запустить много потоков парсера Часть 2.mp4 [90m 11k 83]
3-14 5-phantomjs.zip [18m 143k 404]
3-14 Знакомимся с PhantomJS. Командная строка. Скриншоты сайтов. Исходный код сайта.mp4 [121m 696k 152]
3-15 5.2-phantomjs.zip [18m 419k 198]
3-15 Работа PhantomJS и PHP. Приложение-генератор скриншотов сайтов. Меняем UserAgent.mp4 [667m 146k 868]
3-16 zappos-get-categories-links-to-json.js [591]
3-16 Парсим Zappos.com. Часть 1 пишем JS код для получения ссылок категорий товаров.mp4 [197m 803k 686]
3-17 Парсим Zappos.com. Часть 2 получаем JSON со ссылками. Внедрение кода с evaluate.mp4 [112m 152k 351]
3-18 5.1-phantomjs-zappos.zip [18m 148k 4]
3-18 Парсим Zappos.com. Часть 3 пишем JSON в файл из PhantomJS. Читаем его из PHP.mp4 [144m 472k 64]
3-19 Парсим Zappos.com. Часть 4 Рекурсия в PhantomJS - берем страницы из педжинации.mp4 [382m 555k 173]
3-20 5.5-phantomjs-zappos.zip [18m 149k 245]
3-20 Парсим Zappos.com. Часть 5 Получаем ссылки на все товары со страницы каталога.mp4 [49m 746k 976]
3-21 5.6-phantomjs-zappos.zip [18m 421k 592]
3-21 Парсим Zappos.com. Часть 6 пишем ссылки на все товары категории в JSON файл.mp4 [132m 925k 859]
4-22 задание 1.txt [407]
4-22 задание 2.txt [310]
4-22 Парсим Google Translate с PhantomJS. Передача аргументов из командной строки.mp4 [88m 258k 105]
предварительный просмотр.zip [319m 544k 109]

Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...