* РБК — новости

* *

Запуск Screaming Frog на собственных серверах Google

  1. Создание SSH-соединения
  2. В Mac OS X
  3. Установка и настройка VNCViewer

Screaming Frog - это сканер SEO, являющийся отраслевым стандартом, но он может замедлять работу компьютера и монополизировать подключение к Интернету. Вместо этого, запустив его в Google Compute Cloud, он может работать значительно быстрее, и вы можете продолжать выполнять другие задания во время работы. Более того, если вы можете запустить один экземпляр Google Compute Cloud, вы можете запустить много .

В этой части 1 из 2 я объясню, как настроить Screaming Frog для запуска в облаке, а затем, в часть 2 Я объясню, как перейти на следующий уровень и использовать его для сканирования потенциально сотен веб-сайтов одновременно, быстрее, чем вы когда-либо делали раньше.

Прежде чем начать эту часть 1, вам понадобится:

  1. учетная запись Google;
  2. карта, которую Google может взимать за использование своих серверов (вы сможете пользоваться ими некоторое время бесплатно, но в любом случае вам придется немедленно вводить данные карты); а также
  3. лицензия Screaming Frog. Если вы планируете одновременно использовать Screaming Frog на своем компьютере и в облаке, вам понадобятся две лицензии. Кричащая лягушка стоит недорого - поддержите ее дальнейшее развитие.

Теперь, как запустить его:

  1. Перейти к Google Compute Cloud Console и подписаться на бесплатную пробную версию.
  2. Создайте новый проект, называя его как хотите.
  3. Нажмите «Compute Engine» «VM instance» и создайте новый экземпляр. Вот настройки, которые вам понадобятся: Screaming Frog - это сканер SEO, являющийся отраслевым стандартом, но он может замедлять работу компьютера и монополизировать подключение к Интернету
  4. После входа вы вернетесь на страницу виртуальной машины, и ваша новая виртуальная машина начнет загружаться. Нажмите «SSH» «Открыть в окне браузера», и у вас появится окно наподобие этого:
  5. введите 'sudo add-apt-repository ppa: webupd8team / java'
  6. введите 'sudo apt-get update'
  7. введите 'sudo apt-get upgrade'
  8. введите 'sudo apt-get install xfce xfce-goodies autocutselightvncserver'
  9. введите 'sudo apt-get install libxss1 libappindicator1 libindicator7 fonts-liberation'
  10. введите 'sudo apt-get install cabextract enchant fonts-wqy-zenhei gstreamer1.0-plugins-good gstreamer1.0-x hunspell-en-us libaa1 libavc1394-0 libcaca0 libdv4 libenchant1c2a libgstreamer-plugins-goodfbuubu1 libhunspell-1.6-0 libhyphen0 libiec61883-0 libjavascriptcoregtk-4.0-18 libraw1394-11 libshout3 libspeex1 libv4l-0 libv4lconvert0 libvpx4 libwavpack1 libwebkit2gtk-4.0.37 libwebp6 общеизвестный пользовательский пакет
  11. введите 'sudo apt-get install oracle-java8-installer openjdk-8-jre-headless libatk-wrapper-java-jni libgif7 шрифты-dejavu-дополнительные java-общие gsfonts-x11 oracle-java8-set-default openjdk-8-jre gsfonts libatk-wrapper-java ca-Certificates-java libpcsclite1 ′
  12. введите 'touch ~ / .Xresources'
  13. введите "wget ​​https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb"
  14. введите "sudo dpkg -i google-chrome * .deb"
  15. введите 'wget https://download.screamingfrog.co.uk/products/seo-spider/screamingfrogseospider_9.1_all.deb'
  16. введите 'sudo dpkg -i screamingfrogseospider_9.1_all.deb'
  17. введите 'vncserver' и установите любой пароль, который вам нравится - я рекомендую не беспокоиться о пароле только для просмотра.

Теперь у вас все настроено в облаке - вы просто не можете получить к нему доступ. Для этого вам нужно создать SSH-соединение и установить VNCViewer.

Создание SSH-соединения

Сначала нам нужно установить GCloud SDK.

В Mac OS X

  1. Откройте терминал и введите 'curl https://sdk.cloud.google.com | Баш»
  2. введите 'exec -l $ SHELL'
  3. введите "gcloud init"
  4. введите "логин gcloud"

На винде

  1. Загрузите и запустите Установщик Cloud SDK ,
  2. Выберите «Запустить Cloud SDK Shell» и «Запустить gcloud init»
  3. В командной строке запустите «gcloud login»

После завершения вышесказанного введите «gcloud compute ssh [имя вашей виртуальной машины] –project [уникальное имя вашего проекта] –zone us-central1-f –ssh-flag« -L 5901: localhost: 5901 ″

Вам будет предложено установить пароль, после чего будет установлено соединение.

Установка и настройка VNCViewer

  1. Мне нравится VNC Viewer от RealVNC, хотя неважно, какой вы используете. Вы можете скачать его Вот ,
  2. После установки / открытия нажмите «Файл» «Новый» и введите «127.0.01: 5901» в качестве VNC-сервера - назовите его как хотите.
  3. После сохранения нажмите на значок сервера и введите пароль, который вы указали при вводе ранее vncserver. После этого должно открыться окно, связывающее вас с вашей виртуальной машиной:

И вот, у вас это есть - все готово для запуска вашего первого сканирования. Важно помнить, что вы платите (или используете бесплатные пробные кредиты), пока компьютер работает (и только на небольшую сумму, когда он не работает), поэтому, когда вы закончите с виртуальной машиной, закройте окно терминала. , VNC Viewer и в Google Cloud Compute Console, остановите компьютер.

Вы готовы сканировать сотни тысяч URL-адресов, не беспокоясь о том, что это замедлит ваше интернет-соединение или компьютер. НО я бы не рекомендовал останавливаться здесь. В конечном итоге вышесказанное - это большая работа, если все, что вы пытаетесь сделать, - это перестать коллеги жаловаться на то, что вы прервали соединение. Реальная сила этого не в том, чтобы запустить один - это происходит, когда вы автоматизируете все это, запускаете несколько экземпляров одновременно, что дает вам огромный прирост скорости, который позволит вам сканировать целые отрасли быстрее, чем вы. Ранее сканировались отдельные сайты. К счастью, это намного проще, чем кажется. Так что перепрыгните на часть 2 здесь превратить ваши основные настройки во что-то, что изменит ваш стиль работы.

Реклама

Популярные новости


Реклама

Календарь новостей

Реклама

Архив новостей

Реклама