Look for skilled web scraper (website contains JavaScript and human tests)

  • Κατάσταση: Closed
  • Βραβείο: $156
  • Ληφθείσες Συμμετοχές: 17

Σύνοψη Διαγωνισμού

Look for highly skilled web scrapers to download the content and extract data (bulk data) from major retailing websites. It is essential to master selenium, puppeteer, or other automation tools to achieve the goals. Price can go up to $1000 if you are really good at web scrapping.

The qualified task is to get price and sku info from walmart. There are over 1000 results and 25 pages in the below link. Loop through pages and bypass recaptcha everytime to download every page.
https://www.walmart.com/browse/electronics/touchscreen-laptops/3944_3951_1089430_1230091_1101633

Basically, there are two steps. First step is to send a get/post request using a script in a linux server. We use cron jobs to run scripts daily. Request headers possibly need to be sent with request. JavaScript on the website sometimes need to be run to get the correct info. The second step is to extract data from the download html or json file. It is easy part.

Please note that the scraper will run in background in a Linux server.

Προτεινόμενες Δεξιότητες

Κορυφαίες καταχωρήσεις από αυτόν τον διαγωνισμό

Προβολή Περισσότερων Συμμετοχών

Δημόσιος Πίνακας Διευκρινίσεων

  • busygayan
    busygayan
    • Πριν από 3 μήνες

    Hi,
    I'm actually able to get this project done, i can make sure i extract all the relevant details from Walmart by successfully bypassing recaptcha and any other human verification methods.

    I still don't see the content holder being active on the contest, if you're interested in a long term working solution please ping back. Would love to work on the project.

    • Πριν από 3 μήνες
  • busygayan
    busygayan
    • Πριν από 3 μήνες

    #guaranteed ?
    Seems like an awesome project to work on.

    • Πριν από 3 μήνες

Πώς να ξεκινήσετε με τους διαγωνισμούς

  • Δημοσιεύστε τον διαγωνισμό σας

    Αναρτήστε τον διαγωνισμό σας Γρήγορα και εύκολα

  • Λάβε ένα σωρό συμμετοχές

    Λάβετε Πολλές Συμμετοχές Από όλο τον κόσμο

  • Βραβεύστε την καλύτερη καταχώρηση

    Βραβεύστε την καλύτερη καταχώρηση Κατεβάστε τα αρχεία - Εύκολα!

Αναρτήστε ένα Διαγωνισμό Τώρα ή Ελάτε Μαζί Μας Σήμερα!