Czym jest web scraping? To proces pozyskiwania danych z Internetu. Dane są przenoszone do pliku lokalnego lub wrzucane do bazy danych. Proces kopiowania danych możesz być czasochłonny. Jak w takim razie zautomatyzować proces pobierania danych? Posłuchaj 8. odcinku podcastu, w którym opowiadam o istotnych aspektach oraz przykładowych bibliotekach w Pythonie.

Już niedługo startuje Szkoła Big Data (www.szkolabigdata.pl), zapisz się na listę zainteresowanych.

Linki do dokumentacji: 1. Requests (dokumentacja: https://requests.readthedocs.io/en/master/), 2. BeautifulSoup (https://www.crummy.com/software/BeautifulSoup/bs4/doc/), 3. Scrapy (https://docs.scrapy.org/en/latest/intro/tutorial.html)

#Python #automatyzacja #webscraping #beautifulsoup #scrapy #dane #bigdata #ilovedata

#2 Klaster Hadoop i wymagane usługi do jego uruchomienia

iLoveData.pl - Podcast o danychBy Marcin KośmiderMar 12, 2020