Cursuri de pregatire Web Scraping with Python
Scraping Web este o tehnică pentru extragerea datelor de pe un site web, apoi salvarea lor în fișierul local sau în baza de date.
Acest instruire în direct, direct la fața locului (la fața locului sau la distanță) se adresează dezvoltatorilor care doresc să utilizeze Python pentru a automatiza procesul de târâre a mai multor site-uri web pentru a extrage date pentru procesare și analiză.
Până la sfârșitul acestui antrenament, participanții vor putea:
- Instaleze și configureze Python și toate pachetele relevante.
- Extragă și analizeze date stocate pe numeroase site-uri web.
- Înțeleagă modul în care funcționează site-urile web și cum este structurat HTML acestora.
- Construiască crawlere pentru a explora web-ul la scară largă.
- Utilizeze Selenium pentru a explora pagini web bazate pe AJAX.
Formatul cursului
- Prezentare interactivă și discuții.
- Numeroase exerciții și practică.
- Implementare practică într-un mediu de laborator live.
Opțiuni de personalizare a cursului
- Acest curs presupune cunoștințe de programare.
- Pentru a solicita o sesiune de training personalizată pentru acest curs, vă rugăm să ne contactați pentru a stabili detaliile.
Schița de curs
Introducere
Crearea mediului de dezvoltare
Python Primer: Structuri de date, Condiționale, Gestionarea fișierelor etc.
Python Pachete pentru Web Scraping: Scrapy și BeautifulSoup
Cum funcționează un site web
Cum este structurat HTML.
Efectuarea unei cereri web
Razuirea unei pagini HTML.
Lucrul cu XPath și CSS
Filtrarea datelor utilizând ioni Express obișnuiți
Crearea unui crawler web
Accesarea cu crawlere a paginilor AJAX și JavaScript cu Selenium.
Cele mai bune practici pentru web scraping
Depanare
Rezumat și Concluzie
Cerințe
- Programming experiență, de preferință în Python. Dacă participanții au experiență de programare într-un limbaj diferit de Python, instruirea poate fi extinsă pentru a include exerciții mai introductive în Python.
Audiență
- Dezvoltatori
Cursurile publice necesita 5+ participanti
Cursuri de pregatire Web Scraping with Python - Booking
Cursuri de pregatire Web Scraping with Python - Enquiry
Web Scraping with Python - Cerere de consultanta
Cerere de consultanta
Mărturii (1)
Au fost abordate mulți exemple și subiecte diferite, de la investigații de bază până la gestionarea autentificării și gestionarea paginilor dinamice.
Daniele Tagliaferro - Creditsafe Italia Srl
Curs - Web Scraping with Python
Tradus de catre o masina
Upcoming Courses
Cursuri înrudite
BDD with Python and Behave
7 oreAceastă sesiune de training live, condusă de un instructor, începe cu o discuție despre BDD și modul în care framework-ul Behave poate fi utilizat pentru a efectua testarea BDD pentru aplicații web. Participanții au ample oportunități de a interacționa cu instructorul și cu colegii lor în timp ce implementează conceptele și tacticile învățate în acest mediu de laborator practic și orientat spre practică.
La sfârșitul acestui curs, participanții vor avea o înțelegere fermă a BDD și Behave, precum și practica necesară pentru a implementa aceste tehnici și instrumente în scenarii de testare din lumea reală.
Scaling Data Analysis with Python and Dask
14 oreAceastă instruire live, condusă de un instructor în Moldova (online sau la fața locului) se adresează oamenilor de știință de date și inginerilor de software care doresc să utilizeze Dask cu ecosistemul Python pentru a construi, extinde și analiza seturi mari de date.
La sfârșitul acestui curs de formare, participanții vor fi capabili să:
- Setați mediul pentru a începe să construiți procesarea de date mari cu Dask și Python.
- Explorați caracteristicile, bibliotecile, instrumentele și API-urile disponibile în Dask. .
- Înțelegeți cum Dask accelerează calculul paralel în Python. .
- Învățați cum să scalați ecosistemul Python (Numpy, SciPy, și Pandas) folosind Dask. .
- Optimizați mediul Dask pentru a menține performanțe ridicate în manipularea seturilor mari de date. .
Data Analysis with Python, Pandas and Numpy
14 oreAceastă formare sub supravegherea unui instruire în Moldova (online sau la sediu) se adresează dezvoltatorilor de nivel intermediar Python și analiștilor de date care doresc să își îmbunătățească abilitățile în analiza și manipularea datelor folosind Pandas și NumPy.
La sfârșitul acestei formări, participanții vor putea:
- Sa se configureze un mediu de dezvoltare care include Python, Pandas, și NumPy.
- Sã crea o aplicație de analiză a datelor utilizând Pandas și NumPy.
- Sa efectueze operațiuni avansate de curățare, sortare și filtrare a datelor.
- Sa realizeze operațiuni agregate și să analizeze datele serii temporale.
- Sã vizualizeze datele folosind Matplotlib și alte biblioteci de vizualizare.
- Debugează și optimiză codul lor de analiză a datelor.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 oreAcest curs de formare live (online sau la fața locului), condus de un instructor, se adresează dezvoltatorilor care doresc să utilizeze stiva FARM (FastAPI, React și MongoDB) pentru a construi aplicații web dinamice, de înaltă performanță și scalabile.
La sfârșitul acestui curs de formare, participanții vor fi capabili să:
-
Configurați mediul de dezvoltare necesar care integrează FastAPI, React și MongoDB.
Înțelegeți conceptele-cheie, caracteristicile și beneficiile stivei FARM.
Învățați cum să construiți API-uri REST cu FastAPI.
Învățați cum să proiectați aplicații interactive cu React.
Dezvoltați, testați și implementați aplicații (front end și back end) utilizând stiva FARM.
Developing APIs with Python and FastAPI
14 oreAcest curs de instruire live, condus de un instructor în Moldova (online sau la fața locului) se adresează dezvoltatorilor care doresc să utilizeze FastAPI cu Python pentru a construi, testa și implementa API-uri RESTful mai ușor și mai rapid.
La sfârșitul acestui curs de formare, participanții vor fi capabili să:
- Configureze mediul de dezvoltare necesar pentru a dezvolta API-uri cu Python și FastAPI.
- Creeze API-uri mai rapid și mai ușor folosind biblioteca FastAPI.
- Învețe cum să creeze modele de date și scheme bazate pe Pydantic și OpenAPI.
- Conecteze API-urile la o bază de date folosind SQLAlchemy.
- Implementeze securitate și autentificare în API-uri folosind instrumentele FastAPI.
- Construiască imagini container și implementeze API-uri web pe un server cloud.
Machine Learning with Python – 2 Days
14 oreScopul acestui curs este de a oferi o competență de bază în aplicarea metodelor Machine Learning în practică. Prin utilizarea limbii de programare Python și a diferitelor biblioteci, și pe baza unei mulțime de exemple practice, acest curs învață cum să utilizeze cele mai importante blocuri de construcție Machine Learning, cum să ia decizii de modelare a datelor, să interpreteze rezultatele algoritmelor și să valideze rezultatele.
Scopul nostru este de a vă oferi abilitățile de a înțelege și de a folosi cele mai fundamentale instrumente din caseta de instrumente Machine Learning cu încredere și de a evita prăbușirile comune ale aplicațiilor Data Science.
Machine Learning with Python – 4 Days
28 orescopul acestui curs este de a oferi competență generală în aplicarea metodelor de învățare automată în practică. Prin utilizarea limbajului de programare Python și a diverselor sale biblioteci și pe baza unei multitudini de exemple practice, acest curs învață să folosească cele mai importante blocuri de mașini de învățare, să facă decizii de modelare a datelor, să interpreteze rezultatele algoritmilor și validarea rezultatelor.
scopul nostru este de a vă oferi abilitățile de a înțelege și de a folosi cele mai fundamentale instrumente de la machine learning Toolbox cu încredere și pentru a evita capcanele comune de date Științe aplicații.
Accelerating Python Pandas Workflows with Modin
14 oreAcest curs de formare live, condus de un instructor în Moldova (online sau la fața locului) se adresează cercetătorilor și dezvoltatorilor de date care doresc să utilizeze Modin pentru a construi și implementa calcule paralele cu Pandas pentru o analiză mai rapidă a datelor.
Până la sfârșitul acestui training, participanții vor fi capabili să:
- Să configureze mediul necesar pentru a începe să dezvolte fluxuri de lucru Pandas la scară largă cu Modin.
- Să înțeleagă caracteristicile, arhitectura și avantajele Modin.
- Să cunoască diferențele dintre Modin, Dask și Ray.
- Efectuați operații Pandas mai rapid cu Modin.
- Implementați întregul API și funcțiile Pandas.
Python for Natural Language Generation (NLG)
21 oreÎn această formare guițată în timp real din Moldova, participanții vor învăța cum să folosească Python pentru a produce text de limbaj natural de calitate ridicată prin construirea unui propriu sistem NLG (Natural Language Generation) de la zero. Se vor examina și studiile de caz, iar conceptele relevante se vor aplica proiectelor de laborator live pentru generarea conținutului.
La sfârșitul acestei forme, participanții vor putea:
- Să utilizeze NLG pentru a genera automat conținut pentru diverse industrii, de la jurnalismul până la imobiliar, până la raportarea vremelor și sporturilor.
- Să selecioneze și organizeze conținutul sursă, să planifice propozițiile și să pregătească un sistem pentru generarea automată a conținutului original.
- Să înțeleagă pipeline-ul NLG și să aplice tehnici adecvate la fiecare etapă.
- Să înțeleagă arhitectura unui sistem Natural Language Generation (NLG).
- Să implementeze algoritmi și modele cele mai potrivite pentru analiză și ordonare.
- Să extrage date din surse de date public disponibile, precum și din baze de date curățate pentru a le folosi ca materiale pentru generarea textului.
- Să înlocuiască procesele manuale și laborioase de scriere cu crearea automatizată de conținut generat de computer.
Unit Testing with Python
21 oreÎn această instruire live, condusă de un instructor în Moldova, participanții vor învăța cum să folosească PyTest pentru a scrie teste scurte și ușor de întreținut, care sunt elegante, expresive și ușor de citit;
La sfârșitul acestui curs de formare, participanții vor fi capabili să:
- Scrieți teste lizibile și ușor de întreținut fără a fi nevoie de cod boilerplate.
- Utilizați modelul de fixare pentru a scrie teste mici.
- Scalați testele până la teste funcționale complexe pentru aplicații, pachete și biblioteci.
- Înțelegeți și aplicați caracteristicile PyTest, cum ar fi cârligele, rescrierea aserțiunilor și plug-in-urile. .
- Reduceți timpii de testare prin rularea testelor în paralel și pe mai multe procesoare. .
- Executați testele într-un mediu de integrare continuă, împreună cu alte utilități, cum ar fi tox, mock, coverage, unittest, doctest și Selenium. .
- Utilizați Python pentru a testa aplicații non-Python. .
Advanced Machine Learning with Python
21 oreÎn cadrul acestui curs de formare live, condus de un instructor, în Moldova, participanții vor învăța cele mai relevante și de ultimă oră tehnici de învățare automată în Python pe măsură ce construiesc o serie de aplicații demo care implică imagini, muzică, text și date financiare.
Până la sfârșitul acestei instruiri, participanții vor fi capabili să:
- Să implementeze algoritmi și tehnici de învățare automată pentru rezolvarea problemelor complexe.
- Să aplice învățarea profundă și învățarea semisupervizată la aplicații care implică imagini, muzică, text și date financiare.
- Să împingă algoritmii Python la potențialul lor maxim.
- Să utilizeze biblioteci și pachete precum NumPy și Theano.
Python: Automate the Boring Stuff
14 oreAcest curs de instruire live, condus de un instructor în Moldova se bazează pe cartea populară, "Automate the Boring Stuff with Python", de Al Sweigart. Se adresează începătorilor și acoperă conceptele esențiale de programare Python prin exerciții practice și discuții. Accentul este pus pe învățarea scrierii de cod pentru a crește dramatic productivitatea la birou.
Până la sfârșitul acestui curs, participanții vor ști să programeze în Python și vor aplica această nouă abilitate pentru:
- Automatizarea sarcinilor prin scrierea de programe simple Python.
- Scrierea de programe care pot recunoaște modele de text folosind „expresii regulate”.
- Generarea și actualizarea programatică a foilor de calcul Excel.
- Analizarea fișierelor PDF și a documentelor Word.
- Explorarea site-urilor web și extragerea informațiilor din surse online.
- Scrierea de programe care trimit notificări prin e-mail.
- Utilizarea instrumentelor de depanare Python pentru a rezolva rapid erorile.
- Controlul programatic al mouse-ului și al tastaturii pentru a face clic și a tasta în locul tău.
Advanced Python - 4 Days
28 oreÎn cadrul acestui curs de instruire live, condus de un instructor în Moldova, participanții vor învăța tehnici avansate de programare Python, inclusiv cum să aplice acest limbaj versatil pentru a rezolva probleme în domenii precum aplicațiile distribuite, analiza și vizualizarea datelor, programarea interfețelor utilizator și scripturile de întreținere.
Python Programming - 4 days
28 oreAcest curs este conceput pentru cei care doresc să învețe Python programare Python . Accentul se pune pe limba Python , bibliotecile de bază, precum și pe selectarea celor mai bune și mai utile biblioteci dezvoltate de comunitatea Python . Python conduce afacerile și este folosit de oamenii de știință din întreaga lume - este unul dintre cele mai populare limbaje de programare.
Cursul poate fi susținut folosind cea mai recentă versiune 3.x cu exerciții practice care valorifică la maximum potențialul. Acest curs poate fi susținut pe orice sistem de operare (toate variantele UNIX, inclusiv și Mac OS X, precum și Windows).
Exercițiile practice constituie aproximativ 70% din timpul cursului, iar aproximativ 30% sunt demonstrații și prezentări. Discuții și întrebări pot fi puse pe parcursul întregului curs.
Notă: instruirea poate fi adaptată la nevoile specifice la cererea prealabilă înainte de data propusă a cursului.
Test Automation with Selenium and Python
14 oreÎn acest curs de instruire live, condus de un instructor în Moldova participanții combină puterea lui Python cu Selenium pentru a automatiza testarea unei aplicații web de probă. Prin combinarea teoriei cu practica într-un mediu de laborator live, participanții vor dobândi cunoștințele și practica necesare pentru a-și automatiza propriile proiecte de testare web folosind Python și Selenium.