Cursuri de pregatire Web Scraping cu Python
Web Scraping este o tehnică de extragere a datelor de pe un site web, pentru a le salva într-un fișier local sau bază de date.
Acest curs instruit de instructor (online sau la fața locului) este destinat dezvoltatorilor care doresc să folosească Python pentru a automatiza procesul de parcurgere a mai multor site-uri web pentru extragerea datelor și analizarea acestora.
La finalul acestei formări, participanții vor putea:
- Instala și configura Python și toate pachetele relevante.
- Recupera și parsezi date stocate pe multe site-uri web.
- Înțelege cum funcționează site-urile web și cum este structurat HTML-ul acestora.
- Crea spideri pentru a parcurge webul la scară largă.
- Folosi Selenium pentru a parcurge paginile web drivate prin AJAX.
Formatul Cursului
- Prezentare interactivă și discuție.
- Multe exerciții și practici.
- Implementare practică într-un mediu de laborator live.
Opțiuni de Personalizare a Cursului
- Acest curs presupune cunoștințe de programare.
- Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja detalii.
Schița de curs
Introducere
Setarea Mediului de Dezvoltare
Breviar Python: Structuri de date, condiționale, manipularea fișierelor, etc.
Pachete Python pentru Web Scraping: Scrapy și BeautifulSoup
Cum Funcționează un Site Web
Structura HTML-ului
Făcerea unei Solicitări Web
Scraping a unei Pagini HTML
Lucrul cu XPath și CSS
Filtrarea Datelor Folosind Expresii Regulate
Creatia unui Crawler Web
Parcurgerea Paginilor Web AJAX și JavaScript cu Selenium.
Bune Practici în Web Scraping
Soluționarea Problemelor
Rezumat și Concluzii
Cerințe
- Experiență în programare, preferabil în Python. Dacă participanții au experiență de programare într-un alt limbaj decât Python, formarea poate fi prelungită pentru a include mai multe exerciții introductive în Python.
Audiență
- Dezvoltatori
Cursurile publice necesita 5+ participanti
Cursuri de pregatire Web Scraping cu Python - Rezervare
Cursuri de pregatire Web Scraping cu Python - Solicitare
Web Scraping cu Python - Cerere de consultanta
Cerere de consultanta
Mărturii (1)
Au fost abordate mulți exemple și subiecte diferite, de la investigații de bază până la gestionarea autentificării și gestionarea paginilor dinamice.
Daniele Tagliaferro - Creditsafe Italia Srl
Curs - Web Scraping with Python
Tradus de catre o masina
Cursuri viitoare
Cursuri înrudite
Scalarea Analizei Datelor cu Python și Dask
14 oreAceastă instruire condusă de instructor (online sau la fața locului) este destinate data scientists și inginerilor software care doresc să folosească Dask în ecosistemul Python pentru a construi, scala și analiza seturi de date mari.
La finalul acestei instruirile, participanții vor putea:
- Configura mediul pentru a începe construirea procesării datelor massive cu Dask și Python.
- Explora funcțiile, bibliotecile, instrumentele și API-urile disponibile în Dask.
- Înțelege cum Dask accelerează calculul paralel în Python.
- Afla cum să scala ecosistemul Python (Numpy, SciPy, și Pandas) folosind Dask.
- Optimiza mediul Dask pentru a menține o performanță ridicată în gestionarea seturilor de date mari.
Analiza Datelor cu Python, Pandas și Numpy
14 oreAceastă formare sub supravegherea unui instruire în Moldova (online sau la sediu) se adresează dezvoltatorilor de nivel intermediar Python și analiștilor de date care doresc să își îmbunătățească abilitățile în analiza și manipularea datelor folosind Pandas și NumPy.
La sfârșitul acestei formări, participanții vor putea:
- Sa se configureze un mediu de dezvoltare care include Python, Pandas, și NumPy.
- Sã crea o aplicație de analiză a datelor utilizând Pandas și NumPy.
- Sa efectueze operațiuni avansate de curățare, sortare și filtrare a datelor.
- Sa realizeze operațiuni agregate și să analizeze datele serii temporale.
- Sã vizualizeze datele folosind Matplotlib și alte biblioteci de vizualizare.
- Debugează și optimiză codul lor de analiză a datelor.
FARM (FastAPI, React și MongoDB) Dezvoltare Full Stack
14 oreAcest training condus de instrucțiune (online sau on-site) este destinat dezvoltatorilor care doresc să folosească stiva FARM (FastAPI, React și MongoDB) pentru a construi aplicații web dinamice, cu performanță ridicată și scalabile.
La sfârșitul acestui training, participanții vor fi capabili să:
- Seteze mediul de dezvoltare necesar care integrează FastAPI, React și MongoDB.
- Înțeleagă conceptele cheie, funcțiile și beneficiile stivei FARM.
- Învețe cum să construiască API-uri REST cu FastAPI.
- Învețe cum să proiecteze aplicații interactive cu React.
- Dezvolte, testeze și implementeze aplicații (frontend și backend) folosind stiva FARM.
Dezvoltarea de API-uri cu Python și FastAPI
14 oreAceastă instruire conducătoare, live în Moldova (online sau onsite), este destinată dezvoltatorilor care doresc să folosească FastAPI cu Python pentru a construi, testa și implementa API-uri RESTful mai ușor și mai rapid.
La finalul acestei instruirile, participanții vor putea:
- Setați mediul de dezvoltare necesar pentru a dezvolta API-uri cu Python și FastAPI.
- Creați API-uri mai repede și mai ușor folosind biblioteca FastAPI.
- Aflați cum să creați modele și scheme de date bazate pe Pydantic și OpenAPI.
- Conectați API-urile la o bază de date folosind SQLAlchemy.
- Implementați securitatea și autentificarea în API-uri folosind instrumentele FastAPI.
- Creați imagini de container și implementați API-uri web pe un server cloud.
Aprendizajul automatizat cu Python – 2 zile
14 oreScopul acestui curs este de a oferi o competență de bază în aplicarea metodelor Machine Learning în practică. Prin utilizarea limbii de programare Python și a diferitelor biblioteci, și pe baza unei mulțime de exemple practice, acest curs învață cum să utilizeze cele mai importante blocuri de construcție Machine Learning, cum să ia decizii de modelare a datelor, să interpreteze rezultatele algoritmelor și să valideze rezultatele.
Scopul nostru este de a vă oferi abilitățile de a înțelege și de a folosi cele mai fundamentale instrumente din caseta de instrumente Machine Learning cu încredere și de a evita prăbușirile comune ale aplicațiilor Data Science.
Aprendizajul automatizat cu Python – 4 zile
28 orescopul acestui curs este de a oferi competență generală în aplicarea metodelor de învățare automată în practică. Prin utilizarea limbajului de programare Python și a diverselor sale biblioteci și pe baza unei multitudini de exemple practice, acest curs învață să folosească cele mai importante blocuri de mașini de învățare, să facă decizii de modelare a datelor, să interpreteze rezultatele algoritmilor și validarea rezultatelor.
scopul nostru este de a vă oferi abilitățile de a înțelege și de a folosi cele mai fundamentale instrumente de la machine learning Toolbox cu încredere și pentru a evita capcanele comune de date Științe aplicații.
Accelerarea fluxurilor de lucru Python Pandas cu Modin
14 oreAcest curs de formare live, condus de un instructor în Moldova (online sau la fața locului) se adresează cercetătorilor și dezvoltatorilor de date care doresc să utilizeze Modin pentru a construi și implementa calcule paralele cu Pandas pentru o analiză mai rapidă a datelor.
Până la sfârșitul acestui training, participanții vor fi capabili să:
- Să configureze mediul necesar pentru a începe să dezvolte fluxuri de lucru Pandas la scară largă cu Modin.
- Să înțeleagă caracteristicile, arhitectura și avantajele Modin.
- Să cunoască diferențele dintre Modin, Dask și Ray.
- Efectuați operații Pandas mai rapid cu Modin.
- Implementați întregul API și funcțiile Pandas.
Python pentru Generarea Limbajului Natural (NLG)
21 oreÎn această formare guițată în timp real din Moldova, participanții vor învăța cum să folosească Python pentru a produce text de limbaj natural de calitate ridicată prin construirea unui propriu sistem NLG (Natural Language Generation) de la zero. Se vor examina și studiile de caz, iar conceptele relevante se vor aplica proiectelor de laborator live pentru generarea conținutului.
La sfârșitul acestei forme, participanții vor putea:
- Să utilizeze NLG pentru a genera automat conținut pentru diverse industrii, de la jurnalismul până la imobiliar, până la raportarea vremelor și sporturilor.
- Să selecioneze și organizeze conținutul sursă, să planifice propozițiile și să pregătească un sistem pentru generarea automată a conținutului original.
- Să înțeleagă pipeline-ul NLG și să aplice tehnici adecvate la fiecare etapă.
- Să înțeleagă arhitectura unui sistem Natural Language Generation (NLG).
- Să implementeze algoritmi și modele cele mai potrivite pentru analiză și ordonare.
- Să extrage date din surse de date public disponibile, precum și din baze de date curățate pentru a le folosi ca materiale pentru generarea textului.
- Să înlocuiască procesele manuale și laborioase de scriere cu crearea automatizată de conținut generat de computer.
Advanced Machine Learning with Python
21 oreÎn acest antrenament dirijat de instrucțiune, live în Moldova, participanții vor învăța cele mai relevante și inovatoare tehnici de machine learning cu Python, pe măsură ce construiesc o serie de aplicații demonstrative implicate cu imagini, muzică, text și date financiare.
La sfârșitul acestui antrenament, participanții vor putea:
- Implementa algoritmi și tehnici de machine learning pentru rezolvarea problemelor complexe.
- Aplica deep learning și semi-supervised learning la aplicații implicate cu imagini, muzică, text și date financiare.
- Pune algoritmii Python la potențialul lor maxim.
- Folosi biblioteci și pachete precum NumPy și Theano.
Python: Automatizarea lucrurilor plictisitoare
14 oreAcest antrenament live, condus de instrucțor, în Moldova, se bazează pe cartea populară "Automate the Boring Stuff with Python", scrisă de Al Sweigart. Este destul pentru începători și acoperă conceptele esențiale de programare în Python prin exerciții practice și discuții hands-on. Accentul este pus pe învățarea scrierii codului pentru a crește dramatic productivitatea în birou.
La finalul acestui antrenament, participanții vor ști cum să programeze în Python și să aplice această nouă abilitate pentru:
- Automatizarea sarcinilor prin scrierea de programe simple în Python.
- Scrierea programelor care pot realiza recunoașterea modelurilor text cu "expresii regulate".
- Generarea și actualizarea automată a foilelor Excel.
- Analiza documentelor PDF și Word.
- Crawling-ul site-urilor web și extragerea informațiilor din surse online.
- Scrierea programelor care trimit notificări prin e-mail.
- Folosirea unor instrumente de depanare Python pentru a rezolva repede erorile.
- Controlul automat al mausului și clavierei pentru a face clicuri și tastări în locul dumneavoastră.
Programare Python pentru finanțe
35 orePython este un limbaj de programare care a câștigat o popularitate enormă în industria financiară. Adoptat de cele mai mari bănci de investiții și fonduri hedge, acesta se folosește pentru construirea unei gamă largi de aplicații financiare, de la programe de tranzacționare corelativ până la sisteme de gestionare a riscurilor.
În această instruire guvernată de instructor, participanții vor învăța cum să folosească Python pentru dezvoltarea aplicațiilor practice care rezolvă o serie de probleme financiare specifice.
La sfârșitul acestei instruiri, participanții vor putea:
- Înțelege fundamentele limbajului de programare Python
- Descărca, instala și menține cele mai bune unelte de dezvoltare pentru crearea aplicațiilor financiare în Python
- Selecta și utiliza cele mai potrivite pachete Python și tehnici de programare pentru a organiza, vizualiza și analiza datele financiare din diverse surse (CSV, Excel, baze de date, web, etc.)
- Construi aplicații care rezolvă probleme legate de alocația activelor, analiza riscurilor, performanța investițiilor și multe altele
- Soluționa, integra, implementa și optimiza o aplicație Python
Audiență
- Dezvoltatori
- Analiști
- Quants (analiști cu un accent pe metode quantitative)
Formatul cursului
- Poartă parte de prelegeri, discuții, exerciții și practică intensivă
Note
- Această instruire vizează oferirea de soluții pentru unele dintre problemele principale cu care se confruntă profesioniștii din finanțe. Cu toate acestea, dacă aveți un anumit subiect, instrument sau tehnică pe care doriți să-l adăugați sau elaborați mai mult, vă rugăm să ne contactați pentru a organiza.
Python Avansat - 4 Zile
28 oreAcest antrenament live, conducere instructor în Moldova (online sau la sediu) este îndreptat către dezvoltatori care doresc să învețe tehnicii avansate de programare Python, inclusiv cum să aplice această limbă versatilă pentru a rezolva probleme în domenii precum aplicatiile distribuite, analiza și vizualizarea datelor, programarea UI și scripting-ul de întreținere.
Programarea în Python - 4 zile
28 oreAcest curs este destinat celor care doresc să învețe limbajul de programare Python. Atenția se concentrează pe limbajul Python, bibliotecile de bază și selectarea celor mai bune și utile biblioteci dezvoltate de comunitatea Python. Python conduce afacerile și este folosit de oamenii de știință din întreaga lume – este una dintre cele mai populare limbaje de programare.
Cursul poate fi prezentat folosind cea mai recentă versiune a lui Python 3.x cu exerciții practice care să beneficieze de puterea completă. Acest curs poate fi prezentat pe orice sistem de operare (toate variantele UNIX, inclusiv Linux și Mac OS X, precum și Microsoft Windows).
Exercițiile practice reprezintă aproximativ 70% din timpul cursului, iar încă 30% sunt demonstrații și prezentări. Discuțiile și întrebările pot fi formulate de-a lungul întregului curs.
Notă: instruirea poate fi adaptată nevoilor specifice la cererea anterioară înainte de data propusă a cursului.
Automatizarea Testelor cu Selenium și Python
14 oreSelenium este un cadru open-source pentru automatizarea testării aplicațiilor web pe diferite browsere. Cu Selenium 4, API-urile WebDriver au fost îmbunătățite, s-au adăugat locatoare relative native și suportul pentru grid a fost ameliorat. Python oferă simpluție și o integrare puternică cu cadre de testare precum Pytest, făcându-l un alegere puternică pentru dezvoltarea de suituri de testare automate scalabile și menținute.
Această instruire condusă de instructor (online sau la fața locului) este adresată testerilor și dezvoltatorilor de nivel începător până la intermediar care doresc să folosească Selenium cu Python pentru automatizarea testării aplicațiilor web în medii reale.
La finalul acestei instruirile, participanții vor putea:
- Instala și configura Selenium cu Python într-un mediu de test.
- Construi scripturi automate robuste folosind Selenium WebDriver și Pytest.
- Aplica Modelul Pagina Obiect (POM) pentru cadre de testare menținute.
- Rula teste pe mai multe browsere folosind Selenium Grid.
- Integreaza teste automate cu pipeleline-urile CI/CD.
- Depăși problema unor probleme comune și aplica cele mai bune practici pentru stabilitatea automatizării.
Formatul Cursului
- Prelegere interactivă și discuție.
- Multe exerciții și practică.
- Implementare hands-on într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Rezumatizarea Textului cu Python
14 oreÎn Machine Learning cu Python, funcția de Rezumatizare a Textului este capabilă să citească textul introdus și să producă un rezumat. Această capacitate este disponibilă din linia de comandă sau ca API/Library în Python. O aplicație încântătoare este crearea rapidă a rezumatelor executive; acest lucru este deosebit de util pentru organizațiile care trebuie să revizuiască mase de date textuale înainte de generarea rapoartelor și prezentărilor.
În această instruire live, condusă de instructor, participanții vor învăța să folosească Python pentru a crea o aplicație simplă care generează automat un rezumat al textului introdus.
La finalul acestei instruiri, participanții vor putea:
- Folosi un instrument de linie de comandă care rezumă textul.
- Proiecta și crea cod pentru Rezumatizarea Textului folosind biblioteci Python.
- Evaluează trei biblioteci de rezumatizare în Python: sumy 0.7.0, pysummarization 1.0.4, readless 1.0.17
Audiență
- Dezvoltatori
- Cercetători de date
Formatul cursului
- Parțial prelegeri, parțial discuții, exerciții și practică intensivă