Integriamo Bright Data nei tuoi scraper, fonte per fonte
Quando un sito restituisce 403, mostra CAPTCHA o blocca per IP, colleghiamo il tuo scraper a Bright Data: Web Unlocker per le richieste HTTP, Scraping Browser per le pagine con JavaScript e proxy residenziali o ISP per il resto. Lo attiviamo sulle fonti che ne hanno bisogno e misuriamo il tasso di successo di ciascuna, così il consumo corrisponde al problema.
Bright Data è una piattaforma di accesso ai dati web con reti di proxy (residenziali, datacenter, ISP e mobili) e prodotti che gestiscono lo sblocco al posto tuo. Web Unlocker gestisce CAPTCHA, impronte del browser e retry dietro un'unica richiesta. Scraping Browser è un browser remoto a cui ti colleghi via CDP da Playwright o Puppeteer. SERP API restituisce risultati dei motori di ricerca già strutturati, e Web Scraper API offre estrattori pronti per i grandi domini. In Soamee lo integriamo come una strategia in più dentro lo scraper: ogni fonte decide da configurazione se uscire diretta o tramite Bright Data, con metriche di successo e consumo per fonte.
I prodotti Bright Data che colleghiamo
Bright Data ha molti prodotti e non tutti si adattano a ogni progetto. Scegliamo per fonte, partendo dal più semplice che risolve il blocco.
Web Unlocker
Per le fonti che bloccano i client HTTP ma hanno il contenuto nell'HTML. Si usa come proxy o via API: la richiesta parte come prima e Bright Data risolve CAPTCHA, impronte e retry. Si inserisce negli scraper che hai già senza riscriverli.
Scraping Browser
Un browser remoto sull'infrastruttura di Bright Data. Il tuo codice Playwright o Puppeteer si collega con connectOverCDP e il resto non cambia: attese sui selettori, scroll, clic su «carica altro». E smetti di mantenere Chromium sul tuo server.
Proxy residenziali, ISP e datacenter
Quando il problema è l'IP o la geolocalizzazione: prezzi per paese, contenuti regionali, limiti per indirizzo. Configuriamo zone, paese e sessioni fisse o a rotazione in base a ciò che richiede ogni fonte.
SERP API
Risultati di Google, Bing e altri motori di ricerca in JSON, per paese e lingua. Serve per monitorare il posizionamento, analizzare la concorrenza o dare a un agente IA accesso alle ricerche.
Web Scraper API e Datasets
Per i grandi domini che Bright Data estrae già (marketplace, social network professionali, schede aziendali sulle mappe) lanciamo l'estrazione via API e raccogliamo il risultato, invece di mantenere uno scraper proprio. Prima lo confrontiamo con il costo di farlo su misura.
Controllo dei consumi
Metriche per fonte: richieste, tasso di successo, volume e costo stimato. Se una fonte non ha più bisogno di sblocco, torna a uscire diretta. E scatta un alert quando il consumo si discosta dal normale.
Quale prodotto per ogni blocco
Così decidiamo per ogni fonte. Se la prima prova risolve, non passiamo a Bright Data.
| Sintomo | Prima prova | Se non basta |
|---|---|---|
| 403 o redirect a una pagina di verifica con un client HTTP | Browser headless proprio con header di un browser reale | Web Unlocker |
| Il contenuto appare solo eseguendo JavaScript e c'è una protezione anti-bot | Playwright proprio | Scraping Browser |
| Funziona per qualche richiesta e poi 429 o blocco per IP | Rallentare e rispettare Retry-After | Proxy residenziali o ISP a rotazione |
| Il contenuto cambia in base al paese del visitatore | Nessuna alternativa propria ragionevole | Proxy con paese fissato |
| Servono risultati dei motori di ricerca | Nessuna alternativa propria ragionevole | SERP API |
Bright Data come una strategia in più
Non riscriviamo lo scraper per usare Bright Data. Il trasporto si sceglie nella configurazione di ogni fonte, e il resto della pipeline (normalizzazione, deduplicazione, alert) non cambia.
Playwright e Puppeteer si collegano allo Scraping Browser senza toccare la logica di estrazione
Web Unlocker entra come un proxy qualsiasi in client come axios, fetch o got
è l'unità: ogni sito decide se uscire diretto o tramite Bright Data
quando il tasso di successo o il consumo di una fonte escono dal normale
Prima di attivare Bright Data su una fonte proviamo la strada diretta. Molti siti che sembrano blindati rifiutano solo lo User-Agent predefinito di una libreria HTTP.
Vedi il servizio di web scraping →Integrazione in quattro passi
Dalla diagnosi dei blocchi al monitoraggio dei consumi, fonte per fonte.
Diagnosi dei blocchi
Lanciamo ogni fonte in diretta e annotiamo cosa fallisce: codice HTTP, CAPTCHA, contenuto vuoto, blocco per IP.
Prodotto e zona
Scegliamo il prodotto Bright Data per ogni fonte e salviamo zone, paesi e credenziali come secret dell'ambiente, mai nel codice.
Integrazione e test
Colleghiamo il client HTTP o il browser, aggiungiamo smoke test che passano da Bright Data e misuriamo il tasso di successo reale.
Monitoraggio dei consumi
Pannello per fonte e alert. Ogni mese verifichiamo quali fonti potrebbero tornare a uscire dirette.
Domande frequenti su Bright Data
Mi serve un account Bright Data mio? +
Sì. L'account e la fatturazione restano a tuo nome e noi lavoriamo con credenziali di zona che puoi revocare quando vuoi. Così non dipendi da noi per continuare a usarlo.
Web Unlocker o Scraping Browser? +
Web Unlocker se il contenuto è nell'HTML della risposta: è più veloce e si integra come un proxy. Scraping Browser se bisogna interagire con la pagina (scroll, clic, attendere che si carichi un componente). Nello stesso progetto è normale usarli entrambi, ciascuno su fonti diverse.
Potete integrarlo in uno scraper che abbiamo già? +
Sì. Web Unlocker e i proxy entrano come configurazione del client HTTP, e Scraping Browser sostituisce l'avvio locale del browser con una connessione remota. Analizziamo il tuo codice, lo colleghiamo e aggiungiamo le metriche per fonte.
Usare Bright Data rende legale qualsiasi scraping? +
No. Bright Data risolve l'accesso tecnico, ma i limiti legali restano gli stessi: termini d'uso, diritti sulle banche dati e GDPR se ci sono dati personali. Bright Data applica inoltre una propria politica di compliance e può rifiutare certi usi. Lo verifichiamo prima di iniziare.
Quanto costa Bright Data? +
Dipende dal prodotto e dal volume: a seconda del prodotto fa pagare per richiesta, per GB o per risultato, e pubblica le sue tariffe. Prima di attivare qualsiasi cosa stimiamo il consumo di ogni fonte con una prova reale, così la fattura non è una sorpresa.
Ci sono alternative a Bright Data? +
Sì: Oxylabs, Zyte, ScraperAPI o Decodo offrono prodotti simili. Lavoriamo soprattutto con Bright Data per la varietà di prodotti, e dato che il trasporto si sceglie per fonte, cambiare fornitore su un sito non obbliga a toccare gli altri.
Potrebbe interessarti anche
Analizziamo le tue fonti bloccate
Mandaci gli URL che ti restituiscono 403 o CAPTCHA. Ti diciamo quale prodotto Bright Data serve a ciascuno, o se basta sistemare lo scraper.
Analizziamo le tue fonti bloccateRaccontaci la tua sfida. Ti proponiamo la soluzione.
Senza impegno. In meno di 24 ore riceverai una proposta con ambito, tempistiche e budget. Nessuna clausola nascosta.