Es izstrādāju pielāgotus Python tīmekļa skreiperus un datu parserus sākot no €60. Datu ievākšana no jebkuras publiski pieejamas vietnes pēc grafika. Tīra JSON, CSV vai tieša datu izvade datubāzē. Ja jums nepieciešama automātiska datu vākšana, sazinieties ar mani, norādot vietni un vajadzīgos laukus — es apstiprināšu iespējamību.
Īsā atbilde
- Sākuma cena: €60 par vienas vietnes skreiperi
- Pilns datu pārvades cikls ar datubāzi: €100–200
- Termiņš: 2–5 dienas atkarībā no vietnes sarežģītības
- Izvades formāti: JSON, CSV, Excel, PostgreSQL, MySQL, SQLite
- Grafiks: Cron, uzdevumu plānotājs vai palaišana ar trigeri
Ko es izstrādāju
- Produktu skreiperi — nosaukumi, cenas, apraksti, attēli no e-komercijas vietnēm
- Cenu monitoringa skripti — izseko konkurentu cenas, saņem brīdinājumus par izmaiņām
- Datu parseri — JSON API, XML plūsmu vai HTML lapu pārvēršana strukturētos datos
- Ierakstīšana datubāzē — skreipings un tieša datu nogādāšana PostgreSQL, MySQL vai SQLite
- PDF un Excel datu ieguve — strukturētu datu izgūšana no dokumentiem
- API integrācijas skripti — savieno divus servisus, darbojas pēc grafika vai trigera
- Skreiperis + LLM cikls — skreipings, AI apstrāde un tīru datu ierakstīšana DB
Reāls projekts: ASOS cenu trekeris, kas monitorē 10,000 produktus dienā
Klientam bija nepieciešams monitorēt ASOS produktu lapas, lai sekotu cenu kritumam simtiem preču. Manuāli to izdarīt nebija iespējams. Risinājums bija Python skreiperis, kas:
- Pieņem produktu saites no lietotājiem caur Telegram bota saskarni
- Apmeklē katru produkta lapu pēc grafika, izmantojot requests + BeautifulSoup
- Salīdzina pašreizējo cenu ar SQLite datubāzē saglabāto bāzes cenu
- Nosūta tūlītēju Telegram paziņojumu, kad cena nokrītas vai parādās atlaide
Skreiperis tiek galā ar lapu navigāciju, atkārtotiem mēģinājumiem kļūdu gadījumā un ieraksta cenu vēsturi. Lietotāji saņem ziņu brīdī, kad cena mainās. Nekādas manuālas pārbaudes. Video zemāk redzams, kā tas darbojas:
Kā strādā web skreipings un kad tas nepieciešams
Tīmekļa skreipings ir automatizēts process, kurā skripts apmeklē mājaslapu un izgūst no tās konkrētu informāciju. Manuālas kopēšanas vietā to dažu sekunžu laikā izdara programma, un to var atkārtot pēc jebkura grafika.
Jums ir nepieciešams skreiperis, ja:
- Jūs monitorējat konkurentu cenas: Manuāla pārbaude aizņem stundas. Skreiperis pārbauda tūkstošiem lapu minūtēs.
- Nepieciešami dati no lapas bez API: Lielākajai daļai vietņu nav API. Skreiperis ir vienīgais veids, kā iegūt datus programmātiski.
- Jūs apkopojat datus no vairākiem avotiem: Ievāciet atsauksmes vai statistiku no 10 dažādām vietnēm vienā datubāzē.
- Nepieciešami dati pēc grafika: Svaigi dati katru stundu, dienu vai nedēļu bez jebkāda manuāla darba.
Piezīme par aizsardzību: Vietnēm ar smagu JavaScript nepieciešams Playwright vai Selenium. Vietnēm ar agresīvu botu noteikšanu var būt vajadzīga proksiju rotācija. Es to izvērtēju pirms cenas apstiprināšanas.
Ko jūs saņemat
- Pilnu Python pirmkodu: Tīrs kods ar komentāriem, kas pilnībā pieder jums
- Izpildi pēc grafika: Cron uzdevuma vai plānotāja uzstādīšana uz jūsu servera
- Kļūdu apstrādi: Skripts automātiski mēģina vēlreiz kļūdainu pieprasījumu gadījumā
- Izvadi jūsu formātā: JSON, CSV, Excel vai tiešs ieraksts datubāzē
- Logus: Dati par izpildes vēsturi, kļūdām un ievākto ierakstu skaitu
- 7 dienu atbalstu: Bezmaksas kļūdu labošana un nelieli pielāgojumi pēc nodošanas
Kā tas strādā
- Sazinieties ar mani — norādiet vietnes saiti, kādi dati nepieciešami un cik bieži tie jāatjaunina.
- Iespējamības izvērtēšana — es pārbaudu vietnes struktūru un pasaku, kādi rīki būs nepieciešami.
- Cenas apstiprināšana — jūs saņemat skaidru piedāvājumu pirms darba sākšanas. Nekādu slēptu izmaksu.
- Izstrāde un testēšana — skreiperis tiek izveidots, notestēts un rezultāts pārbaudīts.
- Nodošana — pirmkods, uzstādīšana uz jūsu servera un 7 dienu atbalsts ir iekļauti.
Web skreiperu izstrādes cenas
Fiksēta cena par projektu. Saskaņota pirms darba sākšanas. Nav slēptu maksu.
| Pakalpojums | Kas ietilpst | Cena | Termiņš |
|---|---|---|---|
| Pamata skreiperis | Viena vietne, statisks HTML, CSV vai JSON izvade | no €60 | 1–2 dienas |
| Cenu monitors | Cenu izsekošana pēc grafika, brīdinājumi, vēsture | no €80 | 2–3 dienas |
| API parseris | JSON/XML API atbilžu apstrāde, filtrēšana, strukturēšana | no €80 | 2–3 dienas |
| Skreiperis + DB | Skreipinga dati tiek ierakstīti PostgreSQL vai MySQL datubāzē | no €120 | 3–5 dienas |
| Dinamisko lapu skreiperis | Playwright vai Selenium sarežģītām JavaScript vietnēm | no €150 | 3–5 dienas |
| Skreiperis + LLM | Datu ieguve + AI apstrāde un tīru datu ieraksts DB | no €200 | 5–7 dienas |
Stundas likme: €15/stundā labojumiem, papildinājumiem vai jaunu vietņu pievienošanai pēc nodošanas.
Bieži uzdotie jautājumi
- Cik maksā web skreiperis?
- Pamata skreiperis vienai vietnei sākas no €60. Pilns risinājums ar grafiku un datubāzi parasti maksā €100–200 atkarībā no prasībām. Cena ir fiksēta.
- Vai varat noskreipot jebkuru mājaslapu?
- Lielāko daļu publiski pieejamo vietņu var noskreipot. Vietnēm ar sarežģītu botu aizsardzību var būt nepieciešami papildu risinājumi. Es to pārbaudīšu pirms pasūtījuma.
- Kādā formātā es saņemšu datus?
- JSON, CSV, Excel vai tiešs ieraksts jūsu datubāzē (PostgreSQL, MySQL, SQLite) — atkarībā no jūsu vēlmēm.
- Kā dati atjaunosies automātiski?
- Skreiperis darbojas uz servera pēc grafika (piemēram, katru stundu) un automātiski papildina datus bez jūsu dalības.
- Vai tas ir likumīgi?
- Publiski pieejamu datu vākšana ir likumīga lielākajā daļā valstu. Es nestrādāju ar datiem, kas pieejami tikai pēc autorizācijas.