Izvođenje podataka u oblaku s ScraperWiki

Oglas

Ako imate mentalne kockice, njuh za programiranje i pripovijedanje, kao i dizajn za dizajn, možete učiniti i gore od upada u znanost o podacima. To je nova velika stvar u tehnologiji; vrlo su trendi i visoko plaćeni, a znanstvenike za podacima traže neke od najvećih svjetskih kompanija.

ScraperWiki je tvrtka koja je već dugo povezana s poljem podataka o znanosti. Posljednjih nekoliko godina ovaj startup sa sjedištem u Liverpoolu ponudio je platformu koderima da pišu alate koji dobivaju podatke, čiste i analiziraju u oblaku.

S nedavnim osvježenjem i sve većom potražnjom za znanstvenicima iz podataka u poduzeću, vrijedno je dobro pogledati ScraperWiki.

Potpuno otkrivanje: Bio sam pripravnik u ScraperWikiju prošlog ljeta.

Što radi ScraperWiki?

ScraperWiki sebe plasira kao mjesto za dobivanje, čišćenje i analizu podataka i pruža ih u svakom od tih podataka. U svom najjednostavnijem obliku omogućava vam - korisniku - mjesto na kojemu možete pisati kôd koji dohvaća podatke iz izvora, alate za pretvorbu To je u format koji je lako analizirati, a za pohranu kako biste ga zadržali za kasniju vizualizaciju - što također možete koristiti sa ScraperWiki.

Također dolazi s brojnim unaprijed izgrađenim alatima koji automatiziraju ponavljajuće zadatke, uključujući dobivanje podataka iz PDF-ova, koje je notorno teško dešifrirati. Ovo je uz to Pretraživanje na Twitteru 5 zgodnih trikova za pretraživanje na Twitteru kako biste pratili što ljudi govore o vamaAko posjedujete web mjesto ili samo pokušavate zaraditi novac putem interneta kao freelancer, uvijek je dobro znati što ljudi govore o vama putem Interneta. Ljudi možda citiraju ... Čitaj više i komunalne usluge za struganje. Ne treba vam nikakvo iskustvo u razvoju softvera da biste ih koristili.

cijena

Kao što je ranije spomenuto, ScraperWiki prihvaća freemium model cijena i nudi uslugu koja ima više slojeva. Oni koji tek započinju s podacima o podacima ili s ograničenim potrebama mogu iskoristiti besplatnu uslugu. Ovo vam daje tri skupa podataka - gdje pohranjujete svoje podatke i kôd.

Oni koji planiraju napisati više strugača ili žele napraviti plan podataka, mogu izdvojiti nešto novca za premium račun. Oni počinju od 9 USD mjesečno i nude 10 skupova podataka. Ako to još uvijek nije dovoljno, uvijek možete nadograditi na njihov najviši nivo koji dolazi sa 100 skupova podataka i košta 29 USD mjesečno.

šifriranje

Programeri su često prilično posebni kada je riječ o načinu kodiranja. Neki više vole jezike skripta više nego sastavljene jezike. Neki više vole iskustvo spajanja unazad teksta uređivača teksta u odnosu na integrirano razvojno okruženje (IDE). ScraperWiki to prepoznaje i daje korisniku ogroman izbor kada je u pitanju način pisanja vašeg koda.

Ako ste tako skloni, svoj kôd možete napisati u preglednik. Kao što biste očekivali od bilo koje profesionalne ocjene, web-based Tri najbolje IDE-ove temeljene na pretraživaču za kodiranje u oblaku Čitaj više razvojnog alata, ovo uključuje značajke koje bi svaki programer smatrao bitnim, poput isticanja sintakse.

U ponudi je više jezika. Oni uključuju Piton 5 najboljih web stranica za učenje programiranja PythonaŽelite naučiti programiranje Pythona? Evo najboljih načina za učenje Pythona na mreži, od kojih su mnogi potpuno besplatni. Čitaj više , popularni skriptni jezik koji koriste Google i NASA; Rubin 3 interaktivna, zabavna, slobodna načina za početak učenja jezika programiranjaRuby je ekspresivan, skriptni jezik na visokoj razini. Na webu se koristi uglavnom kao dio okvira za razvoj web stranica Ruby on Rails, ali i samostalno. Ako vas zanima što Ruby (ne ... Čitaj više , koji pokreće brojne popularne web stranice kao što su Living Social; i popularni jezik statističke analize, R.

Pored toga, kôd možete pisati i iz naredbenog retka pomoću SSH, Gita i bilo kojeg tekstnog uređivača koji volite koristiti. Da, dobro ste pročitali. SSH Što je SSH i kako se razlikuje od FTP [objašnjena tehnologija] Čitaj više . Svaki okvir koji koristite ima svoj vlastiti Linux račun i na njega se možete povezati kao što bi bio VPS ili bilo koji drugi račun školjke. Dostupan je veći broj uređivača teksta, uključujući energija Prvih 7 razloga za pružanje šanse uredniku Vim tekstaGodinama pokušavam jedan uređivač teksta za drugim. Samo ime, pokušao sam. Svaki sam od tih uređivača koristio sam više od dva mjeseca kao svoj glavni svakodnevni urednik. Nekako, ja ... Čitaj više koji se mogu proširiti dodacima i uređivanjem konfiguracije. Oni koji ih zastraši Vim mogu koristiti Nano, koji je lagan uređivač teksta naredbenog retka.

Instalirane knjižnice trebaju biti dovoljne za pisanje alata za preuzimanje podataka i njihovu obradu. Ako vam treba nešto malo opskurnije, uvijek možete stvoriti virtualenv iz naredbenog retka. Kao što vidite, programerima se pruža ogromna fleksibilnost.

Vizualizacija podataka

Dakle, vi imate svoje podatke. Normalizirali ste to. Očistili ste Analizirali ste to. Sada je vrijeme za napraviti neku vizualizaciju i pokazati svijetu ono što ste naučili.

ScraperWiki omogućava programerima da prikazuju svoje podatke pomoću web stranica izgrađenih iz svima poznatih trifekta HTML, CSS i JavaScript. Osim toga, bootstrap komponente se podržavaju izvan okvira.

Dostupne su brojne unaprijed napravljene vizualizacije, uključujući one koje grafički prikazuju vaše podatke i pronalaze trendove u vašim nalazima. Da biste ih koristili, morate osigurati da su vaši podaci pohranjeni kao SQLite datoteka s nazivom datoteke "scraperwiki.sqlite". Tada jednostavno dodate vizualizaciju koja vas zanima. Jednostavno, zar ne?

Zaključak

ScraperWiki nudi puno programerima koji žele napraviti neku analizu podataka, a da im razvojno okruženje ne bude na putu, a pritom imaju fleksibilnost da udovolje i najzahtjevnijim korisnicima. Ali što mislite? Javite mi u komentarima u nastavku.
Fotografski kredit: Raketna znanost (Dan Brown)