Robienie danych w chmurze za pomocą ScraperWiki

Reklama

Jeśli masz umysłowe umiejętności, talent do programowania i opowiadania historii oraz oko do projektowania, możesz zrobić coś gorszego niż zająć się nauką danych. To nowa wielka rzecz w technologii; bardzo modne i dobrze płatne, a niektóre z największych firm na świecie poszukują badaczy danych.

ScraperWiki to firma od dawna związana z dziedziną nauki o danych. Od kilku lat ten startup z Liverpoolu oferuje platformę dla programistów do pisania narzędzi, które pobierają dane, czyszczą je i analizują w chmurze.

Dzięki niedawnemu odświeżeniu i stale rosnącemu zapotrzebowaniu na naukowców zajmujących się danymi w przedsiębiorstwie warto przyjrzeć się ScraperWiki.

Pełne ujawnienie: Zeszłego lata byłem stażystą w ScraperWiki.

Co robi ScraperWiki?

ScraperWiki sprzedaje się jako miejsce do uzyskiwania, czyszczenia i analizowania danych, i zapewnia każdą z tych wartości. W najprostszej formie pozwala on - użytkownikowi - miejscu, w którym można pisać kod pobierający dane ze źródła, narzędzia do konwersji w formacie łatwym do analizy i przechowywania, aby zachować go do późniejszej wizualizacji - co można również obsługiwać za pomocą ScraperWiki.

Jest również wyposażony w szereg gotowych narzędzi, które automatyzują powtarzalne zadania, w tym pobieranie danych z plików PDF, które są niezwykle trudne do odkodowania. To jest dodatek do Wyszukiwanie na Twitterze 5 fajnych sztuczek wyszukiwania na Twitterze, aby monitorować, co ludzie mówią o tobieJeśli jesteś właścicielem strony internetowej lub po prostu próbujesz zarabiać pieniądze jako freelancer, zawsze dobrze jest wiedzieć, co ludzie mówią o tobie przez Internet. Ludzie mogą cytować ... Czytaj więcej i narzędzia do skrobania. Nie potrzebujesz żadnego doświadczenia w tworzeniu oprogramowania, aby z nich korzystać.

Koszt

Jak wcześniej wspomniano, ScraperWiki obejmuje model wyceny freemium i oferuje usługę, która ma wiele poziomów. Osoby dopiero rozpoczynające naukę danych lub posiadające ograniczone potrzeby mogą skorzystać z bezpłatnej usługi. To daje trzy zestawy danych - w których przechowujesz swoje dane i kod.

Ci, którzy planują napisać wiele skrobaków lub chcą przeprowadzić analizę danych, mogą wydać trochę gotówki na konto premium. Te zaczynają się od 9 USD miesięcznie i oferują 10 zestawów danych. Jeśli to nadal nie wystarczy, zawsze możesz przejść na najwyższy poziom, który zawiera 100 zestawów danych i kosztuje 29 USD miesięcznie.

Kodowanie

Programiści często są dość specyficzni, jeśli chodzi o sposób kodowania. Niektórzy wolą języki skryptowe niż języki skompilowane. Niektórzy wolą bardziej uproszczoną obsługę edytora tekstu niż zintegrowane środowisko programistyczne (IDE). ScraperWiki to rozpoznaje i daje użytkownikowi ogromny wybór, jeśli chodzi o sposób pisania kodu.

Jeśli masz na to ochotę, możesz napisać kod w przeglądarce. Jak można się spodziewać po każdym profesjonalnym poziomie, oparty na sieci Trzy najlepsze IDE oparte na przeglądarce do kodowania w chmurze Czytaj więcej narzędzie programistyczne, zawiera funkcje, które każdy programista uzna za niezbędne, takie jak podświetlanie składni.

Istnieje wiele języków w ofercie. Obejmują one Pyton 5 najlepszych stron internetowych do nauki programowania w języku PythonChcesz nauczyć się programowania w języku Python? Oto najlepsze sposoby nauki języka Python online, z których wiele jest całkowicie darmowych. Czytaj więcej , popularny język skryptowy używany przez Google i NASA; Rubin 3 Interaktywne, zabawne, bezpłatne sposoby na rozpoczęcie nauki języka programowania RubyRuby to ekspresyjny język skryptowy na wysokim poziomie. Jest używany w sieci głównie jako część środowiska programistycznego Ruby on Rails, ale także jako samodzielny program. Jeśli jesteś ciekawy, co Ruby (nie ... Czytaj więcej , który obsługuje wiele popularnych stron internetowych, takich jak Living Social; oraz popularny język analizy statystycznej, R.

Ponadto możesz także pisać kod z wiersza poleceń, używając SSH, Git i dowolnego edytora tekstu, z którego lubisz korzystać. Tak, dobrze to przeczytałeś. SSH Co to jest SSH i czym różni się od FTP [technologia wyjaśniona] Czytaj więcej . Każde używane urządzenie jest własnym kontem Linux i możesz się z nim połączyć tak jak z VPS lub dowolnym innym kontem powłoki. Dostępnych jest wiele edytorów tekstu, w tym Wigor 7 głównych powodów, dla których warto dać szansę edytorowi tekstów VimaPrzez lata próbowałem jednego edytora tekstu za drugim. Nazywasz to, próbowałem. Korzystałem z każdego z tych edytorów przez ponad dwa miesiące jako mój główny codzienny edytor. Jakoś ja ... Czytaj więcej które można rozszerzyć o wtyczki i edytując konfigurację. Osoby zastraszone przez Vima mogą korzystać z Nano, który jest lekkim edytorem tekstu wiersza poleceń.

Zainstalowane biblioteki powinny wystarczyć do pisania narzędzi do pobierania danych i ich przetwarzania. Jeśli potrzebujesz czegoś bardziej niejasnego, zawsze możesz utworzyć virtualenv z linii poleceń. Jak widać, programistom zapewnia się dużą elastyczność.

Wizualizacja danych

Masz swoje dane. Znormalizowałeś to. Oczyściłeś to. Przeanalizowałeś to. Czas zrobić wizualizację i pokazać światu, czego się nauczyłeś.

ScraperWiki pozwala programistom wyświetlać swoje dane za pomocą stron internetowych zbudowanych ze znanego trifecta HTML, CSS i JavaScript. Ponadto składniki Bootstrap są obsługiwane od razu po wyjęciu z pudełka.

Dostępnych jest wiele gotowych wizualizacji, w tym takich, które wykreślają twoje dane na mapie i znajdują trendy w twoich ustaleniach. Aby z nich skorzystać, należy upewnić się, że dane są przechowywane jako plik SQLite o nazwie „scraperwiki.sqlite”. Następnie dodajesz wizualizację, która Cię interesuje. Proste, prawda?

Wniosek

ScraperWiki oferuje wiele programistom, którzy chcą przeprowadzić analizę danych bez przeszkadzania środowisku programistycznemu, a jednocześnie mają elastyczność zadowalającą nawet najbardziej wymagających użytkowników. Ale co myślisz? Daj mi znać w komentarzach poniżej.
Kredyt zdjęciowy: Rocket Science (Dan Brown)