Rád využívám všechny různé technologie co se dostanou po ruky a ještě raději je kombinuji 🙂 . Proto když jsem viděl, že Google nabízí služby Google Cloud Shell do konce roku 2016 zdarma, tak jsem věděl, že na tom půjde postavit něco užitečného. Jelikož jsem chtěl tahat data z různých API a řešil jsem problém s počtem strojů a konektivitou do internetu, tak mě napadlo, že bych to mohl zkombinovat. Výsledek je návod vytvořit OpenRefine hostovaný u Google.
K čemu může sloužit OpenRefine hostovaný u Google?
- Jednoduchá instance OpenRefine pro pomalejší notebook/počítač.
- Ano máte to v Cloudu, takže to spustíte i na tabletu, či mobilu :).
- Ano je to v cloudu, takže kliknete a nabídka vám vyskočí o 300 ms pozdějí… ale stejně rychle vyskočí i filtr, co by vám trvalo načíst 10sec.
- Je tam omezení ramky na 500Mb, což je málo, ale i tak to stačí pro 95% uživatelů OpenRefine.
- Pro profi uživatele OpenRefine to může sloužit jako stahovač dat třeba z API, pěkné rychle a nemusíte mít doma zapnutý stroj. Příklad je ráno, potřebujete dotáhnou data, zapnete, pracujete, jdete na schůzku, oběd, pracujete, večer vyzvednete data.
- Místo na projekty 5Gb (Jeden projekt má většinou tak 30-100Mb)
- Místo OpenRefine si tam můžete postavit třeba crawler, co má řádkový přístup nebo to mít prostě jako další místo na hraní.
Kdo nemá si založí v Google Developer console projekt…
Aby šlo využít Google Cloud Shell je nutné mít v Google Developer console
Proto kdo nemá tak založí, kdo má tento krok přeskočí.
Zajděte na https://console.developers.google.com/project a prostě vytvořte projekt.
Aktivace Google Cloud Shell
Otevřete si https://console.developers.google.com/project
1. Kliknout na ikonku v pravém horním rohu
2. Potvrdit
3. Počkat na aktivaci a start nové virtual machine, cca 10-30sec
Instalace OpenRefine na Google Cloud Shell
4. Stáhnout OpenRefine zadáním příkazu do terminálu
wget "https://github.com/OpenRefine/OpenRefine/releases/download/2.6-beta.1/openrefine-linux-2.6-beta.1.tar.gz"
5. Rozbalit OpenRefine pomocí terminálu
tar -zxvf openrefine-linux-2.6-beta.1.tar.gz
6. Otevřít složku Spustit textový editor nano a editovat refine.ini
Otevření složky:
cd openrefine-2.6-beta.1/
Spuštění editoru:
nano refine.ini
7. Úprava nastavení OpenRefine
7.1 Editace
Pohybuje se šipkami,
Je nutné odkomentovat (smazat#) řádky REFINE_PORT a REFINE_HOST .
Dále je nutné nastavit:
REFINE_PORT nastavit na 8082
REFINE_HOST nastavit na 0.0.0.0
7.2 Uložení
Klávesová zkratka Ctrl + X spustí nabídku exit
Zmáčknete Y (Chci uložit)
Zmáčknete Enter (Ano Chci)
8. Spuštění OpenRefine na Google Cloud Shell
./refine
9. Spuštění okna s OpenRefine
Kliknou vlevo nahoře v terminálu ikonku.
Vybrat „Change port“ > „Port 8082“> klik
A je hotovo…
Výsledek:
OpenRefine hostovaný na Google.
Zkratky pro terminál (linux Debian):
- Pokud chce zavřít program tak CTRL+C jej zabijete (Omluvte linux, ale je drsný a nemilosrdný)
- Pokud ho chcete dát na pozadí CTRL+Z
- Obnova programu co by dán na pozadí „fg %1“
- Kontrola co vám všechno běží „ps“