Moderni Datan jakaminen

Vielä hyvin hiljattain, jos yrityksesi piti jakaa dataa osastojen, liikekumppaneiden tai asiakkaiden välillä oli datasta tehtävä tiedosto, ”REST API” tai raportti ja lähetettävä se vielä jotenkin vastaanottajalle.  Jotta tällainen tietoputki olisi helppopääsyinen ja helppokäyttöinen, yrityksesi piti käyttää paljon rahaa ja vaivaa rakentaakseen nämä prosessit. Ja vaikka datan sai liikkumaan tällaisessa järjestelmässä, ei liike ollut reaaliaikaista ja datan kustomointi vaati paljon aikaa ja investointeja. 

Datan jakaminen Flat-tiedostoilla

Kun dataa jaetaan, käytettävä tiedostojen formaattimuoto on yleensä CSV, XML, JSON, Excel-tiedosto tai jokin muu moderni flat tiedostoformaatti. Lähestyessäsi datan jakamista tiedostoilla sinun pitää ensimmäiseksi päättää minkälaista dataa olet lähettämässä sekä minkälaisilla filttereillä vähennät datan määrää tiedostoissasi. Tämän jälkeen sinun pitää rakentaa tietoputki käyttäen SFTP-, HTTPS tai jotakin muuta turvattua siirtoprotokollaa. Tietoputken toisessa päässä on oltava samankaltainen vastaanottopää, joka käyttää samoja protokollia, sekä vastaanottaa datan ja tallentaa sen palvelimille. Tämän jälkeen yleensä tiedoston sisältämä data parsitaan muotoon, jossa sitä voidaan käyttää raporteissa (todennäköisimmin tietokantatauluksi). Parsimisen jälkeen asiakas luo omat raporttinsa saamansa datan perusteella, jolloin data muokataan visuaalisemmaksi sekä helpommin saatavaksi loppukäyttäjille. Tämä on erittäin aikaa vievä sekä virhealtis tapa jakaa dataa.

updated

Datan jakaminen API:lla

REST API:n käyttäminen on hieman nykyaikaisempi tapa lähestyä datan jakamisen haasteita.  Voit luoda tietokantaohjelmiston tietokantasi päälle ja tämän jälkeen sallia asiakkaiden muodostaa yhteyden itse, kun he tarvitsevat dataa.  REST API voi myös sisältää suodattamia datalle, jotta datan määrä ei pääse kasvamaan kovin suureksi. Haasteita REST API:n käyttämiseen luo se, että se ei ole kovin käyttökelpoinen ratkaisu isoja datamääriä käsiteltäessä, koska datan siirtäminen internet-yhteyksien kautta vie aikaa. Lisäksi REST API tietokantaohjelmiston rakentaminen vaatii rahaa ja työtä. Tämän jälkeen sinun on myös käytettävä työaikaa ohjelmiston hallinointiin, jotta pystyt antamaan käyttöoikeuksia REST API:n käyttäjille. Ja jälleen REST API:n loppupään käytössä, data pitää formatoida datan raportointia varten. Yleensä REST API on parempi lähestymistapa, kuin tiedostojen jakaminen. REST API vie kuitenkin paljon aikaa, eikä se ole hyvä tapa jakaa suuria määriä dataa.

blog 2

Datan jakaminen raportilla

Datan jakamista raporttimuodossa voidaan lähestyä esimerkiksi pelkkien raporttien lähettämisenä PDF- tai muissa raporttiformaateissa sähköpostin kautta vastaanottajille. Tähän vaadittu vaiva on hyvin pieni, koska suurimpaan osaan raportointityökaluista sisältyy tällainen ominaisuus. Tämä datan jakamisen lähestymistapa rajoittaa vastaanottajan näkymän lähettäjän muotoilemaan datan raportointimuotoon. Lisäksi datan määrä on lähettäjän tekemän suodatuksen rajoittama.

Toinen tapa jakaa raportteja on antaa muille osapuolille oikeudet raportointipalvelimeen. Tällöin partnerit ja yhteistyökumppanit voivat suodattaa ja valita datan, jonka haluavat nähdä kyseisellä hetkellä. Tämä lähestymistapa vie työtunteja pääsynvalvonnalta. Lisäksi raportit ovat monesti formaatiltaan staattisia, jolloin muut osapuolet eivät pysty luomaan omia raportteja. Muutosten yhteydessä muiden osapuolten on pyydettävä tietojen omistajaa tekemään raporttiin muutoksia tai sitten tietojen omistajan on pyydettävä kolmatta osapuolta tekemään muutoksia. Yleensä tällaiset muutokset eivät tule nopeasti näkyviin loppukäyttäjälle. Tätä raportteja käyttävää lähestymistapaa ei ole mahdollista käyttää tilanteessa, jossa loppukäyttäjät haluavat yhdistää raporttidatan heidän omaan dataansa. Raporttien lisäksi pitää olla jokin muu tiedonjakovaihtoehto.
(Valitse yksi esitetyistä jakamisvaihtoehdoista: ”flat file” tai REST API)

blog 3

Datan moderni jakaminen

Nykyaikainen ja toistaiseksi paras vastaus datan jakamisessa esiintyviin haasteisiin on Snowflake:n datan jakamisen ominaisuudet. Tällä hetkellä Snowflake mahdollistaa datan jakamisen tietokantataulukoissa, näkymissä tai käyttäjän määrittelemissä funktioissa (UDF) tililtä tilille, jos sinä, osatosi, partnerisi tai asiakkaasi käyttävät Snowflakea samalla alueella. Yhden ”Share:n” omistajan kohdalla voi olla useita ”Sharen” kuluttajia. Datan kuluttajapuolella luodaan ”Share:lle” tietokanta, joten kuluttajapuoli voi myöntää omat pääsynsä tietoihin halutessaan.

Kun jaat Snowflake dataa, data ei kopioidu tai siirry tilien välillä. Datan käyttäjä saa näkymän vain lukukäytössä oleviin tietoihin, joten alkuperäistä dataa ei voida poistaa tai muuntaa jaetun sisällön kautta.

Snowflake:in kustannukset perustuvat kyselyihin ja varastointiin. Jakaessa dataa käyttäjien ei tarvitse maksaa varastointikustannuksia ollenkaan. Ainoastaan kyselyt, joita tehdään dataa vasten maksavat. Jos kuluttajat kopioivat datan omiin tietokantoihinsa käyttääkseen sitä esimerkiksi liittääkseen jaetun datan omaansa, silloin heidän pitää myös maksaa datan varastoinnista.

Tililläsi ei ole rajoituksia Share:n määriin, joten datan tarjoaja voi jakaa erilaiset datat omien Share-palvelujensa kautta. Rajoituksena on vain se, että datan kuluttajapuolella voi olla vain yksi tietokanta per Share.

Tällä hetkellä jakaminen Snowflake-tilien välillä toimii ainoastaan, jos tilit ovat samassa pilvessä ja samalla alueella pilvessä. Snowflaken kehityspolulla on pyritty mahdollistamaan tietojen jakaminen muiden alueiden välillä ja jopa jakaminen pilvipalvelujen tarjoajasta toiseen. Tämän ratkaisun aikataulu on kuitenkin vielä auki.

blog 4

Lue lisää Snowflake pilvipalvelualustasta:

Lue lisää Snowflakesta