Zestaw danych, nawet jeśli wygląda jak zwykły zbiór liczb, może doprowadzić do niesamowitych wniosków. Weźmy na przykład prognozę pogody – abyśmy mogli dowiedzieć się, czy jutro można sobie jeszcze pozwolić na lżejsze ubranie, czy już lepiej wziąć ze sobą parasolkę, należało przeanalizować naprawdę dużą liczbę danych. To możliwe między innymi dzięki NEXRAD, amerykańskiej sieci radarowej, która udostępnia część informacji o pogodzie.
Jednak, gdy archiwum NEXRAD zostało udostępnione w Amazon Web Services, nie tylko zapisane w nim wzory na prognozę deszczu, słońca czy wiatru przyciągnęły uwagę zespołu naukowców z Uniwersytetu Cornella.
Dostrzegli także coś zupełnie innego.
Dostęp do źródła danych radaru pogodowego umożliwił ekspertom Amazon Web Services zbadanie migracji ptaków nocą – zjawiska, o którym do tej pory wiedzieliśmy stosunkowo niewiele. Udało się lepiej poznać zachowania ponad czterech miliardów ptaków, które jesienią przemieszczały się na południe. Dzięki danym, uczeni mieli wgląd w kierunki migracji i mogli dowiedzieć się, ile ptaków ją przeżyło.
W efekcie powstało coś, co można określić mianem „jednego z największych zestawów danych opisujących ruch zwierząt, jaki kiedykolwiek opracowano”.
Amazon Sustainability Data Initiative poszerzając dostęp do danych, ma na celu stymulowanie innowacji z zakresu zrównoważonego rozwoju. Hosting archiwów danych na Amazon Web Services, takich jak NEXRAD, umożliwia udostępnienie w chmurze modeli prognozy pogody, zdjęć satelitarnych, pomiarów jakości powietrza oraz innych publicznych zbiorów danych. To z kolei zapewnia narzędzia do różnorodnych analiz.
Skąd pomysł na taką inicjatywę?
Zespoły Amazon Sustainability i Amazon Web Services, pracując razem nad poprawieniem dostępu do zbiorów danych związanych ze zrównoważonym rozwojem, zdały sobie sprawę z tego, że to byłyby informacje pomocne również organizacjom non-profit, naukowcom oraz firmom działającym na rzecz środowiska.
Rozmowy o inicjatywie trwały kilka miesięcy. Cel był prosty: każda osoba, zainteresowana zrównoważonym rozwojem, powinna dowiedzieć się, jak korzystać z chmury i uzyskać dostęp do zbiorów danych, które mogą pomóc w pozyskaniu nowych informacji i być podstawą innowacyjnych rozwiązań.
– Artykuł naukowców z Cornella na temat migracji ptaków to absolutnie oszałamiające studium. Szczerze mówiąc, gdyby nie zbiory danych dostępne na platformie Amazon, przeprowadzenie takiego badania nie byłoby możliwe – komentuje Ed Kearns, dyrektor ds. danych w National Oceanic and Atmospheric Administration (NOAA), agencji federalnej, która zarządza NEXRAD.
Siła chmury
Od zawsze dysponujemy ogromną liczbą danych, które opisują naszą planetę. Jednak chociaż dostęp do nich był bezpłatny, to rzadko który badacz miał możliwości i zasoby, aby skorzystać z nich na swoim komputerze czy przy wykorzystaniu lokalnego centrum danych. W ubiegłym roku zespół Amazon ds. zrównoważonego rozwoju nawiązał współpracę z Amazon Web Services, aby rozpocząć proces gromadzenia tych danych.
– Jeśli masz szczęście i dobre łącze internetowe, a przy tym dysponujesz sporą ilością miejsca na dysku, to pobranie jednego terabajta danych zajmie ci zaledwie około półtora dnia – tłumaczy Jed Sundwall, globalny lider ds. danych w Amazon Web Services.
Archiwum NEXRAD w tej chwili zajmuje 300 terabajtów. Jeden terabajt to 1024 gigabajtów – w takiej jednostce można zmieścić 500 godzin materiału filmowego. To ogrom danych, które trudno przetworzyć na tradycyjnym laptopie.
Umieszczenie danych w chmurze, czyli na zdalnych serwerach podłączonych do sieci, umożliwia każdemu wgląd w nie i analizę bez konieczności pobierania ich na własny dysk. Chmura zapewnia również to, że dane są aktualne, co jest ważnym fundamentem rzetelnej pracy naukowej.
– To naprawdę potężne narzędzie, które pozwala badaczom na sprawniejsze działanie przy niższych kosztach, a nam umożliwia pogłębienie wiedzy na ważne tematy. Często od klientów słyszymy, że teraz dzięki chmurze są w stanie realizować inicjatywy, które jeszcze kilka lat temu widzielibyśmy tylko na kartkach powieści science-fiction – komentuje Sundwall.
Od agregacji do czegoś więcej
Chociaż inicjatywa Amazon Sustainability Data Initiative narodziła się z pomysłu na zebranie zasobów danych w chmurze, to szybko stała się czymś więcej.
– Niemalże natychmiast odkryliśmy, że to jedynie wierzchołek góry lodowej, jeśli chodzi o nasze możliwości – wspomina Dara O'Rourke, starsza główna naukowiec w zespole ds. Zrównoważonego Rozwoju Amazon oraz profesor nadzwyczajna polityki ochrony środowiska i pracy na Uniwersytecie Kalifornijskim w Berkeley.
W trakcie rozmów z badaczami stało się jasne, że potrzebują nie tylko dostępu do samych danych, ale także do wiedzy technicznej i narzędzi obliczeniowych. Amazon był w stanie stworzyć takie możliwości. Przykładowo, niedawno NASA zastosowała technologię uczenia maszynowego z Amazon Web Services – to pozwoliło oszacować prędkość huraganu o sześć razy szybciej niż zwykle.
– Bardzo niewielu badaczy klimatu miało styczność z nowoczesnymi narzędziami do uczenia maszynowego i sztucznej inteligencji. A jednocześnie są one bardzo cenne w ich pracy naukowej. Udostępniamy więc dane i narzędzia w miejscu, do którego można łatwo uzyskać dostęp z wielu urządzeń, niezależnie od tego, gdzie się znajdujemy i w jakiej jesteśmy strefie czasowej. To oznacza nieznane do tej pory możliwości, które umożliwiają napędzanie innowacji, zwłaszcza w tak aktualnej i ważnej dziedzinie, jaką stały się teraz badania klimatu – mówi O'Rourke.
Skupiając wzrok na niebie
Narzędzia obliczeniowe zapewniane przez Amazon Web Services wspierają projekty zrównoważonego rozwoju prowadzone przez przeróżne grupy – od badaczy uniwersyteckich po samorządy lokalne, od państwowych agencji po prywatne start-upy.
W Ghanie nielegalnie pracujący górnicy potrafią zniszczyć całe połacie terenu w ciągu miesiąca, ścinając wszystkie drzewa i pozostawiając po sobie kałuże pełne zanieczyszczonej wody. Władze państwowe mogą monitorować teren tylko w takim zakresie, na który pozwolą im śmigłowce i samoloty.
– Takie działania górników to prosta droga do katastrofy ekologicznej. Jednak dzięki zdjęciom z satelity, aktualizowanym co dwa, trzy dni, oraz wyspecjalizowanym algorytmom, można w krótkim czasie wykryć zmiany w terenie – mówi Brian Killough, wspierający prace nad danymi w NASA.
Kostka danych (tzw. data cube) jest dostępna za pośrednictwem Amazon Web Services. Dzięki udostępnieniu serii zdjęć satelitarnych z wybranej lokalizacji, rozłożonych w czasie, technologia umożliwia również wsparcie rolnictwa oraz planowania urbanistycznego. Killough wierzy, że uda się przeprowadzić podobne działania w innych częściach Afryki i na całym świecie.
Wszystko dla Ziemi
Amazon Web Services przekazało także zasoby w chmurze warte 1,5 miliona dolarów dla Group on Earth Observations (GEO), międzynarodowej organizacji, która umożliwia rządowym agencjom i grupom badawczym w rozwijających się krajach wykorzystywanie dużych zbiorów danych do podejmowania decyzji w zakresie zrównoważonego rozwoju.
– Po ogłoszeniu wysokości dotacji zaczęło do nas wpływać wiele wniosków dotyczących narzędzi oraz usług umożliwiających ograniczenie ryzyka wystąpienia katastrof. Naszym celem jest wsparcie ludzi we wzajemnym pomaganiu, dzięki czemu wszyscy będziemy w stanie stawić czoła jednym z największych w historii wyzwaniom, które stoją przed ludzkością – wyjaśnia Steven Ramage, dyrektor ds. relacji zewnętrznych w GEO.
Globalny zasięg, lokalne skutki
Inicjatywy, które opisaliśmy do tej pory, są globalne, jednak ich zasięg wpływa na lokalne społeczności. W amerykańskiej Wirginii miasta zagrożone powodzią korzystają z czujników do monitorowania poziomu wody, a następnie przesyłają informacje do chmury. Wszystko odbywa się w ramach projektu StormSense. Dzięki temu mieszkańcy mogą w każdej chwili zapytać Alexę o poziom wody w określonych lokalizacjach lub skorzystać z aplikacji, która wysyła powiadomienia o niebezpieczeństwie. Dane pozyskane w ten sposób można również wykorzystać do przewidywania miejsc wystąpienia powodzi.
StormSense obecnie zbiera dane z przybrzeżnych miast takich jak Virginia Beach, Newport News czy Hampton Roads. Sridhar Katragadda, kierownik ds. danych w mieście Virginia Beach, zwraca uwagę na to, że każda miejscowość ma swój własny system zbierania i prezentowania danych na temat poziomu wody. Aby projekt mógł się rozwijać, trzeba zniwelować te różnice. Sposobem na skalowanie takich danych jest wykorzystanie chmury. Jak wspomina Katragadda, miasta mogą wykorzystywać różne czujniki, ale mają również możliwość zbierania danych w jednym miejscu.
Inicjatywa Cal-Adapt wykorzystuje Amazon Web Services do upubliczniania danych klimatycznych zebranych przez społeczność badawczą w Kalifornii. Można tutaj znaleźć wszystkie wskaźniki niezbędne do dalszych analiz – statystyki dotyczące pożarów lasów, poziomu mórz czy opadów śniegu.
– Nowe modele klimatyczne dla naszej planety charakteryzują się większym rozkładem przestrzennym i czasowym niż kiedykolwiek. Aby otrzymać prawidłowe dane wyjściowe, musimy brać pod uwagę tak wiele zmiennych, jak nigdy wcześniej – wyjaśnia Nancy Thomas, dyrektor wykonawcza Cal-Adapt. – W naszej pracy wykorzystujemy AWS Lambda do zwiększenia mocy obliczeniowej wykorzystywanej przez naukowców badających codzienne zmiany klimatu. Na przykład stworzenie zestawienia wyjątkowo gorących dni, zmapowanych w interaktywnej formule, umożliwi zwrócenie uwagi na anomalie klimatyczne.
Jak mówi Nancy Thomas, nieograniczony dostęp do danych jest kluczowym fundamentem złożonych badań nad klimatem. To dzięki niemu można łatwiej je zaprojektować, wykonać i zrozumieć wyniki.
– Czasami nasze pomiary ocierają się o mistykę, a ich zastosowanie wcale nie bywa oczywiste. Jednak gdy zainteresowane osoby przychodzą do naszych ekspertów i otrzymują wyjaśnienia, reagują z entuzjazmem: „Aha! To w taki sposób można wykorzystać te dane!” To dla nas niezwykle ekscytujące – komentuje Ed Kearns.
Budowanie społeczności danych
W przypadku NOAA, hosting danych z NEXRAD i innych źródeł w chmurze zmniejszył obciążenie ich własnych serwerów.
– To niezwykle miłe, że Amazon umożliwia NOAA dostęp do danych bez konkretnych limitów dotyczących ich zużycia. Nieustanny dialog między obiema stronami umożliwia planowanie działań agencji. Amazon informuje, które zestawy danych są interesujące dla ich klientów, a NOAA wyjaśnia znaczenie tych statystyk i pomaga znaleźć sposób na ich wykorzystanie – mówi Ed Kearns.
Rozwój Amazon Sustainability Data Initiative przypomina efekt koła zamachowego – udostępnianie danych przyciąga użytkowników, co z kolei umożliwia przeprocesowanie jeszcze większej liczby danych, które wzbudzą zainteresowanie klientów. To amatorscy naukowcy, przedsiębiorcy lub profesjonalni badacze, którzy przedstawiają nieoczekiwane i twórcze spostrzeżenia na podstawie danych, które do niedawna były trudno dostępne.
– Gdy współpracowaliśmy z NOAA przy udostępnieniu danych z ich radarów pogodowych, nigdy nie sądziliśmy, że zostaną one wykorzystane do opisywania ruchu ptaków – mówi Sundwall. – Jeśli uda się nam udostępnić dane jak najszerszemu gronu osób, z których każda ma zupełnie inną perspektywę, priorytety i inaczej podchodzi do pracy – w ten sposób, działając razem, uda się nam zyskać znacznie więcej.
