Izvor: Dzungla.org, 29.Avg.2011, 09:47 (ažurirano 02.Apr.2020.)
IBM napravio skladište za 120 petabajta podataka
ISTRAŽIVAČKI OGRANAK IBM-A (IBM Research) upravo je postavio svetski rekord time što je koristeći 200.000 diskova napravio skladište podataka kapaciteta 120 petabajta. Uradio je to na zatev jedne neimenovane istraživačke grupe kojoj je potreban ogroman memorijski prostor za izvršavanje složenih simulacija na superkompjuteru. Te simulacije zahtevaju sve više mesta, jer se povećavaju ne samo dimenzije skupova podataka s kojima rade, već i potrebe za pravljenjem više rezervnih kopija i >> Pročitaj celu vest na sajtu Dzungla.org << snimaka trenutnog stanja kao i povećana redundantnost.
Kako su to izveli? Ispostavilo se da je gusto pakovanje 200.000 diskova u police bilo lakši deo posla, mada je zahtevalo da se ugradi i sistem vodenog hlađenja. Pored toga valjalo je rešiti i problem neizbežnih otkaza pojedinih diskova u tako velikoj kolekciji, ali bez gubljenja podataka. Pored standardne taktike čuvanja više kopija podataka na različitim diskovima, koristi se i novi rafinirani postupak sporog uzimanja podataka s drugih diskova i njihovog upisivanja na njegovu zamenu, tako da superkompjuter nastavlja da radi skoro punom brzinom. Ukoliko otkaže više diskova taj proces se ubrzava kako bi se sprečio trajni gubitak podataka. Rezultat je sistem koji ne bi trebalo da izgubi nikakve podatke milion godina i pritom ne napravi nikakav kompromis u pogledu performansi.
Pravi problem je bio kako indeksirati sav taj memorijski prostor. Neki sistemi datoteka ne mogu da izađu na kraj već sa datotekama većim od četiri gigabajta, a drugi nisu u stanju da savladaju pojedinačne diskove veće od tri terabajta. Razlog? Nisu ni projektovani da barataju s tako velikim brojem datoteka na tako ogromnom prostoru. To vam je kao kad dobijete zadatak da svakom čoveku na planeti date drugačije ime – u početku je lako, ali kad se prođe prva milijarda broj permutacija više nije dovoljan. Čak i moderni sistemi datoteka čiji dizajn gleda dalje u budućnost svejedno nailaze na zid, ali IBM je našao način da ga preskoči.
Skladište od 120 petabajta je ogromno, čak osam puta veće od najvećih koja dostižu 15 PB pa svejedno moraju da se rvu s adresnim problemima. U IBM-ovom rešenju se za vođenje evidencije o imenima, tipovima, atributima i lokacijama datoteka smeštenih u skladištu, koriste čak dva petabajta njegovog prostora. Potreban je indeks datoteka sledeće generacije samo da bi se indeksirao indeks!
Njegov originalno osmišljen sistem datoteka nazvan Generalni paralelni sistem datoteka (General Parallel File System, GPFS dizajniran je imajući u vidu ogromne kapacitete i paralelizam: kao kad biste RAID sisteme proširili na hiljade diskova. Datoteke se prostiru na više diskova kako bi mnogi njihovi delovi mogli da se čitaju i upisuju u isto vreme i time je eliminisano usko grlo za postizanje visokih performansi. Da je to dobro rešeno pokazuje i podatak da je IBM nedavno postavio još jedan rekord, indeksirao je deset milijardi datoteka za 43 minuta. Prethodni rekord je bio milijarda datoteka za tri sata.
Ilustracije radi navedimo da je 120 petabajta dovoljno za smeštanje 24 milijarde MP3 datoteka od po 5 megabajta ili 60 kopija najveće arhive interneta WayBack Machine koja sadrži 150 milijardi strana veba.
Sistem je napravio tim za storidž sisteme laboratorije u Almadenu u Kaliforniji i, kao što rekosmo, koristiće ga neimanovani klijent koji namerava da simulira neke fenomene stvarnog sveta. To bi mogle biti neke pojave iz prirodnih nauka, od ponašanja subatomskih čestica do planetarnih pojava poput vremena i klime. Superkompjuterski problemi koji bi imali koristi od sistema ovolikog kapaciteta su, na primer, prognoza vremena, obrada seizmičkih podataka za potrebe naftne industrije i molekularne studije genoma. Pored pomeranja granica u nekim oblastima nauke sistem će obezbediti i pružanje nekih specifičnih usluga.
IBM će u međuvremenu moći da se pohvali da je baš on napravio ovo čudo i to u godini kada proslavlja svoju stogodišnjicu, naravno, dok neko ne napravi nešto još veće.
( Izvor: Mikro )
