• Главная
  • Карта сайта
Не найдено

Osnovni elementi platforme za virtualizaciju bljeskalice (FVP), dio 2. Korištenje vlastite platforme ili datotečnog sustava

Jedna od tema o kojoj sam razgovarao sa Satyamom i Muralijem Vilayannurom bio je sustav datoteka koji se koristi za pohranu podataka na flash uređajima. Sljedeće vrijedne činjenice treba imati na umu: Satyam je stvorio VMFS3, Murali je bio vodeći programer VMFS5. S ove točke gledišta, korištenje VMFS-a bi se činilo očiglednim. Međutim, veliko iznenađenje za mene bila je činjenica da za flash uređaje koje ne koristimo VMFS, još veće iznenađenje bilo je što uopće ne koristimo datotečni sustav.

Zašto ne VMFS?
Datotečni sustavi pružaju značajke koje nisu potrebne i ponekad su u sukobu sa zahtjevima platforme koja obrađuje aktivne U / I na flash uređajima. Jedan od najvećih problema s korištenjem datotečnog sustava sličnog VMFS-u na flash uređaju je što je optimiziran za SAN sustave za pohranu i njihove modele za upravljanje podacima; Satyam je napisao članak o tome za ACM dok je radio u VMwareu. Nažalost, to čini datotečni sustav neprikladnim alatom za FVP zadatke.

Direktni adresni sustavi preopterećuju flash uređaje, smanjujući njihov vijek trajanja, ne obrađujući optimalno proizvoljne I / O operacije, testiraju svoje (često vrlo krhke) algoritme prikupljanja smeća za snagu, a njihovi objekti (datoteke i direktorije) su manje prikladni za razina virtualnog stroja i kvaliteta upravljanja uslugama, što je izuzetno važno za FVP zadatke. U sljedećem odjeljku detaljno će se opisati problem upravljanja podacima na flash uređajima, ali za sada kratak zaključak: ako je vaš flash uređaj skup za vas, nemojte ga stavljati u sustav izravnog adresiranja.

Datotečni sustavi također pružaju mogućnosti koje uvelike nadilaze potrebe FVP-a. Na primjer, disk brave. VMFS ima napredni upravitelj distribuiranog zaključavanja koji kontrolira pristup različitim ESXi domaćinima diskovima. FVP upravlja lokalnim diskovima hosta i ne zahtijeva brave na drugim hostovima, kao rezultat toga, distribuirani upravitelj zaključavanja postaje potpuno suvišan. Isto se može reći i za POSIX kompatibilnost i distribuirane transakcije. I tako dalje.

Bljeskalice na niskoj razini
Evo primjera kako se pisanje na flash uređaje bitno razlikuje od snimanja na tvrdim diskovima. Flash ne može prebrisati postojeće podatke. Podaci u flash memoriji mogu se pisati samo na praznu stranicu. Značajka flash memorije je da snimanje može biti učinjeno po stranicama, a brisanje se može obaviti samo u blokovima. Što je stranica i što je blok? Flash pohranjuje podatke u stanice; ćelije su kombinirane u stranice (4 KB); stranice grupirane su u blokove. Većina proizvođača kombinira 128 stranica u jedan blok. Ako želite izbrisati stranicu, morate izbrisati cijeli blok. Sve potrebne podatke s drugih stranica treba spremiti negdje drugdje. Opće je poznato da flash uređaji imaju ograničen broj ciklusa pisanja i brisanja.

Prema tome, slučajni I / O zapis može imati veći utjecaj nego što ste mislili. Problem je u tome što je većina datotečnih sustava razvijena 80-ih i 90-ih godina i od tada nisu napredovali. Datotečni sustavi ne uzimaju u obzir degradaciju performansi koju uzrokuju flash uređajima koji koriste operacije niske razine dizajnirane za tvrde diskove; Većina proizvođača flash uređaja implementira različite mehanizme kako bi odgovorila na progresivnu degradaciju performansi. Uz pomoć nekoliko shema razmotrimo ove mehanizme i otkrijemo zašto fragmentacija ima takav učinak na flash uređaje.

Upravljanje trošenjem
Imajte na umu da sam zbog jednostavnosti odlučio prikazati 9 stranica u jednom bloku umjesto 128 stranica po bloku.

Počnimo s procesom upravljanja trošenjem. U ovom primjeru aplikacija je već kreirala podatke i zabilježila ih na stranicama A, B i C u bloku 1 (korak 1). Novi podaci stižu (korak 2), koji se upisuje na stranice D, E i F. Aplikacija ažurira prethodne podatke (AC) i umjesto prethodnih stranica, flash uređaj nastavlja koristiti nove stranice. Ti novi podaci označeni su s A-1, B-1 i C-1. Distribucija zapisa što je moguće ravnomjernije naziva se "upravljanje trošenjem". Stare su stranice sada označene kao istekle.

Skupljanje otpada i višestruki ulazak
U ovom primjeru, blok A je pun, što će se dogoditi ako je prazan prostor koji je korisniku na raspolaganju za snimanje, a novi podaci stižu?

Flash će kopirati trenutne podatke u prazne ćelije. Stvarni podaci u bloku se čitaju i zapisuju u drugi blok. Nepodmireni podaci ostaju na njegovim stranicama i bit će izbrisani zajedno s ostalim blok stranicama. Taj se proces naziva "skupljanje smeća".

Skupljanje otpada je u redu, ali višestruki unos koji se javlja tijekom njegovog rada uzrokuje značajne štete na flash uređajima. Da bi snimio 3 stranice, flash uređaj mora pročitati 6 stranica i napisati 6 stranica na drugo mjesto prije nego što može pisati nove podatke. I ne zaboravite na ciklus brisanja. Pretpostavimo da je scenarij u kojem je disk pun, gdje ćemo (privremeno) premjestiti podatke prije snimanja novih podataka? U mom dijagramu dodao sam blok B za ovu opciju. Da biste to učinili u stvarnoj situaciji (kada koristite datotečni sustav), morate dodijeliti višak prostora koji je rezerviran od kontrolne bljeskalice.

Da biste to učinili u stvarnoj situaciji (kada koristite datotečni sustav), morate dodijeliti višak prostora koji je rezerviran od kontrolne bljeskalice

Višak prostora
Kapacitet bljeskalice može biti rezerviran za procese kojima upravlja flash kontroler. To može učiniti i proizvođač flash uređaja i korisnik. Na primjer, kada kupite 160 GB flash PCIe akceleratora, zapravo dobivate 192 GB karticu. Korisniku je dostupno 160 GB, a 32 GB dodatno je rezervirano za operacije na razini kontrolera na razini bljeskalice, kao što je prikupljanje smeća, ispravljanje pogrešaka i firmver kontrolera. Kada kupite neindustrijski SSD pogon, obično dobijete malo rezerviranog viška prostora. Kada formatirate ovaj flash uređaj u bilo kojem datotečnom sustavu, trebali biste biti svjesni tih značajki i eventualno rezervirati dodatni prostor izvan dostupnih kapaciteta. Trenutno ne postoje standardizirane preporuke za skaliranje, tako da morate donositi odluke na temelju vlastitog iskustva. U najgorem slučaju, naći ćete se s fragmentiranim diskom, a SSD će morati neprestano prenositi podatke za pisanje novih. Zamislite da djeca igraju oznake, samo je obrazac kretanja malo složeniji.

Ponovno razmatranje upravljanja podacima na flash uređajima
Inženjeri tvrtke PernixData razvili su novi format za upravljanje podacima na flash uređajima za FVP. Pojedinosti će biti objavljene u sljedećim člancima, a sada nekoliko temeljnih točaka.

Optimizirano za bljeskalicu
Format je dizajniran za pohranjivanje privremenih I / O podataka s minimalnim mogućim skupom metapodataka i rad s flash uređajem s maksimalno dostupnim performansama za njega. Pretvara nasumične unose u uzastopne, kako bi iskoristili veću učinkovitost bljeska u sekvencijalnom načinu pisanja. Time se smanjuje broj redundantnih podataka i ciklusi brisanja. Algoritam ne sadrži naslijeđena ograničenja datotečnih sustava, kao što su velike veličine blokova, direktorije, datoteke, duge transakcije, upravitelji zaključavanja itd.

Dinamički zajednički kapacitet između virtualnih strojeva
hvala duboka integracija Uz VMkernel, FVP može pratiti blokove podataka i odrediti da li njihov virtualni stroj čita ili piše. Nezavisno praćenje tih operacija, platforma može skalirati čitače i pisače u prostoru dodijeljenom virtualnom stroju. FVP može predmemorirati ili izbrisati proizvoljni skup podataka virtualnog stroja iz predmemorije. Nasuprot tome, politika evakuacije podataka na tradicionalnom datotečnom sustavu za flash uređaj bit će suboptimalna i rezultirat će višestrukim prepisivanjem, jer datotečni sustav može zapisati podatke samo na kraj datoteke ili izbrisati blokove s kraja.

To također znači da ne morate dodijeliti konfiguraciju statičkog prostora predmemorije za svaki virtualni stroj, kao što bi to bilo ako koristite datotečni sustav s izravnim adresiranjem. To je bila velika odluka za nas; korisničko iskustvo s proizvoda treba biti što je moguće intuitivnije.

Citiram našeg produktnog menadžera Balu: "Elegancija proizvoda, po mom mišljenju, je da obavlja osnovne zadatke, NE zahtijeva nove ili neuobičajene radnje korisnika."

Što se tiče svakodnevnog rada, ovo je izvrsno: ne morate unaprijed mjenjati predmemoriju za svaki virtualni stroj. To znači da ne morate znati i predvidjeti buduću uporabu bljeskalice - FVP će učiniti sve za vas. Nedostatak tvrde raspodjele resursa znači nedovoljnu iskorištenost bljeskalice neiskorištenim virtualnim strojevima i pojavu redundantnih ciklusa čišćenja bloka za aktivne virtualne strojeve s nedovoljnom veličinom flash cachea. To minimizira problem višestrukih snimki i osigurava maksimalne performanse i pouzdanost flash uređaja.

Izvorni članak ,

Od 2016. godine FVP je povučen iz prodaje.

Zašto ne VMFS?
Što je stranica i što je blok?
Pretpostavimo da je scenarij u kojem je disk pun, gdje ćemo (privremeno) premjestiti podatke prije snimanja novih podataka?
Провайдеры:
  • 08.09.2015

    Batyevka.NET предоставляет услуги доступа к сети Интернет на территории Соломенского района г. Киева.Наша миссия —... 
    Читать полностью

  • 08.09.2015
    IPNET

    Компания IPNET — это крупнейший оператор и технологический лидер на рынке телекоммуникаций Киева. Мы предоставляем... 
    Читать полностью

  • 08.09.2015
    Boryspil.Net

    Интернет-провайдер «Boryspil.net» начал свою работу в 2008 году и на данный момент является одним из крупнейших поставщиков... 
    Читать полностью

  • 08.09.2015
    4OKNET

    Наша компания работает в сфере телекоммуникационных услуг, а именно — предоставлении доступа в сеть интернет.Уже... 
    Читать полностью

  • 08.09.2015
    Телегруп

    ДП «Телегруп-Украина» – IT-компания с 15-летним опытом работы на рынке телекоммуникационных услуг, а также официальный... 
    Читать полностью

  • 08.09.2015
    Софтлинк

    Высокая скоростьМы являемся участником Украинского центра обмена трафиком (UA — IX) с включением 10 Гбит / сек... 
    Читать полностью