Blog

Startup.
MivoCloud Baner

Imperiul Dropbox.

Blog Single

Ediția Wired a publicat materiale, în care povestesc despre cum compania Dropbox au transferat datele utilizatorilor, de pe serverele Amazon pe propriile lor computere. Pentru a face acest lucru, echipa a elaborat propria sistemă de păstrare a datelor Magic Pocket și serverul Diskotech.

Dacă tu ești unul dintre cei 500 milioane de utilizatori Dropbox, atunci pentru tine aceasta ar însemna doar o simplă mapă pe desktop, care permite stocarea unor informații pe internet, expedierea oricând ai nevoie prietenilor tăi, la fel și sincronizarea cu dispozitive diferite.Utilizați această mapă și uitați de ea. Așa și este gândit. Analizați mai adânc și veți vedea o performanță grandioasă a gândirilor de inginerie. Dropbox lucrează pe o bază de rețea tehnologică largă, care în ultimul deceniu a transformat însuși esența internetului. Și acum acest sistem a trecut la o altă etapă de viață.

În timpul primilor opt ani Dropbox a păstrat miliarde de fișiere, a celor 500 milioane de utilizatori ai săi. De fapt startup-ul din San Francisco le păstra nu chiar de sine stătător. Ca și multe alte startup-uri, Dropbox folosea platforma de cloud a Amazonului. Ea permite crearea și folosirea programelor, fără cheltuieli pentru echipament. Cu alte cuvinte, aceste miliarde de fișiere, se păstrau pe serverele Amazon, dar nu pe cele deținute și întreținute de Dropbox.

MivoCloud

Servere Cloud cu functii de IaaS. Tarif pe ora. Trafic nelimitat. Incearca acum Gratuit.

Acum, cu asta sa terminat. În ultimii doi ani și jumătate, Dropbox și-a creat propria infrastructură, unde a transferat toate datele și activitatea. Bazându-se pe experiența veteranilor din Silicon Valley - Google, Facebook, Twitter și alții - compania cu succes a migrat 90% din fișierele utilizatorilor pe noul teritoriu online. Din punct de vedere a ingineriei, acest lucru cu siguranță prezintă un succes. Dar sensul acestui succes, se extinde dincolo de Dropbox. În mod ironic, acest eveniment arată ce impact au tehnologiile cloud asupra principiul de lucru unei afaceri. În acelaș timp, acesta relevă schimbări enorme care au avut loc pe piața hardware, din ultimii zece ani.

Dropbox

Tot mai multe companii transferă datele în "Cloud". Conform evaluării companiei Forrester Research, în anul 2020 volumul de piață a cloud-ului va constitui $191 miliarde. Refuzând să comenteze această informație, Amazon recent a anunțat că venitul subdiviziunii Amazon Web Services în trimestrul 4 a anului 2015, a fost de $2,41 mlrd. Rulajul anual a depășit $9,6 mlrd, acesta fiind unul mare, dacă luăm în considerație plecarea companiei Dropbox.

Atunci când unele companii se dezvoltă la o anumită mărime, într-adevăr are sens să se gândească la crearea propriei rețele refuzându-se de serviciile unui "server cloud". Amazon, Google și Microsoft pot menține prețurile mici la "cloud" grație dimensiunii afacerilor sale. Totuși vânzarea serviciilor nu o fac la costul lor. „Nimeni nu administrează o afacere cloud din binefacere. Marja de profit mereu există”, a relatat vice-președintele Dropbox, fostul angajat Facebook, Aditya Agarwal. Dacă v-ați dezvoltat suficient, puteți economisi bani mari, dacă excludeți folosirea cloud. Dropbox consideră că s-a dezvoltat suficient.

Și totuși, realizarea unei rețele de așa mărime este o misiune destul de grea, cu care nu oricine s-ar descurca. „Decizia corectă - să nu faci asta de unul singur”, a spus convingător, fostul profesor ai Universității din California, Santa Barbara, Urs Hollister. El a fost al 8-lea angajat al companiei Google, în prezent se ocupă de serviciile cloud, a companiei. Din spusele sale, puține companii dețin mărimile și structurile necesare, pentru a face economie pe baza dimensiunilor. Dacă creșterea companiei este lentă, crearea propriei rețele poate să o accelereze. Această ipoteză este actuală pentru Dropbox. În ultimile luni investitorii și analiștii se uita cu pesimism la companie, menționând că estimarea de $10 mlrd este prea mare, iar dezvoltarea lentă nu permite atragerea clienților corporativi de valoare.

Potrivit spuselor a Directorului Executiv Dropbox Denis Woodside, compania a beneficiat semnificativ când a trecut pe echipamentele proprii. Ironia constă în aceea că Dropbox, a demonstrat puterea "cloud-ului", refuzându-se de el: compania creează infrastructura sa, scutind clienții săi de acest lucru. Formând această infrastructură, Dropbox începe în rând cu Amazon, Google și Microsoft să miște piața mondială a echipamentelor, spre o nouă direcție.

MivoCloud

Servere Dedicate Personalizate. Trafic nelimitat. Protectie DDoS. IPMI. Suport 24/7/365. Poti adauga RAM, SSD, HDD, IP-uri, hardware RAID etc.

Amazon este liderul pieței primare de cloud computing. Principalii săi concurenți sunt Google și Microsoft. Toate trei companii prestează servicii, care permite afacerilor și promoterilor independenți, să folosească orice software, fără a fi nevoit să cumpere hardware puternic.

În acelaș timp crește volumul piețelor secundare, membrii principali fiind compania Dropbox, inamicul lui principal Box.com, Saleforce.com, Workday și alte companii. Ei ocupă o alt] nișă pe piață, oferind-ule utilizatorilor soluții de soft gata. Ca și alți mari jucători, ei oferă afacerilor și programatorilor, instrumente de care se pot folosi, fără cheltuieli suplimentare pentru procurarea echipamentului. «Următoarea etapă pentru industria respectivă - bătălia între platforme», spune Directorul General Box.com Aaron Levie.

Dropbox vrea să se numere printre învingătorii acestei lupte. Compania va fi într-o concurență crâncenă cu Amazon, Google și Microsoft, care la fel își extind asortimentul soluțiilor software pentru clienți. Defapt aceștia deja concurează cu Dropbox, Box.com și alții datorită instrumentelor care le oferă pentru schimbului de fișiere. Însă această nișă puțin posibil că se va mai mări. Schimbul de fișiere gen: foto, video, documente word și tabele electronice, își pierd importanța și valoarea din cauza smartphone-lor și serviciilor precum Slack.

Echipa Dropbox înțelege acest lucru foarte bine. Evaluarea înaltă a companiei au transformat-o în țintă pentru investitori, care discută problemele de creșterea numărului "unicornilor" tehnologici. Nici un startup în ultimile luni, nu a primit atât de multă critică, cât Dropbox. Reprezentanții industriei pun sub semnul întrebării capacitatea sa de a concura cu giganții internetului. Însă conducerea companiei e convinsă că lumea se schimbă rapid. Întrebarea principală este cum, schimbările din structura companiei, vor ajuta Dropbox să atingă succesul în această lume, având în vedere cât de mulți bani, timp și efort s-au investit.

Dropbox

James Cowling se cunoaște cu creatorii Dropbox, încă de când studiau împreună la Massachusetts Institute of Technology. Ca viitor absolvent, el a studiat sistemele distribuite de calcul, unde erau incluse de la zeci la sute de mii de mașini, împreună cu unul dintre primii angajați ai Dropbox. Acolo a făcut cunoștință și cu Drew Huston, care este fondatorul și directorul general al Startup-ului. Absolvenții țineau legătura unii cu alții, deseori discutând afacerile Dropbox, iar în timpul unor astfel de discuții, au ridicat problema cu privire la modul în care startup-ul ar putea să renunțe la serviciile Amazon. "Se pare că, acest lucru e atât de departe, ca până la lună", spunea Cowling.

În anul 2012, povestea Cowling, compania Google (care este specializată în lucruri care anterior păreau imposibile de creat) i-a oferit un loc în cadrul dezvoltării proiectului Spanner, bază de date, de la care depinde o mare parte din funcționarea serviciului de căutare. Spanner, probabil cea mai mare și complexă bază de date din lume, cea mai distribuită din toate sistemele distribuite. Cu toate acestea Cowling a refuzat, în favoarea companiei Dropbox. "Am vrut să creez ceva singur", spunea el. Spanner deja exista, iar imperiul "cloud" Dropbox urma abia să-l construiesc.

De-alungul unei perioade de timp, sistemul Dropbox a lucrat pe platforma "cloud" Amazon și pe serverele companiei. Datele și fișierele, cu care simultan lucrau mai mulți utilizatori, se păstrau la Amazon Simple Storage Service (S3). Metadatele (informația cu privire la deținătorul acestor fișiere, căror persoane se permitea să facă modificări, și așa mai departe) erau păstrate în propriul centru de date Dropbox.

Împreună cu fostul angajat al companiei Google, Ahile Gupta, și cu alți membri ai echipei, Cowling a proiectat și dezvoltat un sistem care a permis Dropbox să păstreze sute de petabytes de date (o astfel de cantitate de informații sunt suficiente ca să umple sute de milioane USB-drive-uri) cu mult mai eficient, decât în cazul în care ar fi fost stocate în Amazon S3. Sistema a fost denumită Magic Pocket. «Dropbox este un loc, unde vă puteți stoca toate lucrurile importante pentru dumneavoastră. Ele nu se pierd și mereu aveți acces la informația stocată, relatează Gupta, Buzunarul Magic.

Cu alte cuvinte, echipa a construit propriul Amazon S3. Singurul lucru ce-i diferenția, era faptul că sistemul creat, se axa pe soluționarea problemelor tehnice concrete apărute la companie. «Am construit ceea, de ce avem nevoie, dar nu pur și simplu am elaborat un alt Amazon S3», spunea Agarwal.

Încă de pe timpurile când datele Dropbox se păstrau pe serverele Amazon, unul dintre cei mai mari retaileri din lume, a introdus propriul sistem de stocare și partajarea fișierelor, adică, într-o oarecare măsură deveni-se concurentul Dropbox. Sistemul Amazon s-a dovedit a fi nu atât de eficientă ca Dropbox, în plus, ea nu avea un brand recunoscut, dar pentru echipa Dropbox acest lucru ia făcut să se îngrijoreze mai tare.

MivoCloud

Servere Cloud cu functii de IaaS. Tarif pe ora. Trafic nelimitat. Incearca acum Gratuit.

Totusi, după spusele lui Agarwal principala cauza de a crea propria sistemă, a fost beneficiul economic. „Marii jucători ai pieței de tehnologii pentru noi, sunt ca vecinii prietenoși. Și între vecini deseori au loc mici ciocniri, spune Agarwal. Amazon dezvoltă multe direcții de afaceri, și nu cred că propriul sistem cloud de păstrare și partajarea fișierilor, va deveni cândva activitatea principală a companiei, cum este pentru noi».

Echipei Dropbox îi rămâne doar speranța. Conducerea companiei într-adevăr a riscat mult. Da, compania a creat propriul său software potrivit nevoile sale. Dar defapt, a făcut un pas și mai înainte. Acest sistem include și propriile echipamente. Dropbox a proiectat și construit echipamentele proprii.

Timp de ani de zile Google, Facebook, Microsoft și Amazon au creat echipamente pentru centrele lor de date. Ei pur și simplu nu aveau de ales: afacerea lor a crescut într-o asemenea măsură, încât utilizarea unui echipament simplu era scump dar și irațional. Era necesară o nouă generație de echipamente, care ar fi mai ieftine, mai eficiente și mai flexibile. Și au înființat astfel de echipament, conlucrând cu producătorii și furnizorii de echipamente din Asia și alte regiuni.

Acum Google produce mai multe servere, decât oricine din lume, cu toate că nu le comercializează. Aproximativ aceeași imagine o are Amazon și Microsoft. Și dacă aceste companii produc nu doar servere, dar și oferă clienților servici de cloud, multe organizații în general refuză procurarea tehnicii de la tradiționalii producători hardware, elaborând sistemele sale pe platformele acestor corporații. Această practică a devenit mai răspândită după ce Facebook a descris propria tehnologie de proiectare și crearea hardware. Multe companii, inclusiv, un producător Quanta, vinde produse bazate pe tehnologiile Facebook.

Dropbox

Rami Al Jamal cunoaște despre aceste schimbări. Anume el se ocupa de crearea unei noi structuri de hardware la Twitter, și apoi a ajutat Dell să-și recâștige o parte a pieței tehnologice prin intermediul propriei platforme cloud DSC. Acum el este responsabil de proiectarea echipamentelor corespunzătoare pentru Dropbox. La fel ca Google, Amazon și Microsoft, echipa Dropbox a decis că are nevoie de propriul său sistem de stocarea informației, în corespundere cu nevoile sale.

Dropbox păstrează o cantitate mare de date, din această cauză companiei i-a trebuit echipament potrivit pentru realizarea acestor scopuri. De crearea acestuia, este responsabilă o echipă de ingineri în frunte cu Al Jamal, la sediul Dropbox din San Francisco. Conceptul dezvoltat l-au denumit Diskotech. "Cea mai mare atenție este acordată discurilor, pentru că toată informația este stocată pe ele", explică Al Jamal. Dispozitivul cu dimensiuni 45x120x15 cm poate stoca 1 Pb de date (1024 Tb). Cincizeci astfel de dispozitive, sunt suficiente pentru stocarea a tot ce a fost scris vreodată de omenire.

Bowling și echipa sa a început să dezvolte software-ul, în vara anului 2013 și pentru a crea codul sursă au avut nevoie de aproximativ șase luni. Dar acesta a fost un pas relativ mic. Când a fost construit sistemul, era necesar să asigure funcționarea stabilă acestuia. A trebuit să mute toate soft-urile pe noul echipament, cât și să transfere toate datele de pe serverele avute la Amazon.

Intregul proces a durat doi ani. Nu mai sunt nevoie de argumente că un proiect de așa dimensiuni, însuși este o problemă tehnologică complexă. Însă aici au apărut probleme și de ordin logistic. A migra o cantitate mare de date prin rețea este un lucru. Iar transferul unor cantități mari de date de la un centru de date la altul este cu totul alt ceva. Echipa Dropbox a fost nevoită să rezolve deodată două probleme, deoarece sistemul avea sute de milioane de utilizatori, și ei nu trebuiau să se confrunte cu dificultăți la accesul propriilor date.

„Imaginați-vă o mașină în mișcare, a declarat Dan Williams, fostul inginer de rețea la Facebook, care a supravegheat transferul de date între servere. Trebuie să schimbați anvelopile chiar în momentul deplasării acesteia pe drum ”. Cu alte cuvinte, echipa Dropbox nu a putut permite să oprească sistemul în momentul transferului de date. Startup-ul nu putea spune sutelor de milioane de utilizatori care au încredințat propriile date către Dropbox, că informațiile lor temporar nu sunt disponibile. Unul dintre principalii indicatori ai succesului acestui eveniment ar fi, în cazul în care utilizatorii nici nu ar observa această migrare.

Dupa ce Cowling și echipa sa a creat codul inițial, programatorii l-au testat pe servere obișnuite, care stocau aproximativ de cinci ori mai puține date decât serverele Amazon. Echipa a avut o sarcină pentru a asigura buna funcționare a sistemului și a nu detecta erori critice în decurs de 180 zile. Într-unul din birourile Dropbox au atârnat un ceas care arătau numărătoarea inversă. Prima mare greșeală a fost descoperită după două luni de la începerea testării. Sa dovedit că sistemul avea acces la datele care erau stocate în locul nepotrivit. Numărătoarea inversă a fost pornită iarăși. Ca urmare, testarea a durat opt ​​luni.

Echipa apoi, încrezută că sistemul va fi capabil să asigure o funcționare normală, începe să transfere codul pe echipamentul nou, efectuând paralel și transferul de date de pe serverele Amazon. Compania mai avea șase luni până la terminarea contractului cu Amazon. "Aceasta este o perioadă foarte scurtă de timp", spune Cowling.

MivoCloud

Servere Dedicate Personalizate. Trafic nelimitat. Protectie DDoS. IPMI. Suport 24/7/365. Poti adauga RAM, SSD, HDD, IP-uri, hardware RAID etc.

Însăși sarcina de a transfera unele date de pe un server pe altul este o provocare mare. Iar a muta petabytes de date de pe un computer pe altul nu e la fel ca descărcarea câtorva melodii pe laptop. Chiar și cele mai mari canalele nu pot transmite mai mult de 4 Pb pe zi. "Pur și simplu ești limitat de viteza luminii", spune Agarwal.

În același timp era necesară configurarea computerelor care vor primi toate aceste date. Imaginați-vă administratorul de birou, care încearcă să configureze computerul pentru un nou angajat, însă la dimensiunile Dropbox. În plus, toate eforturile sale sunt limitate de timp. Dacă încetineau ei riscau să nu reușească să se migreze toate datele de la Amazon. In fiecare zi, muncitorii instalau câte 40-50 de rack-uri, fiecare dintre acestea având câte opt servere. La un moment dat, lucrările s-au oprti din cauza unor evenimente neprevăzute, într-o zi tocmai două camioane care transportau echipamentele pentru Dropbox au fost implicate în accidente.

În ciuda tuturor problemelor, echipa Dropbox a reușit să transfere toate datele încadrându-se în termenele stabilite. Compania a refuzat să-și reînnoiască contractul cu Amazon. Dropbox continuă sa utilizeze serviciile Amazon doar în Europa, pentru că aici dezvoltarea afacerii este mai puțin previzibilă. Mai mult de 90% din datele companiei au fost transferate pe propriile servere. A venit timpul pentru acțiuni radicale.

Atunci când toate datele au fost transferate de la Amazon, Rami Aldzhamal a început să comunice cu inginerul Jamie Turner. Magic Pocket, versiunea sistemului Amazon S3 dezvoltat de Dropbox, încă lucra pe calculatoare vechi. Următorul pas a fost transferul platformei pe serverele proiectate special pentru aceste scopuri. Aldzhamal și Turner, împreună au început a potrivi noul echipament pentru implementarea Magic Pocket. Echipa Aldzhamala a creat un server Diskotech, dar a apărut o problemă: echipamentul nu era potrivit pentru Magic Pocket. Apoi Turner a rescris sistemul într-un alt limbaj de programare.

Poate vi se pare ciudat. De ce să instalezi sistemul pe o mie de calculatoare, apoi să-l rescrii complet și să îl mai pui pe o mie de alte computere? Cu toate acestea, în companiile mari, totul funcționează în acest fel. Serverele se uzează rapid, astfel multe componente ale sistemului nu mai funcționează. Din această cauză companiile trebuie să le schimbe. Trebuie mereu să înnoești ceea ce ai. La început echipa Dropbox a fost convinsă că Magic Pocket va funcționa pe servere obișnuite. Acest lucru s-a dat destul de greu. Apoi compania a modernizat echipamentul. Acum a trebuit să fac ca cele două componente să lucreze împreună.

Crawling, Turner și alți angajați au folosit inițial limbajului de programare Go, creat de Google. Este un limbaj conceput special pentru sistemele distribuite on-line. O altă tendință în crearea unor astfel de limbaje: Apple a creat Swift, Mozilla a creat Rust, există de asemenea și proiecte independente de tipul la D. Toate acestea vă permit să creați software care poate rula pe sute sau chiar mii de servere.

Cu toate acestea, cantitatea de memorie care era necesară pentru funcționarea Magic Pocket, când sistemul a fost implementat pe baza limbajului Go, a fost prea mare. Echipa Dropbox a început să caute un limbaj care ar face posibilă utilizarea unei cantități mai mici de memorie, și sa oprit la Rust. Acum, soft-urile instalate în centrele lor de date sunt create pe baza acestui limbaj.

MivoCloud

Servere Cloud cu SSD. Lanseaza in 9 secunde. Suport gratuit. Alegi fiecare resurs separat (RAM, SSD, CPU, IP). Poti schimba oricand. Poti opri serverul si achiti doar pentru resursele folosite.

Într-adevăr este o companie care riscă. Dar acum, când corporații precum Google, Microsoft și Amazon au trecut prin aceasta, alte companii nu mai trebuie să o facă. În asta și constă toată puterea de cloud computing. Da, Dropbox - nu este Google sau Amazon, ea nu oferă programatorilor infrastructură pentru a crea și a stoca codul personalizat. Cu toate acestea, sistemul creat de Dropbox permite utilizatorilor obișnuiți și corporativi distribuirea documentelor și stocarea fișierelor fără a instala un software specializat și hardware, iar cu cât e mai mare afacerea, cu atât e mai dificilă astfel de sarcină. Sistemele "Cloud" oferă soluții pentru această problemă. Pentru utilizatorii săi, Dropbox a creat instrumente de editare a textului și de lucru în echipă Dropbox Paper. Programatorii pot conecta aplicațiile lor la platforma Dropbox.

Principalul pericol pentru companie este că giganți precum Microsoft sau Google ar putea încerca să stagneze creșterea Dropbox, mărind funcționalitatea propriilor servicii. Astfel trecerea companiei pe server noi poate fi un factor de stagnare, decât să rezolve problema. De exemplu, compania de jocuri Zynga, care a decis să migreze toate datele pe servere proprii, după care a început să aibă probleme, și în final a ramas cu infrastructura de care nu avea nevoie. Zynga acum a revenit la serviciile Amazon.

Avantajul principal al Dropbox este că echipa startup-ului include oameni care s-au ocupat deja cu sisteme de o asemenea dimensiune mai înainte, Agarwal, Gupta, Williams și alții. Dan Williams a spus că într-un astfel de sistem există ceva atractiv. "Dacă ați făcut ceva similar înainte, la Facebook sau Google, te obișnuești cu astfel de dimensiuni. Și când ele dispar, începe să-ți vină dorul de ele " spune el.

Și acest lucru nu este distracție inutilă. Astfel de sistem poate economisi milioane de dolari unei companii. Cu toate acestea, ea are, de asemenea și pericolele sale. În Silicon Valley este o boala speciala, sindromul "Nu a fost inventat aici". Companiile care sufera de un astfel de sindrom încep sa inventeze lucruri noi, pur și simplu pentru că vor să creeze ceva nou.

Nu contează dacă Dropbox va fi în stare să dezvolte un nou tip de afacere cu sistemul său, sau se va adeveri a fi doar un experiment ingineresc, acum Dropbox are propria invenție. Dropbox și-a creat propriul storage. Această abordare primul a demonstrat-o Google. Google a devenit o companie de succes nu numai pentru că a creat motorul său de căutare, dar și pentru că a dezvoltat infrastructura necesară pentru funcționarea acestuia. Așa a făcut și Facebook, unde lucrează o mulțime de foști angajați Google. Asemenea a făcut și Twitter. Acum s-a alăturat și Dropbox. Pentru a deveni un gigant, la început va trebui să vă bazați pe umerii altora. Dar odată ce devii mare, vei simți ce este necesar pentru tine de a construi propria ta casa, care să ți se potrivească perfect.

  • Tradus și adaptat.
  • MivoCloud

    Administrare Server. Administreaza-ti afacerea iar noi serverul. Echipa profesionista disponibila 24/7/365.
    Share: