Giriş: klaster hesablama sistemləri. Beowulf layihəsinin tarixi. Ölçəklənən klaster arxitekturası

Sürətli inkişaf informasiya texnologiyaları, emal edilmiş və ötürülən məlumatların böyüməsi və eyni zamanda etibarlılıq, əlçatanlıq, nasazlığa dözümlülük və miqyaslılıq üçün artan tələblər bizi artıq gənc klaster texnologiyasından uzaq olan texnologiyaya yeni nəzər salmağa vadar edir. Bu texnologiya yuxarıda göstərilən bütün tələblərə cavab verəcək kifayət qədər çevik sistemlər yaratmağa imkan verir. Bir klaster quraşdırmanın bütün problemləri tamamilə həll edəcəyini düşünmək yanlış olardı. Lakin klasterləşmədən təsirli nəticələr əldə etmək olduqca mümkündür. Bunun nə olduğunu, ayrı-ayrı növlər arasında ən əhəmiyyətli fərqlərin nə olduğunu aydın başa düşməlisiniz, həmçinin müəyyən sistemlərin üstünlüklərini - işinizdə tətbiqinin effektivliyi baxımından bilməlisiniz.

IDC analitikləri hesablamışlar ki, 1997-ci ildə klaster bazarının həcmi cəmi 85 milyon dollar təşkil edirdisə, keçən il bu bazar artıq 367,7 milyon dollar “dəyər” idi.Yüksəlmə tendensiyası göz qabağındadır.

Beləliklə, "i" hərfinə nöqtə qoymağa çalışaq. Bu günə qədər klasterin dəqiq tərifi yoxdur. Üstəlik, klasteri aydın şəkildə tənzimləyən vahid standart yoxdur. Bununla belə, ümidsiz olmayın, çünki klasterləşmənin mahiyyəti heç bir standarta uyğunluğu nəzərdə tutmur. Klasterin klaster olduğunu müəyyən edən yeganə şey bu cür sistemlərə qoyulan tələblər toplusudur. Biz bu tələbləri sadalayırıq (dörd qayda): l etibarlılıq; l funksiyanın mövcudluğu (mövcudluq); l miqyaslılıq; l hesablama gücü. Buna əsaslanaraq klasterin tərifini formalaşdırırıq. Klaster 99,999% nasazlığa dözümlülük təmin edən və həmçinin “dörd qayda”nı təmin edən ixtiyari qurğular (serverlər, disklər, saxlama sistemləri və s.) sistemidir. Məsələn: server klasteri istifadəçiyə vahid əlaqəli resurs kimi klasterə girişi təmin edəcək şəkildə qoşulmuş və konfiqurasiya edilmiş serverlər qrupudur (ümumiyyətlə klaster qovşaqları adlanır).

səhvlərə dözümlülük

Ölçeklenebilirlik

Beowulf və ya Hesablama Gücü

Dell və Compaq-dan mini klaster

Quru qalıq

ComputerPress 10"2000

Dövlət İnformasiya və Kommunikasiya Texnologiyaları Universiteti

İnşa

"Kompüter sxemləri" fənnindən

mövzusunda: "Müasir klaster sistemləri və onlardan istifadə"

Tamamladı: KSD-32 qrupunun tələbəsi

Muzalevski Evgeni

Giriş 3

1. Klaster sistemlərinin ümumi prinsipləri 4

2. Təsnifat 4

3. Klaster sistemlərindən istifadə 5

Nəticələr 6

İstinadlar 6
Giriş

Klaster yüksək sürətli rabitə vasitəsi ilə birləşdirilmiş standart hesablama qovşaqları əsasında yaradılmış modul çoxprosessorlu sistemdir. İndi "klaster" və "superkompüter" sözləri əsasən sinonimdir, lakin əminliklə deyilənə qədər, aparat uzun bir təkamül dövründən keçdi. Kompüterlərin meydana çıxmasından ilk 30 il ərzində, 1980-ci illərin ortalarına qədər "superkompüter" texnologiyaları yalnız ixtisaslaşmış, xüsusilə güclü prosessorların istehsalı kimi başa düşülürdü. Bununla belə, tək çipli mikroprosessorun görünüşü praktiki olaraq "kütləvi" və "xüsusilə güclü" prosessorlar arasındakı fərqi sildi və o andan etibarən yeganə yol Superkompüterin yaradılması bir problemin paralel həlli üçün prosessorların birləşdirilməsi üsuluna çevrildi.

Klaster texnologiyalarının cəlbedici xüsusiyyəti ondan ibarətdir ki, onlar tələb olunan performansa nail olmaq üçün eyni kompüterləri birləşdirməyə imkan verirlər. fərqli tip fərdi kompüterlərdən tutmuş güclü superkompüterlərə qədər. Kütləvi istehsal olunan komponentlərdən superkompüter sinif sistemlərinin yaradılması vasitəsi kimi klaster texnologiyalarından geniş istifadə olunur ki, bu da hesablama sisteminin maya dəyərini əhəmiyyətli dərəcədə azaldır.

1. Ümumi prinsiplər klaster sistemləri

Daha əvvəl qeyd edildiyi kimi, hesablama klasteri bir topludur
istifadəçiyə vahid resurs kimi təqdim edilən bir problemi həll etmək üçün müəyyən bir şəbəkə daxilində birləşən kompüterlər.

“Vahid resurs” anlayışı verən proqram təminatının mövcudluğu deməkdir
istifadəçilər, idarəçilər və tətbiq proqramları saymaq,
onların işlədikləri yalnız bir varlıq var, klaster.
Məsələn, sistem toplu emal klaster sizə iş göndərməyə imkan verir
hər hansı bir fərdi kompüterə deyil, klasterə emal edir. Daha mürəkkəb
verilənlər bazası sistemləri buna misaldır. Demək olar ki, bütün istehsalçılar
verilənlər bazası sistemlərində paralel olaraq çalışan versiyalar var
çoxlu klaster maşınları. Nəticədə verilənlər bazasından istifadə edən proqramlar
data onların işinin harada görüldüyünə əhəmiyyət verməməlidir. DBMS
paralel fəaliyyətlərin sinxronlaşdırılmasına və saxlanmasına cavabdehdir
verilənlər bazası bütövlüyü.

Çoxluq təşkil edən kompüterlər - sözdə klaster qovşaqları - həmişə
nisbətən müstəqildir ki, bu da hər hansı birini dayandırmağa və ya söndürməyə imkan verir
onlara profilaktik baxım və ya əlavə quraşdırma üçün
bütün klasterin sağlamlığını pozmadan avadanlıq.

Bir çoxluqdakı hesablama qovşaqları adətən istifadə olunur
tək prosessorlu fərdi kompüterlər, iki və ya dörd prosessorlu SMP-
serverlər. Hər bir node əməliyyat sisteminin öz surətini idarə edir.
ən çox standart kimi istifadə olunan sistemlər
əməliyyat sistemləri: Linux, NT, Solaris və s. Düyünlərin tərkibi və gücü
yaratmağa imkan verən eyni klaster daxilində belə dəyişə bilər
heterojen sistemlər. Müəyyən bir ünsiyyət vasitəsinin seçimi müəyyən edilir
bir çox amillər: həll olunan vəzifələr sinfinin xüsusiyyətləri, ehtiyac
klasterin sonrakı genişlənməsi və s. Konfiqurasiya edilə bilər
ixtisaslaşdırılmış kompüterlər məsələn, fayl serveri və bir qayda olaraq,
imkan verilir uzaqdan girişİnternet vasitəsilə klasterə.
Onun daxil olduğu klaster sistemlərinin arxitekturasının tərifindən belə çıxır
sistemlərin çox geniş spektri.

2. Təsnifat

Klaster sistemləri ən çox istifadə edə bilər müxtəlif platformalar və bir qayda olaraq, komponentlər toplusu ilə deyil, tətbiq sahələrinə görə təsnif edilir. Dörd növ klaster sistemi var: hesablama klasterləri, verilənlər bazası klasterləri, əvəzetmə klasterləri və yük paylama klasterləri. Ən böyük qrup hesablama klasterləridir. Onu alt qruplara bölmək olar; lakin bu qrup daxilində təsnifat artıq faktiki kompüterlərə deyil, hazır proqram və aparat klaster həllərinə tabedir. Belə açar təslim sistemlərdə müştərinin problemlərini həll etmək üçün tələb etdiyi qabaqcadan quraşdırılmış proqram təminatı vardır. Fərqli tətbiqlər üçün optimallaşdırılmış həllər, ən yaxşı qiymət/keyfiyyət nisbətində bu xüsusi proqramların ən məhsuldar işləməsini təmin edən komponentlərin seçimində fərqlənir.

Verilənlər bazası klasterləri yenidir. Bu sistemlər verilənlər bazalarının paralel versiyaları ilə işləyir və böyük təşkilatlarda CRM və ERP sistemlərinin, eləcə də tranzaksiya verilənlər bazalarının işləməsi üçün istifadə olunur. Bu gün bu sistemlər səbəbiylə ənənəvi paylaşılan yaddaş serverlərinə ciddi rəqibdir ən yaxşı nisbət qiymət/performans, miqyaslılıq və səhvlərə dözümlülük.

Failover klasterləri kritik tətbiqlərin etibarlılığını ən yaxşı şəkildə təmin etmək üçün qurulur. Tətbiqin işi müxtəlif qovşaqlarda təkrarlanır və onlardan birində səhv olarsa, proqram işləməyə davam edir və ya digərində avtomatik olaraq yenidən işə salınır. Belə klasterlər böyük deyil və istifadəçilər çox vaxt onları özləri qururlar. Klaster texnologiyaları həmçinin bir çox serverlər arasında böyük bir sorğu axını yaymaq üçün istifadə olunur. Bu cür həllər tez-tez verilənlər bazasına daim daxil olan dinamik məzmunlu veb saytları dəstəkləmək üçün istifadə olunur, məsələn Axtarış motorları. Xidmətin ölçüsündən asılı olaraq, yük paylama klasterlərində kifayət qədər çox sayda qovşaq ola bilər.

Klaster sistemlərinin fəaliyyəti dörd növ ixtisaslaşmış proqramlar tərəfindən dəstəklənir, məsələn: əməliyyat sistemləri (adətən Linux), kommunikasiya vasitələri, paralel proqram inkişaf alətləri və klaster idarəetmə proqram təminatı.

3. Klaster sistemlərindən istifadə

Klaster sistemi arxitekturasını tərtib edənlər müxtəlif məqsədlər güdürdülər
onların yaradılması. Birincisi, VAX/VMS klasterləri olan Rəqəmsal Avadanlıq idi.
Bu maşını yaratmaqda məqsəd sistemin etibarlılığını artırmaq,
yüksək əlçatanlığın və nasazlığa qarşı dözümlülüyün təmin edilməsi. Hal hazırda
zaman arxitekturasında digər sistemlərə bənzər bir çox sistem var
istehsalçılar.

Klaster sistemlərinin yaradılmasının digər məqsədi ucuz yaratmaqdır
yüksək performanslı paralel hesablama sistemləri. İlklərdən biri
paralel sistemlərin bütün sinfinə - Beowulf klasterinə ad verən layihələr
- dəstək üçün NASA Goddard Kosmik Uçuş Mərkəzində yaradılmışdır
Yer və Kosmos Elmləri layihəsinin zəruri hesablama resursları.
Beowulf layihəsi 1994-cü ilin yayında başladı və 16 prosessor
Intel 486DX4/100 MHz prosessorlarında klaster. Hər node var idi
16 MB quraşdırılıb təsadüfi giriş yaddaşı və 3 şəbəkə Ethernet-
adapter. Bu sistem baxımından çox müvəffəqiyyətli olmuşdur
qiymət / performans, buna görə də belə bir arxitektura hazırlanmağa başladı və
digər elmi təşkilat və institutlarda geniş istifadə olunsun.
Klasterlərin hər bir sinfinin özünəməxsus memarlıq xüsusiyyətləri və
tətbiq olunan aparat.

Orta hesabla yerli superkompüterlər performans baxımından hələ də Qərbdən xeyli geri qalır: elmi tədqiqatlar üçün istifadə olunan maşınlar 15 dəfə, maliyyə şirkətlərinin hesablama resursları 10 dəfə, sənaye superkompüterləri 9 dəfədir.

nəticələr

Klaster yüksək sürətli sistem şəbəkəsi ilə birləşdirilmiş standart prosessorlara əsaslanan hesablama qovşaqlarından, habelə, bir qayda olaraq, köməkçi və xidmət şəbəkələrindən ibarət mürəkkəb proqram-texniki kompleksdir.

Dörd növ klaster sistemi var: hesablama klasterləri, verilənlər bazası klasterləri, əvəzetmə klasterləri və yük paylama klasterləri.

Klaster sistemlərinin tətbiqi sahəsi indi fərqli arxitekturaya malik superkompüterlərdən daha dar deyil: onlar müxtəlif prosesləri və hadisələri simulyasiya etmək vəzifəsinin öhdəsindən heç də az müvəffəqiyyətlə gəlmirlər. Superkompüterlərin modelləşdirilməsi maya dəyərini xeyli aşağı sala və yeni məhsulların bazara çıxarılmasını sürətləndirə, eləcə də keyfiyyətini yüksəldə bilər.

Tətbiqləri qorumaq üçün yüksək əlçatanlıqlı klasterlərdən istifadə etməyin nə vaxt mənası ilə bağlı bəzi fikirlər.

İstənilən biznesdə İT sisteminin fəaliyyətində əsas vəzifələrdən biri göstərilən xidmətin davamlılığını təmin etməkdir. Bununla belə, çox vaxt həm mühəndislər, həm də İT liderləri bizneslərində konkret olaraq hansı “davamlılığın” ifadə edildiyini tam aydın bilmirlər. Müəllifin fikrincə, bu, davamlılıq anlayışının özünün qeyri-müəyyənliyi və qeyri-müəyyənliyi ilə əlaqədardır, ona görə də hansı diskretləşmə dövrünün davamlı hesab edildiyini və hansı intervalın əlçatmazlıq intervalı olacağını həmişə aydın şəkildə söyləmək mümkün olmur. Vəziyyət bir ümumi problemi, lakin müxtəlif yollarla həll etmək üçün hazırlanmış çox sayda texnologiya ilə daha da ağırlaşır.

Mövcud büdcə çərçivəsində qarşıya qoyulan vəzifələri həll etmək üçün hər bir konkret halda hansı texnologiya seçilməlidir? Bu yazıda biz tətbiqləri qorumaq üçün ən populyar yanaşmalardan birinə, yəni aparat və proqram təminatının artıqlığının tətbiqinə, yəni yüksək əlçatanlıq klasterinin qurulmasına daha yaxından nəzər salacağıq. Bu vəzifə, həyata keçirilməsinin sadə görünməsinə baxmayaraq, praktikada əslində çox çətindir. incə sazlama və əməliyyat. Tanınmış konfiqurasiyaları təsvir etməklə yanaşı, bu cür həllərdə çox tez-tez istifadə olunmayan başqa hansı xüsusiyyətlərin mövcud olduğunu, klasterlərin müxtəlif tətbiqlərinin necə təşkil edildiyini göstərməyə çalışacağıq. Bundan əlavə, çox vaxt arzu edilir ki, müştəri klaster yanaşmasının bütün üstünlüklərini ciddi şəkildə nəzərdən keçirərək, hələ də onun mənfi cəhətlərini nəzərə alsın və buna görə də mümkün həllərin bütün spektrini nəzərdən keçirsin.

Tətbiqləri nə təhdid edir...

Müxtəlif hesablamalara görə, müraciətlərin 55-60%-i şirkətin biznesi üçün kritik əhəmiyyət kəsb edir - bu o deməkdir ki, bu proqramların təqdim etdiyi xidmətin olmaması şirkətin maliyyə rifahına ciddi təsir göstərəcək. Bu baxımdan, əlçatanlıq anlayışı kompüter mərkəzinin fəaliyyətində fundamental aspektə çevrilir. Tətbiqin mövcudluğuna təhlükələrin haradan gəldiyini görək.

Məlumatların məhv edilməsi.Əsas problemlərdən biri xidmətin əlçatanlığıdır. Ən sadə yol qorunma - istənilən vaxt tam nüsxəyə qayıda bilmək üçün məlumatların tez-tez "snapshot"larını çəkmək.

Aparat çatışmazlığı. Aparat sistemlərinin istehsalçıları (serverlər, disk saxlama) lazımsız komponentləri olan həllər istehsal edirlər - prosessor lövhələri, sistem nəzarətçiləri, enerji təchizatı və s. Bununla belə, bəzi hallarda hardware çatışmazlığı proqramların əlçatmazlığına səbəb ola bilər.

Tətbiqdə səhv. Artıq sınaqdan keçirilmiş və istehsala qoyulmuş bir tətbiqdə proqramçının səhvi bir halda on və hətta yüz minlərlə ola bilər, lakin belə bir hadisə baş verərsə, bu, birbaşa təşkilatın mənfəətinin itirilməsinə səbəb olur, çünki əməliyyat emal dayanır və səhvin aradan qaldırılması yolu aydın deyil və vaxt tələb edir.

İnsan xətası. Sadə misal: administrator parametrə dəyişiklik edir konfiqurasiya faylları məsələn, DNS. Dəyişiklikləri yoxladıqda, DNS xidməti işləyir, lakin burada DNS-dən istifadə edən xidmət, məsələn, E-poçt, dərhal aşkar edilməyən problemlər yaşamağa başlayır.

Planlaşdırılmış təmir. Sistemə texniki qulluq - komponentlərin dəyişdirilməsi, xidmət paketlərinin quraşdırılması, yenidən işə salınması - əlçatmazlığın əsas səbəbidir. Gartner hesab edir ki, sistemin əlçatmaz olduğu vaxtın 80%-i planlaşdırılan fasilələrdir.

Hesablama platformasında ümumi problemlər. Təşkilat özünü qorumaq üçün hər şeyi etsə belə yerli problemlər, əgər nədənsə bütün sayt əlçatan deyilsə, bu xidmətin mövcudluğuna zəmanət vermir. Sistemi planlaşdırarkən bu da nəzərə alınmalıdır.

...və bununla necə məşğul olmaq olar

Tapşırığın kritikliyindən asılı olaraq hesablama sisteminin sağlamlığını bərpa etmək üçün aşağıdakı mexanizmlərdən istifadə edilə bilər.

Yedəkləmə məlumatı lentə və ya diskə köçürün. Bu əsas səviyyəsidirəlçatanlıq - ən asan, ucuz, həm də ən yavaş.

yerli güzgü. Real vaxt rejimində məlumatların mövcudluğunu təmin edir, məlumatlar məhv olmaqdan qorunur.

Yerli klasterləşmə. Məlumatların mühafizəsi təşkil edildikdən sonra tətbiqin mövcudluğunun təmin edilməsində növbəti addım yerli klasterləşmədir, yəni həm aparat, həm də proqram təminatı baxımından ehtiyat yaratmaqdır.

uzaqdan replikasiya. Ayrılmış məlumat mərkəzlərində məlumatların surətini yaratmaq üçün hesablama saytlarının ayrılmasını nəzərdə tutur.

Uzaqdan klasterləşmə. Müxtəlif saytlarda məlumatların mövcudluğu təmin olunduğundan, tətbiqlərin bu məlumatlara çıxışını təşkil etməklə müxtəlif saytlardan xidmətin mövcudluğunu qorumaq da mümkündür.

Burada bütün bu üsulların təsviri üzərində dayanmayacağıq, çünki hər bir maddə ayrıca bir məqalənin mövzusu ola bilər. İdeya aydındır - biz nə qədər çox ehtiyat təqdim etsək, həllin qiyməti bir o qədər yüksəkdir, lakin tətbiqlər bir o qədər yaxşı qorunur. Yuxarıda sadalanan üsulların hər biri üçün müxtəlif istehsalçıların həllər arsenalı var, lakin tipik xüsusiyyətlər dəsti ilə. Həll dizayneri üçün bütün bu texnologiyaları yadda saxlaması çox vacibdir, çünki yalnız onların səlahiyyətli birləşməsi müştəri tərəfindən qoyulan vəzifənin hərtərəfli həllinə səbəb olacaqdır.

Müəllifin fikrincə, Symantec-in yanaşması xidmətlərin bərpası strategiyasını başa düşmək üçün çox uğurludur (Şəkil 1). Burada iki əsas məqam var - sistemin bərpa olunduğu nöqtə (bərpa nöqtəsi məqsədi, RPO) və xidməti bərpa etmək üçün tələb olunan vaxt (bərpa vaxtı məqsədi, RTO).

Bu və ya digər alətin seçimi kritik proqrama və ya verilənlər bazasına tətbiq olunan xüsusi tələblərdən asılıdır.

Ən kritik sistemlər üçün RTO və RPO 1 saatdan çox olmamalıdır. Ehtiyat surəti iki və ya daha çox gün bərpa nöqtəsi təmin edin. Bundan əlavə, tape bərpası avtomatlaşdırılmır, administrator hər şeyi düzgün şəkildə bərpa etdiyini və işə saldığını daim xatırlamalıdır.

Üstəlik, artıq qeyd edildiyi kimi, mövcudluq sxemini planlaşdırarkən bir vasitə kifayət deyil. Məsələn, yalnız təkrarlama sistemindən istifadə etməyin mənası yoxdur. Kritik məlumatlar uzaq bir saytda yerləşsə də, tətbiqlər müvafiq qaydada əl ilə işə salınmalıdır. Beləliklə, olmadan təkrarlama avtomatik başlama tətbiqlər bahalı ehtiyat nüsxəsinin bir forması kimi görünə bilər.

Əgər siz dəqiqələrlə ölçülən RTO və RTS-i təmin etmək istəyirsinizsə, yəni tapşırığın yerinə yetirilməsi iş vaxtının minimuma endirilməsini tələb edir (həm planlaşdırılmış, həm də planlaşdırılmamış), onda yeganə düzgün həll yolu yüksək əlçatanlıq klasteridir. Bu yazıda belə sistemlər nəzərdən keçirilir.

“Hesablama klasteri” anlayışı artıq bir müddətdir ki, onların böyük müxtəlifliyinə görə həddən artıq yükləndiyinə görə, əvvəlcə klasterlərin nə olduğu haqqında bir az danışacağıq.

Klaster növləri

Ən sadə formada klaster, problemləri birlikdə həll etmək üçün birlikdə işləyən kompüterlər sistemidir. Bu, proqramın müştərilərin müxtəlif serverlərə sorğu göndərə bildiyi şəkildə məntiqi olaraq ayrıla biləcəyi müştəri/server məlumatlarının işlənməsi modeli deyil. Klaster ideyası daha çox paylaşılan hesablama gücü, yüksək əlçatanlıq və miqyaslılığı təmin edən lazımsız resurslar yaratmaq üçün əlaqəli qovşaqların hesablama resurslarını birləşdirməkdir. Beləliklə, klasterlər yalnız serverlərə müştəri sorğularını emal etmir, eyni zamanda bir çox kompüterdən istifadə edərək onları təqdim edir. tək sistem və bununla da əhəmiyyətli dərəcədə daha böyük hesablama imkanları təmin edir.

Kompüterlər klasteri özünü təşkil edən sistem olmalıdır - qovşaqlardan birində yerinə yetirilən iş digər qovşaqlardakı işlərlə əlaqələndirilməlidir. Bu, konfiqurasiya əlaqələrinin mürəkkəbliyinə, klaster qovşaqları arasında çətin kommunikasiyalara və ümumi fayl sistemində verilənlərə giriş probleminin həllinə gətirib çıxarır. Bir resurs kimi potensial olaraq çoxlu sayda kompüterin işləməsi ilə bağlı əməliyyat problemləri də mövcuddur.

Klasterlər müxtəlif formalarda mövcud ola bilər. Ən çox yayılmış klaster növləri yüksək performanslı hesablama (HPC) və yüksək əlçatanlıqdır (HA).

Yüksək performanslı hesablama klasterləri problemi həll etmək üçün mümkün qədər çox prosessor gücünün iştirakı ilə paralel hesablama metodlarından istifadə edirlər. Elmi hesablamalarda bu cür həllərin bir çox nümunəsi var, burada bir çox aşağı qiymətli prosessorların icrası üçün paralel olaraq istifadə olunur. böyük rəqəməməliyyatlar.

Bununla belə, bu məqalənin mövzusu yüksək əlçatanlıq sistemləridir. Buna görə də, daha sonra, klasterlərdən danışarkən, məhz belə sistemləri nəzərdə tutacağıq.

Bir qayda olaraq, yüksək əlçatanlı klasterlər qurarkən, etibarlı mühit yaratmaq üçün ehtiyatdan istifadə olunur, yəni bir və ya bir neçə komponentin (avadanlıq, proqram təminatı və ya şəbəkə vasitələri) nasazlığının mövcudluğuna əhəmiyyətli dərəcədə təsir göstərməyən hesablama sistemi yaradılır. ümumiyyətlə tətbiq və ya sistem.

Ən sadə halda, bunlar ortaq saxlama sisteminə çıxışı olan iki eyni konfiqurasiya edilmiş serverdir (şək. 2). Normal əməliyyat zamanı proqram təminatı bir sistemdə işləyir, ikinci sistem isə birinci sistem uğursuz olduqda proqramların işləməsini gözləyir. Bir nasazlıq aşkar edildikdə, ikinci sistem müvafiq resurslara (fayl sistemi, şəbəkə ünvanları və s.) keçid edir. Bu proses adətən uğursuzluq adlanır. İkinci sistem uğursuz olanı tamamilə əvəz edir və istifadəçiyə onun tətbiqlərinin müxtəlif fiziki maşınlarda işlədiyini bilməsi lazım deyil. Bu, ən çox yayılmış iki qovşaqlı asimmetrik konfiqurasiyadır, burada bir server aktiv, digəri passivdir, yəni əsas server uğursuz olarsa, gözləmə vəziyyətindədir. Praktikada bu sxem əksər şirkətlərdə işləyir.

Bununla belə, sual verilməlidir: faktiki olaraq ehtiyatda olan və çox vaxt istifadə olunmayan əlavə avadanlıq dəstini saxlamaq nə dərəcədə məqbuldur? Yüklənməmiş avadanlıqla bağlı problem klaster sxeminin dəyişdirilməsi və onun içindəki resursların bölüşdürülməsi yolu ilə həll edilir.

Klaster Konfiqurasiyaları

Yuxarıda qeyd olunan iki düyünlü asimmetrik klaster strukturuna əlavə olaraq, klaster proqram təminatının müxtəlif istehsalçılarının fərqli adlara malik ola biləcəyi variantlar var, lakin onların mahiyyəti eynidir.

Simmetrik klaster

Simmetrik klaster də iki qovşaqda yerinə yetirilir, lakin onların hər biri aktiv proqramla işləyir (şək. 3). Klaster proqramı qovşaqlardan birinin nasazlığı halında proqramın serverdən serverə düzgün avtomatik keçidini təmin edir. Bu halda, aparatın yüklənməsi daha səmərəli olur, lakin nasazlıq baş verərsə, bütün sistemin tətbiqləri bir serverdə işləyir və bu, performans baxımından arzuolunmaz nəticələrə səbəb ola bilər. Bundan əlavə, eyni serverdə birdən çox proqramı işə salmağın mümkün olub olmadığını nəzərə almalısınız.

N+1 konfiqurasiyası

Bu konfiqurasiyaya artıq ikidən çox qovşaq daxildir və onların arasında bir ayrılmış, lazımsız biri var (şək. 4). Başqa sözlə, hər N işləyən server üçün bir qaynar gözləmə rejimi var. Bir nasazlıq halında, proqram problemli qovşaqdan ayrılmış pulsuz qovşağa "köçəcək". Gələcəkdə klaster inzibatçısı uğursuz nodu əvəz edə və onu gözləmə rejimi kimi təyin edə biləcək.

N+1 variantı daha az çevik N-dən 1-ə qədər konfiqurasiyadır, burada gözləmə qovşağı bütün işləyən qovşaqlar üçün həmişə eyni qalır. Aktiv serverin nasazlığı halında xidmət gözləmə rejiminə keçir və uğursuz node aktivləşdirilənə qədər sistem ehtiyatsız qalır.

Bütün klaster konfiqurasiyaları arasında N+1 mürəkkəblik və avadanlıqların səmərəliliyi baxımından yəqin ki, ən səmərəlidir. Aşağıdakı cədvəl. 1 bu təxmini təsdiqləyir.

N-dən N-ə qədər konfiqurasiya

Bu hesablama resurslarının istifadəsi baxımından ən səmərəli konfiqurasiyadır (şək. 5). İçindəki bütün serverlər işləyir, hər biri klaster sisteminin bir hissəsi olan proqramları idarə edir. Qovşaqlardan birində nasazlıq baş verərsə, tətbiqlər müəyyən edilmiş siyasətlərə uyğun olaraq ondan qalan serverlərə köçürülür.

Belə bir sistemi layihələndirərkən, proqramların uyğunluğunu, qovşaqdan qovşağa "köçərkən" onların əlaqələrini, server yükünü, şəbəkənin ötürülməsini və daha çoxunu nəzərə almaq lazımdır. Bu konfiqurasiya dizaynı və istismarı üçün ən mürəkkəbdir, lakin klaster artıqlığından istifadə edərkən aparatınız üçün ən çox dəyəri təmin edir.

Klaster konfiqurasiyalarının qiymətləndirilməsi

Cədvəldə. 1 müxtəlif klaster konfiqurasiyaları haqqında yuxarıda deyilənləri ümumiləşdirir. Qiymətləndirmə dörd ballıq şkala üzrə verilir (4 - ən yüksək bal, 1 - ən aşağı).

Cədvəldən. 1-dən görünür ki, klassik asimmetrik sistem dizayn və istismar baxımından ən sadədir. Müştəri onu müstəqil idarə edə bilsə, qalanını kənar texniki xidmətə keçirmək düzgün olardı.

Konfiqurasiyalar haqqında söhbətin sonunda mən klaster nüvəsinin avtomatik olaraq tətbiqi qovşaqdan qovşağına "köçmək" əmrini verə biləcəyi meyarlar haqqında bir neçə söz demək istərdim. Konfiqurasiya fayllarında administratorların böyük əksəriyyəti yalnız bir meyar müəyyən edir - node hər hansı bir komponentinin mövcud olmaması, yəni proqram və aparat xətası.

Eyni zamanda, müasir klaster proqramı yükü balanslaşdırmaq imkanı verir. Düyünlərdən birindəki yük düzgün konfiqurasiya edilmiş siyasətlə kritik dəyərə çatarsa, onun üzərindəki proqram düzgün bağlanacaq və cari yükün icazə verdiyi başqa bir node-də işə salınacaq. Bundan əlavə, server yükünə nəzarət alətləri həm statik ola bilər - klaster konfiqurasiya faylındakı proqram özü ona nə qədər resurs lazım olduğunu göstərir - həm də yük balanslaşdırma aləti xarici yardım proqramı ilə (məsələn, Dəqiq) inteqrasiya edildikdə dinamik ola bilər. cari sistem yükü.

İndi klasterlərin xüsusi tətbiqlərdə necə işlədiyini başa düşmək üçün hər hansı yüksək əlçatanlıq sisteminin əsas komponentlərinə nəzər salaq.

Əsas klaster komponentləri

Hər hansı mürəkkəb kompleks kimi, klaster də konkret həyata keçirilməsindən asılı olmayaraq, aparat və proqram komponentlərindən ibarətdir.

Klasterin yığıldığı avadanlıqlara gəlincə, burada əsas komponent serverlərin fiziki və məntiqi əlaqəsini təmin edən qovşaqlararası əlaqə və ya daxili klaster qarşılıqlı əlaqəsidir. Praktikada bu, təkrarlanan əlaqələri olan daxili Ethernet şəbəkəsidir. Onun məqsədi, birincisi, sistemin bütövlüyünü təsdiq edən paketlərin (sözdə ürək döyüntüsü) ötürülməsi, ikincisi, nasazlıqdan sonra yaranan müəyyən bir dizayn və ya sxem ilə xaricə ötürülməsi üçün nəzərdə tutulmuş məlumat trafiki qovşaqları arasında mübadilədir. . Digər komponentlər göz qabağındadır: klaster proqram təminatı ilə ƏS ilə işləyən qovşaqlar, klaster qovşaqlarının daxil olduğu disk anbarları. Və nəhayət ümumi şəbəkə klasterin xarici dünya ilə qarşılıqlı əlaqəsi.

Proqram komponentləri klaster proqramının işinə nəzarəti təmin edir. Əvvəla, bu, paylaşılan OS-dir (mütləq paylaşılan versiya deyil). Bu ƏS-nin mühitində klaster nüvəsi - klaster proqramı işləyir. Klasterləşmiş, yəni qovşaqdan düyünə keçə bilən proqramlar agentlər adlanan kiçik skriptlər tərəfindən idarə olunur - işə salınır, dayandırılır, sınaqdan keçirilir. Əksər tapşırıqlar üçün standart agentlər var, lakin dizayn mərhələsində xüsusi tətbiqlər üçün agentlərin olub-olmadığını görmək üçün uyğunluq matrisini yoxlamaq vacibdir.

Klaster tətbiqləri

Proqram bazarında yuxarıda təsvir edilən klaster konfiqurasiyalarının bir çox tətbiqi mövcuddur. Demək olar ki, bütün əsas server və proqram istehsalçıları - məsələn, Microsoft, HP, IBM, Sun, Symantec - bu sahədə öz məhsullarını təklif edirlər. Microtest Sun Microsystems (www.sun.com) şirkətinin Sun Cluster Server (SC) həlləri və Symantec (www.symantec.com) tərəfindən Veritas Cluster Server (VCS) ilə təcrübəyə malikdir. Administrator nöqteyi-nəzərindən bu məhsullar funksionallıq baxımından çox oxşardır - onlar eyni parametrləri və hadisələrə reaksiya verirlər. Ancaq daxili təşkili baxımından bunlar tamamilə fərqli məhsullardır.

SC Sun tərəfindən öz Solaris OS üçün hazırlanmışdır və buna görə də yalnız həmin ƏS-də işləyir (həm SPARC, həm də x86). Nəticədə, quraşdırma zamanı SC OS ilə dərindən inteqrasiya olunur və onun bir hissəsinə, Solaris nüvəsinin bir hissəsinə çevrilir.

VCS, demək olar ki, bütün populyar əməliyyat sistemləri - AIX, HP-UX, Solaris, Windows, Linux ilə işləyən çox platformalı məhsuldur və əlavədir - qruplaşmaya məruz qalan digər proqramların işinə nəzarət edən proqram .

Bu iki sistemin - SC və VCS-nin daxili tətbiqinə baxacağıq. Ancaq bir daha vurğulayırıq ki, terminologiyanın fərqliliyinə və tamamilə fərqli daxili quruluşa baxmayaraq, idarəçinin qarşılıqlı əlaqədə olduğu hər iki sistemin əsas komponentləri mahiyyətcə eynidir.

Sun Cluster Server Proqram Komponentləri

SC nüvəsi (Şəkil 6) yüksək əlçatanlıq xüsusiyyətini təmin edən əlavə qabığa malik Solaris 10 (və ya 9) ƏS-dir (nüvə yaşıl rənglə vurğulanır). Sonrakı, klaster nüvəsindən əldə edilən xidmətlərini təmin edən qlobal komponentlərdir (açıq yaşıl). Və nəhayət, ən yuxarıda - xüsusi komponentlər.

HA çərçivəsi klaster xidmətləri göstərmək üçün Solaris nüvəsini genişləndirən komponentdir. Çərçivə tapşırığı qovşağı klaster rejiminə yükləyən kodu işə salmaqla başlayır. Çərçivənin əsas vəzifələri qovşaqlararası qarşılıqlı əlaqə, klasterin vəziyyətini idarə etmək və ona üzv olmaqdır.

Node-to-node rabitə modulu qovşaqlar arasında ürək döyüntüsü mesajlarını ötürür. Bu qısa mesajlar, qonşu node cavabını təsdiqləyir. Məlumatların və tətbiqlərin qarşılıqlı əlaqəsi də qovşaqlararası əlaqənin bir hissəsi kimi HA çərçivəsi tərəfindən idarə olunur. Bundan əlavə, çərçivə klasterləşdirilmiş konfiqurasiyanın bütövlüyünü idarə edir və zəruri hallarda bərpa və yeniləmə tapşırıqlarını yerinə yetirir. Dürüstlük kvorum cihazı vasitəsilə təmin edilir; zəruri hallarda yenidən konfiqurasiya edilir. Kvorum cihazıdır əlavə mexanizm paylaşılan fayl sisteminin kiçik bölmələri vasitəsilə klaster qovşaqlarının bütövlüyünün yoxlanılması. IN son versiya SC 3.2 klasteri ilə klaster sistemindən kənarda kvorum cihazı təyin etmək mümkün oldu, yəni. əlavə server TCP/IP üzərindən mövcud olan Solaris platformasında. Uğursuz klaster üzvləri konfiqurasiyadan çıxarılır. Yenidən işə düşən element avtomatik olaraq konfiqurasiyaya daxil edilir.

Qlobal komponentlərin funksiyaları HA çərçivəsindən irəli gəlir. Bunlara daxildir:

• ümumi klaster cihaz ad sahəsi olan qlobal cihazlar;
• hər bir qovşaq üçün sistemdəki hər bir fayla öz yerli fayl sistemində olduğu kimi girişi təşkil edən qlobal fayl xidməti;
• yük balansını və vahid IP vasitəsilə klaster xidmətlərinə daxil olmaq imkanı verən qlobal şəbəkə xidməti.

Xüsusi komponentlər klaster mühitini idarə edir üst səviyyə proqram interfeysi. vasitəsilə idarə etmək mümkündür GUI, və vasitəsilə komanda xətti. Proqramların işinə nəzarət edən, onları işə salan və dayandıran modullara agentlər deyilir. Üçün hazır agentlər kitabxanası var standart tətbiqlər; Bu siyahı hər buraxılışla böyüyür.

Veritas Cluster Server proqram komponentləri

Sxematik olaraq, iki qovşaqlı VCS çoxluğu əncirdə göstərilmişdir. 7. VCS-də qovşaqlararası rabitə iki protokola əsaslanır - LLT və GAB. VCS klasterin bütövlüyünü qorumaq üçün daxili şəbəkədən istifadə edir.

LLT (Low Latency Transport) Veritas tərəfindən hazırlanmış protokoldur və IP yığınının yüksək effektiv əvəzedicisi kimi Ethernet üzərində işləyir və bütün daxili kommunikasiyalarda qovşaqlar tərəfindən istifadə olunur. Qovşaqlararası rabitədə tələb olunan ehtiyat ən azı iki tamamilə müstəqil daxili şəbəkə tələb edir. Bu, VSC-nin şəbəkə və sistem nasazlığını ayırd edə bilməsi üçün lazımdır.

LLT protokolu iki əsas funksiyanı yerinə yetirir: trafikin paylanması və ürək döyüntülərinin göndərilməsi. LLT bütün mövcud daxili bağlantılar arasında qovşaqlararası əlaqəni paylayır (tarazlayır). Bu sxem bütün daxili trafikin daxili şəbəkələr arasında təsadüfi paylanmasını təmin edir (maksimum səkkiz ola bilər), bu da performansı və nasazlığa dözümlülüyünü artırır. Bir keçid uğursuz olarsa, məlumatlar qalan digərlərinə yönləndiriləcəkdir. Bundan əlavə, LLT GAB tərəfindən istifadə olunan şəbəkə üzərindən ürək döyüntüsü trafikinin göndərilməsinə cavabdehdir.

GAB (Qrup Üzvlük Xidmətləri/Atomic Broadcast) daxili ünsiyyət üçün VCS-də istifadə olunan ikinci protokoldur. O, LLT kimi iki vəzifəyə cavabdehdir. Birincisi, çoxluqdakı qovşaqların üzvlüyüdür. GAB LLT vasitəsilə hər bir qovşaqdan ürək döyüntüsünü alır. Sistem uzun müddət qovşaqdan cavab almırsa, o, vəziyyətini AŞAĞI - işləmir kimi qeyd edir.

GAB-nin ikinci funksiyası etibarlı klasterlərarası əlaqəni təmin etməkdir. GAB bütün qovşaqlar arasında yayımların və nöqtədən nöqtəyə mesajların zəmanətli çatdırılmasını təmin edir.

VCS-nin idarəetmə komponenti hər bir sistemdə işləyən VCS mühərriki və ya HAD (Yüksək Əlçatımlılıq Demonudur). O, məsuliyyət daşıyır:

• konfiqurasiya fayllarından əldə edilən iş konfiqurasiyalarının qurulması;
• klasterə qoşulan yeni qovşaqlar arasında məlumatın paylanması;
• klasterin administratorundan (operatorundan) daxil olan emal;
• uğursuzluq halında rutin hərəkətlərin yerinə yetirilməsi.

HAD resursları izləmək və idarə etmək üçün agentlərdən istifadə edir. Resursların vəziyyəti haqqında məlumat agentlərdən toplanır yerli sistemlər və klasterin bütün üzvlərinə ötürülür. Hər bir qovşağın HAD-ı digər qovşaqlardan məlumat alır və bütün sistemin öz şəklini yeniləyir. HAD təkrarlanan dövlət maşını RSM kimi çıxış edir, yəni hər bir qovşaqdakı nüvədə bütün digər qovşaqlarla tam sinxronlaşdırılan resurs vəziyyətinin təsviri var.

VSC klasteri Java konsolu və ya İnternet vasitəsilə idarə olunur.

Nə yaxşıdır

Hansı klasterdən nə vaxt istifadə etmək daha yaxşıdır sualını yuxarıda müzakirə etdik. Bir daha vurğulayırıq ki, SC məhsulu Sun tərəfindən öz OS üçün yazılmışdır və onunla dərindən inteqrasiya olunmuşdur. VCS çox platformalı məhsuldur və buna görə də daha çevikdir. Cədvəldə. 2 bu iki həllin bəzi imkanlarını müqayisə edir.

Sonda mən Solaris mühitində SC-dən istifadənin lehinə daha bir arqument vermək istərdim. Tək bir istehsalçıdan - Sun Microsystems-dən həm aparat, həm də proqram təminatından istifadə edərək, müştəri bütün həll üçün "vahid pəncərə" xidməti alır. Təchizatçıların hazırda ümumi səriştə mərkəzləri yaratmasına baxmayaraq, proqram təminatı və aparat istehsalçıları arasında sorğuların yayımlanması vaxtı sistem istifadəçisinə heç də həmişə uyğun gəlməyən insidentə reaksiya sürətini azaldacaq.

Ərazi üzrə paylanmış klaster

Biz yüksək əlçatanlıq klasterinin bir sayt daxilində necə qurulduğuna və fəaliyyət göstərdiyinə baxdıq. Belə bir arxitektura yalnız bir node və onunla əlaqəli məlumatlar daxilində yerli problemlərdən qoruya bilər. Texniki, təbii və ya başqa şəkildə bütün sayta təsir edən problemlər yaranarsa, bütün sistem əlçatmaz olacaq. Bu gün getdikcə daha çox vəzifə ortaya çıxır, onların kritikliyi xidmətlərin təkcə sayt daxilində deyil, həm də coğrafi cəhətdən səpələnmiş məlumat mərkəzləri arasında miqrasiyasını tələb edir. Bu cür həlləri tərtib edərkən yeni amillər nəzərə alınmalıdır - saytlar arasındakı məsafə, kanalın genişliyi və s. Hansı replikasiyaya üstünlük verilməlidir - sinxron və ya asinxron, host və ya massiv vasitələr, hansı protokollardan istifadə edilməlidir? Layihənin uğuru bu məsələlərin həllindən asılı ola bilər.

Əsas saytdan ehtiyat nüsxə saytına məlumatların təkrarlanması ən çox məşhur paketlərdən biri ilə həyata keçirilir: Veritas Volume Replicator, EMC SRDF, Hitachi TrueCopy, Sun StorageTek Availability Suite.

Avadanlıq çatışmazlığı və ya proqram və ya verilənlər bazası problemi halında, klaster proqramı əvvəlcə proqram xidmətini əsas saytdakı başqa bir nodea köçürməyə çalışacaq. Əsas sayt hər hansı səbəbdən xarici dünya üçün əlçatmaz olarsa, bütün xidmətlər, o cümlədən DNS, replikasiya səbəbindən verilənlərin artıq mövcud olduğu ehtiyat sayta köçür. Beləliklə, istifadəçilər üçün xidmət bərpa olunur.

Bu yanaşmanın dezavantajı avadanlıq və şəbəkə infrastrukturu ilə əlavə "qaynar" saytın yerləşdirilməsinin böyük dəyəridir. Bununla belə, tam qorunmanın faydası bu əlavə xərclərdən daha çox ola bilər. Əgər mərkəzi qovşaq uzun müddət xidmət göstərə bilmirsə, bu, böyük itkilərə və hətta biznesin ölümünə səbəb ola bilər.

Sistem sınağı fəlakətdən əvvəl

Symantec-in araşdırmasına görə, şirkətlərin yalnız 28%-i fəlakətin bərpası planını sınaqdan keçirir. Təəssüf ki, müəllifin bu mövzuda danışmalı olduğu müştərilərin əksəriyyətinin ümumiyyətlə belə bir planı yox idi. Testin keçirilməməsinin səbəbləri administratorların vaxtının az olması, bunu “canlı” sistemdə etmək istəməməsi və test avadanlığının olmamasıdır.

Sınaq üçün VSC paketinə daxil olan simulyatordan istifadə edə bilərsiniz. VCS-ni klaster proqram təminatı kimi istifadə etməyi seçən istifadəçilər öz quraşdırmalarını Cluster Server Simulator-da sınaqdan keçirə bilərlər ki, bu da onlara kompüterdəki qovşaqlar arasında tətbiq miqrasiya strategiyasını sınamağa imkan verir.

Nəticə

Yüksək səviyyədə mövcud olan bir xidmətin təmin edilməsi vəzifəsi həm aparat və proqram təminatının dəyəri, həm də sistemin sonrakı texniki xidməti və texniki dəstəyinin dəyəri baxımından çox bahadır. Nəzəriyyənin görünən sadəliyinə və sadə quraşdırmaya baxmayaraq, klaster sistemi dərindən öyrənildikdə mürəkkəb və bahalı bir həll olur. Bu məqalədə sistemin texniki tərəfi yalnız ümumi mənada nəzərdən keçirildiyi halda, klasterin müəyyən məsələləri, məsələn, ona üzvlüyün müəyyən edilməsi ilə bağlı ayrıca məqalə yazmaq olar.

Klasterlər adətən biznes üçün kritik tapşırıqlar üçün qurulur, burada fasilələr vahidi böyük itkilərlə nəticələnir, məsələn, hesablama sistemləri üçün. Klasterlərdən harada istifadə etməyin məqsədəuyğun olduğunu müəyyən edən aşağıdakı qaydanı tövsiyə etmək olar: xidmətin dayanma müddəti bir saat yarımdan çox olmadıqda, klaster uyğun həll yoludur. Digər hallarda, daha ucuz variantları nəzərdən keçirə bilərsiniz.

Klaster (kompüterlər qrupu)

Yük balanslaşdırma qrupları

Onların işləmə prinsipi sorğuların bir və ya bir neçə giriş qovşağı vasitəsilə paylanmasına əsaslanır ki, bu da onları emal üçün digər hesablama qovşaqlarına yönləndirir. Belə bir klasterin ilkin məqsədi performansdır, lakin onlar tez-tez etibarlılığı artıran üsullardan da istifadə edirlər. Oxşar dizaynlara server fermaları deyilir. Proqram təminatı (proqram təminatı) ya kommersiya (OpenVMS, MOSIX, Platform LSF HPC, Solaris Cluster, Moab Cluster Suite, Maui Cluster Scheduler) və ya pulsuz (OpenMosix, Sun Grid Engine, Linux Virtual Server) ola bilər.

Hesablama klasterləri

Klasterlər hesablama məqsədləri üçün, xüsusən də elmi tədqiqatlarda istifadə olunur. Hesablama klasterləri üçün əhəmiyyətli göstəricilər üzən nöqtə nömrələri (floplar) üzərində əməliyyatlarda yüksək prosessor performansı və birləşdirici şəbəkənin aşağı gecikməsi və daha az əhəmiyyətli - verilənlər bazası və veb xidmətləri üçün daha vacib olan I/O əməliyyatlarının sürətidir. Hesablama klasterləri bir kompüterlə müqayisədə tapşırığı birləşdirən şəbəkə üzərindən məlumat mübadiləsini həyata keçirən paralel icraçı filiallara bölməklə hesablama vaxtını azaltmağa imkan verir. Tipik bir konfiqurasiya, Linux əməliyyat sistemi ilə işləyən və Ethernet şəbəkəsi, Myrinet, InfiniBand və ya digər nisbətən ucuz şəbəkələr ilə birləşdirilən, ictimaiyyətə açıq olan komponentlərdən yığılmış kompüterlər dəstidir. Belə bir sistem adətən Beowulf klasteri adlanır. Yüksək performanslı klasterlər xüsusi olaraq fərqlənir (İngiliscə abbreviatura ilə qeyd olunur) HPC çoxluğu - Yüksək performanslı hesablama klasteri). Ən güclü yüksək performanslı kompüterlərin siyahısı (ingiliscə abreviatura ilə də istinad edilə bilər HPC) TOP500 dünya reytinqində tapıla bilər. Rusiyada MDB məkanında ən güclü kompüterlərin reytinqi var.

Paylanmış hesablama sistemləri (tor)

Belə sistemlər adətən klaster hesab edilmir, lakin onların prinsipləri əsasən klaster texnologiyasına bənzəyir. Onlara şəbəkə sistemləri də deyilir. Əsas fərq, hər bir qovşağın aşağı əlçatanlığıdır, yəni müəyyən bir vaxtda onun işinə zəmanət vermək mümkün deyil (işləmə zamanı qovşaqlar birləşir və ayrılır), buna görə də tapşırıq bir sıra müstəqil proseslərə bölünməlidir. Belə bir sistem, klasterlərdən fərqli olaraq, tək bir kompüterə bənzəmir, lakin hesablamaların yayılmasının sadələşdirilmiş vasitəsi kimi xidmət edir. Konfiqurasiyanın qeyri-sabitliyi, bu halda, çox sayda qovşaq tərəfindən kompensasiya edilir.

Proqramlı şəkildə təşkil edilmiş serverlər klasteri

Klaster sistemləri ən sürətlilər siyahısında layiqli yer tutur, eyni zamanda qiymət baxımından superkompüterləri xeyli üstələyir. 2008-ci ilin iyul ayına olan məlumata görə, TOP500 reytinqində 7-ci yer SGI Altix ICE 8200 klasteridir (Chippewa Falls, Viskonsin, ABŞ).

Superkompüterlərə nisbətən ucuz alternativ pulsuz proqram təminatı əsasında adi ucuz kompüterlərdən qurulan Beowulf konsepsiyasına əsaslanan klasterlərdir. Biri praktik nümunələr belə bir sistem Stone Soupercomputerdir (Oak Ridge, Tennessi, ABŞ).

Ən böyük özəl klaster (1000 prosessordan ibarət) Con Koza tərəfindən qurulmuşdur.

Hekayə

Klasterlərin yaranma tarixi kompüter şəbəkələri sahəsində ilk inkişaflarla ayrılmaz şəkildə bağlıdır. Kompüterlər arasında yüksək sürətli rabitənin yaranmasının səbəblərindən biri hesablama resurslarının birləşdirilməsi ümidi idi. 1970-ci illərin əvvəllərində TCP/IP dizayn komandası və Xerox PARC laboratoriyası şəbəkə üçün standartları müəyyən edir. DEC-in istehsalı olan kompüterlər üçün Hydra əməliyyat sistemi (“Hydra”) da meydana çıxdı.Bu əsasda yaradılmış klaster C.mpp (Pittsburq, Pensilvaniya, ABŞ,) adlanırdı. Bununla belə, 2000-ci ilə qədər, əsasən SunOS-dan (Sun Microsystems-in BSD əsaslı əməliyyat sistemi) şəbəkə üzərindən tapşırıqları və faylları asanlıqla paylaşmaq üçün mexanizmlər işlənib hazırlanmışdır.

İlk kommersiya klaster layihəsi Datapoint tərəfindən şəhərdə yaradılmış ARCNet idi.O, rentabelli olmadı və buna görə də klasterlərin tikintisi DEC-in VAXcluster-ni əsasda qurduğu ilə qədər inkişaf etmədi. əməliyyat sistemi VAX/VMS. ARCNet və VAXcluster təkcə birgə hesablamalar üçün deyil, həm də nəzərdə tutulmuşdur paylaşma məlumatların tamlığını və birmənalılığını nəzərə alaraq fayl sistemi və periferiya qurğuları. VAXCluster (indi VMSCluster adlanır) Alpha və Itanium prosessorlarından istifadə edən OpenVMS əməliyyat sisteminin ayrılmaz tərkib hissəsidir.

Digər iki erkən məşhur klaster məhsullarına Tandem Hymalaya (HA sinfi) və IBM S/390 Parallel Sysplex (1994) daxildir.

Adi fərdi kompüterlərdən klasterlərin yaradılması tarixi Paralel Virtual Maşın layihəsinə borcludur. 2009-cu ildə bu virtual super hesablama proqramı dərhal klasterlər yaratmaq imkanını açdı. Nəticədə, o dövrdə yaradılmış bütün ucuz klasterlərin ümumi göstəriciləri "ciddi" kommersiya sistemlərinin imkanlarının cəmini üstələdi.

Şəhərdə Amerika Aerokosmik Agentliyi (NASA) tərəfindən verilənlərin ötürülməsi şəbəkəsi ilə birləşdirilən ucuz fərdi kompüterlər əsasında klasterlərin yaradılması davam etdirilmiş, daha sonra şəhərdə bu prinsip əsasında xüsusi olaraq hazırlanmış Beovulf klasterləri hazırlanmışdır. Belə sistemlərin uğuru UNIX-in yarandığı vaxtdan bəri mövcud olan şəbəkə şəbəkələrinin inkişafına təkan verdi.

Proqram təminatı

Serverlərarası qarşılıqlı əlaqəni təşkil etmək üçün geniş istifadə olunan vasitə dilləri və Fortran-ı dəstəkləyən MPI kitabxanasıdır. O, məsələn, MM5 hava simulyasiya proqramında istifadə olunur.

Solaris əməliyyat sistemi Solaris ilə işləyən serverlər üçün yüksək əlçatanlıq və uğursuzluq təmin etmək üçün istifadə edilən Solaris Cluster proqram təminatını təmin edir. adlı OpenSolaris üçün açıq mənbə tətbiqi var OpenSolaris HA çoxluğu.

GNU/Linux istifadəçiləri arasında bir neçə proqram məşhurdur:

• distcc , MPICH və başqaları proqramların işini paralelləşdirmək üçün xüsusi alətlərdir. distcc GNU Kompilyator Kolleksiyasına paralel tərtib etməyə imkan verir.
• Linux Virtual Server, Linux-HA - Sorğuların hesablama serverləri arasında paylanması üçün qovşaq proqramı.
• MOSIX , openMosix , Kerrighed, OpenSSI - tam funksiyalı klaster mühitləri kerneldə qurulmuşdur, tapşırıqları homojen qovşaqlar arasında avtomatik paylayır. OpenSSI, openMosix və Kerrighed yaradır qovşaqlar arasında.

Klaster mexanizmlərinin 2003-cü ildə FreeBSD 4.8-dən ayrılmış DragonFly BSD nüvəsində qurulması planlaşdırılır. Gələcəkdə də çevrilir vahid əməliyyat sistemi mühiti.

Microsoft Windows əməliyyat sistemi üçün HA klasterini buraxır. Rəqəmsal Avadanlıq Korporasiyası texnologiyası əsasında yaradıldığı, klasterdə 16-a qədər (2010-cu ildən) qovşaqları dəstəklədiyi, həmçinin SAN (Storage Area Network) şəbəkəsində işləməsi barədə fikir var. Paylanmış tətbiqləri dəstəkləmək üçün bir sıra API istifadə olunur, klasterdə işləməyi nəzərdə tutmayan proqramlarla işləmək üçün boşluqlar var.

2006-cı ilin iyun ayında buraxılmış Windows Compute Cluster Server 2003 (CCS) klaster hesablama tələb edən yüksək səviyyəli proqramlar üçün nəzərdə tutulmuşdur. Nəşr super hesablama gücünə nail olmaq üçün qruplaşdırılmış bir neçə kompüterdə yerləşdirilməsi üçün nəzərdə tutulmuşdur. Windows Compute Cluster Server-dəki hər bir klaster işləri paylayan bir və ya bir neçə master maşından və əsas işi görən bir neçə kölə maşından ibarətdir. 2008-ci ilin noyabrında Windows Compute Cluster Server 2003-ü əvəz etmək üçün Windows HPC Server 2008 təqdim edildi.

Rusiyada klaster sistemlərinin (CS) inkişafı

Klaster yüksək sürətli rabitə vasitəsi ilə birləşdirilmiş standart hesablama qovşaqları əsasında yaradılmış modul çoxprosessorlu sistemdir. İndi "klaster" və "superkompüter" sözləri əsasən sinonimdir, lakin əminliklə deyilənə qədər, aparat uzun bir təkamül dövründən keçdi. Kompüterlərin meydana çıxmasından ilk 30 il ərzində, 1980-ci illərin ortalarına qədər "superkompüter" texnologiyaları yalnız ixtisaslaşmış, xüsusilə güclü prosessorların istehsalı kimi başa düşülürdü. Bununla belə, tək çipli mikroprosessorun görünüşü praktiki olaraq “kütləvi” və “xüsusilə güclü” prosessorlar arasındakı fərqi aradan qaldırdı və o andan superkompüter yaratmağın yeganə yolu bir problemi paralel həll etmək üçün prosessorları birləşdirmək idi. Rusiyanın MVS-1000M superkompüterinin yaradıcılarından biri Aleksey Latsis "Superkompüter necə qurulmalı və istifadə edilməlidir" kitabında bunu "ilk superkompüter inqilabı" adlandırır.

Təxminən 1990-cı illərin ortalarına qədər. Superkompüter texnologiyalarının inkişafının əsas istiqaməti kütləvi mikrosxemlərdən ixtisaslaşmış multiprosessorlu sistemlərin qurulması ilə bağlı idi. Yaranan yanaşmalardan biri - SMP (Simmetrik Multi Processing), ümumi yaddaşdan istifadə edərək bir çox prosessorun inteqrasiyasını nəzərdə tuturdu ki, bu da proqramlaşdırmanı xeyli asanlaşdırdı, lakin yaddaşın özünə yüksək tələblər qoydu. Düyünlərin sayının onlarla artması ilə belə sistemlərin işini saxlamaq demək olar ki, mümkün deyildi. Bundan əlavə, bu yanaşma hardware tətbiqində ən bahalı oldu. Daha ucuz və demək olar ki, sonsuz dərəcədə miqyaslana bilən bir sıra müstəqil ixtisaslaşmış hesablama modullarının hər ikisi xüsusi bir superkompüter üçün yaradılmış və başqa məqsədlər üçün istifadə olunmayan xüsusi rabitə kanalları ilə birləşdirildiyi MPP (Kütləvi Paralel Emal) üsulu idi.

Sözdə iş stansiyalarının klasterinin yaradılması ideyası əslində MPP metodunun inkişafı idi, çünki məntiqi olaraq MPP sistemi adi lokal şəbəkədən çox da fərqlənmirdi. Yerli şəbəkə standart fərdi kompüterlər, uyğun proqram təminatı ilə multiprosessorlu superkompüter kimi istifadə edilmiş və müasir klasterin əcdadı olmuşdur. Bu fikir 1990-cı illərin ortalarında, yüksək sürət zamanı daha da inkişaf etdirildi PCI avtobusu və ucuz görünüşü, lakin sürətli şəbəkə. Fast Ethernet klasterləri kommunikasiya imkanları baxımından ixtisaslaşmış MPP sistemlərini tutmağa başladı. Bu o demək idi ki, tam hüquqlu MPP sistemi serial istifadə edərək standart seriyalı kompüterlərdən yaradıla bilər kommunikasiya texnologiyaları, və belə bir sistem orta hesabla iki miqyasda daha ucuz idi.

“Birinci nəsil” klaster arxitekturasına malik ən məşhur superkompüterləri təqdim edirik: Beowulf (1994, NASA Goddard Kosmik Uçuş Mərkəzi) – Intel 486DX4/100 MHz prosessorları əsasında 16 prosessorlu klaster; Avalon (1998, Los Alamos Milli Laboratoriyası) - Alpha 21164A/533 MHz prosessorlarına əsaslanan Linux klasteri. Əvvəlcə Avalon 68 prosessordan ibarət idi, sonra onların sayı 140-a yüksəldi; 48,6 GFlops* olan LINPACK testindəki performansı onu 152 prosessorlu IBM RS/6000 SP SMP sistemi ilə yanaşı, Top500 Dünyanın Ən Güclü Kompüterlərinin 12-ci nəşrində 113-cü yerə qoydu. TorbOO-ya daxil olan ilk yerli sistem KVANT Tədqiqat İnstitutu və Rusiya Elmlər Akademiyasının Tətbiqi Riyaziyyat İnstitutu tərəfindən istehsal olunan MVS-1000M klasteri idi. O, DEC-Compaq-dan Alpha 21164 prosessorlarına əsaslanan 384 qovşaqdan ibarət idi.

* Floplar (saniyədə üzən nöqtə əməliyyatları) - saniyədə üzən nöqtə əməliyyatlarının sayı, superkompüter performansının ölçüsü. GFlops (giqaflops) - saniyədə bir milyard üzən nöqtə əməliyyatı; TFlops (teraflops) - saniyədə bir trilyon üzən nöqtə əməliyyatı. Bu günün ən güclü superkompüterinin real performansı 136 TFlop-u ötür; cəmi bir il əvvəl bu rəqəm 35 TFlops idi.

Superkompüterlərin pik və real performansını fərqləndirin. Çoxprosessorlu sistemin (klaster, SMP sistemi və s.) pik performansı praktikada əlçatmaz olan nəzəri dəyərdir. O, prosessorun pik performansını sistemdəki prosessorların sayına vurmaqla əldə edilir. CPU-nun pik performansı ümumiyyətlə onun takt sürətini hər saatda yerinə yetirilən əməliyyatların maksimum sayına vurmaqla əldə edilir. Klasterin real performansı real problemin (akademik və ya sənaye) həlli zamanı əldə edilən performansdır. Məsələn, Top500 reytinqindəki sistemlər xətti tənliklər sisteminin həlli üçün əsl akademik problem olan LINPACK testinin nəticələrinə görə sıralanır.

Klaster texnologiyalarının inkişafına yeni güclü təkan, daha təkmil rabitə şəbəkələrinin meydana çıxması ilə yanaşı, yeni buraxılmış kütləvi prosessorların məhsuldarlığında sürətli artım verdi və bu, yüksək məhsuldar həlləri həmişəkindən daha əlverişli etdi. Məsələn, TorbOO-ya daxil olan ikinci yerli klaster olan SKIF K-500 128 bazasında qurulmuşdur. Intel prosessorları Xeon və SCI sistem şəbəkəsi. 2003-cü ilin payızında Rusiya-Belarus dövlət superkompüter proqramı SKIF üçün qurulmuş bu klaster 423,6 GFlops real göstəricisi ilə reytinqdə 407-ci yeri tutmuşdur. Dövlət proqramının ikinci "üst" klasteri, 576-a əsaslanan "SKIF K-1000" AMD prosessorları Opteron və InfiniBand sistem şəbəkəsi 2004-cü ilin oktyabrında ortaya çıxdı və 2032 TFlops real performansı ilə Top500-ün ilk yüzlüyünə daxil oldu. Belarusda quraşdırılan hər iki SKIF klasteri Rusiya Elmlər Akademiyasının İnformasiya Sistemləri İnstitutunun və belarus tərəfdaşlarının iştirakı ilə T-Platforms tərəfindən tikilib və Rusiya superkompüter texnologiyalarından istifadə edir. Hal-hazırda Rusiyada ən güclü klaster 5,3 Tflops-dan çox real göstərici ilə MVS 15000BM-dir, Top500-də 56-cı yerdədir və İdarələrarası Superkompüter Mərkəzində (MSC RAS) quraşdırılmışdır. Klaster PowerPC prosessorlarına və Myrinet sistem şəbəkəsinə əsaslanan IBM hesablama qovşaqlarından qurulub.

Son illərdə klaster texnologiyalarının sürətli inkişafı Top500 siyahısının təhlilindən aydın görünür: 2000-2004-cü illərdə siyahıda klasterlərin payı 2,2%-dən 60,8%-ə yüksəlmişdir. Əgər 2000-ci ildə 40 ən çox güclü qurğular Cəmi iki klaster (ən güclü - 31-ci yer) olduğundan, 2004-cü ilə qədər ilk 40 maşın arasında onların sayı 24 idi. Eyni zamanda, Top500-ün son versiyasına əsasən, superkompüterlərin yaradılması üçün istifadə olunan prosessorların 71,5%-dən çoxu kütləvi istehsal olunan prosessorlardır. Intel tərəfindən və AMD.

Klaster texnologiyaları aparıcı istehsalçıların ən son superkompüter inkişaflarında da istifadə olunur: məsələn, bu gün 136 TFlops-dan çox performansa malik ən güclü IBM BlueGene/L superkompüteri klaster arxitekturasının bir çox elementlərindən istifadə edir.

Klaster sistemlərinin tətbiqi sahəsi indi fərqli arxitekturaya malik superkompüterlərdən daha dar deyil: onlar müxtəlif prosesləri və hadisələri simulyasiya etmək vəzifəsinin öhdəsindən heç də az müvəffəqiyyətlə gəlmirlər. Superkompüterlərin modelləşdirilməsi maya dəyərini xeyli aşağı sala və yeni məhsulların bazara çıxarılmasını sürətləndirə, eləcə də keyfiyyətini yüksəldə bilər. Məsələn, yeni avtomobillərin bahalı sınaq modellərini düzəltmək və sonra onları mühəndis hesablamalarını yerinə yetirmək üçün onları divara çırpmaq əvəzinə, hər şeyi daha sürətli və dəqiq hesablaya bilərsiniz. kompüter modelləri. Bunun sayəsində bir çox Qərb avtomobil konsernləri yeni avtomobil modelinin işlənmə müddətini beş dəfə - 10 ildən 2 ilə qədər azalda bilib. Geofiziki məlumatların kompüterlə işlənməsi quyuların işlənməsini daha səmərəli, təhlükəsiz və daha ucuz başa çatdırmaqla neft və qaz yataqlarının yüksək detallı modellərini yaratmağa imkan verir.

Məhz klaster texnologiyalarının inkişafı yüksək məhsuldar hesablamaları geniş şəkildə əlçatan etdi və müxtəlif müəssisələrə onlardan istifadə etməyə imkan verdi. Dünyanın ən güclü 500 kompüterinin tətbiqi sahələri belə bölüşdürülür: 44,3% - dağ-mədən, elektronika, avtomobil, aviasiya və ağır sənaye və maşınqayırmanın digər sahələri, 20% -dən bir qədər çoxu - elm və təhsil, superkompüter. mərkəzləri. 18%-dən çoxu hava və iqlim tədqiqatlarının, 7%-i nüvə, kosmik, enerji və hərbi dövlət proqramlarının, 3,5%-i maliyyə şirkətləri və bankların payına düşür. Bundan əlavə, siyahıya tibb və dərmanların hazırlanması, kompüter qrafikası, nəqliyyat, ticarət, qida istehsalı, konsaltinq və dövlət idarəçiliyi ilə məşğul olan şirkət və təşkilatlar daxildir.

Rusiyada superkompüterlərin istifadəsinə gəlincə, MDB superkompüterlərinin ilk dəfə 2004-cü ilin dekabrında dərc edilmiş hazırkı Top50 reytinqinə yalnız üç istifadəçi sinfi daxildir: elmi institutlar və universitetlər, ağır və neft sənayesi ilə məşğul olan müəssisələr, maliyyə institutları.

Orta hesabla yerli superkompüterlər performans baxımından hələ də Qərbdən xeyli geri qalır: elmi tədqiqatlar üçün istifadə olunan maşınlar 15 dəfə, maliyyə şirkətlərinin hesablama resursları 10 dəfə, sənaye superkompüterləri 9 dəfədir. Bununla belə, 2005-ci ilin aprelində dərc edilmiş Top50 siyahısının ikinci nəşri sənayenin sürətli inkişafını nümayiş etdirir. Belə ki, sənaye sektorunda fəaliyyət göstərən sistemlərin sayı 2 faizdən 16 faizə yüksəlib, onların orta göstəriciləri isə dərhal 135 faiz artıb. Maliyyə şirkətlərinin və bankların superkompüterlərinin sayı da 2%-dən 18%-ə yüksəlib. Elmi tədqiqatlar üçün istifadə olunan superkompüterlərin payı 96%-dən 66%-ə qədər azalıb, onların orta göstəriciləri isə 70% artıb. Ümumiyyətlə, yerli superkompüter reytinqinin ikinci nəşri kommersiya istifadəsi üçün sistemlərin payının əhəmiyyətli dərəcədə artdığını nümayiş etdirir. Yerli superkompüterlərin ən çoxunu IBM şirkəti (26%) təchiz edib, lakin rus istehsalçıları ondan bir qədər aşağıdırlar.