Böyük həcmli məlumatların təhlili. Böyük məlumat üçün maşın. Ölçəkləmə və səviyyəliləşdirmə

Araşdırma və trendlərə görə

Big Data, "Big Data" artıq bir neçə ildir ki, İT və marketinq mətbuatında şəhərin söhbətinə çevrilib. Və aydındır: rəqəmsal texnologiyalar həyata nüfuz etmişdir müasir insan, "hər şey yazılıb." Həyatın müxtəlif sahələrinə dair məlumatların həcmi artır və eyni zamanda, məlumatların saxlanması imkanları artır.

İnformasiya saxlanması üçün qlobal texnologiyalar

Mənbə: Hilbert və Lopez, “Dünyanın informasiya saxlamaq, ünsiyyət qurmaq və hesablamaq üçün texnoloji imkanları”, Elm, 2011 Qlobal.

Əksər ekspertlər məlumat artımının sürətləndirilməsinin obyektiv reallıq olduğunu qəbul edirlər. Sosial şəbəkələr, mobil qurğular, ölçmə cihazlarından alınan məlumatlar, biznes məlumatları böyük miqdarda məlumat yarada bilən mənbələrin yalnız bir neçə növüdür. Araşdırmaya görə IDCRəqəmsal kainat, 2012-ci ildə nəşr edilmiş, növbəti 8 il ərzində dünyada məlumatların həcmi 40 Zb (zettabayt) təşkil edəcək ki, bu da planetin hər sakini üçün 5200 GB-a bərabərdir.

ABŞ-da toplanan rəqəmsal məlumatların artması

Mənbə: IDC

Məlumatın əhəmiyyətli bir hissəsi insanlar tərəfindən deyil, həm bir-biri ilə, həm də digər məlumat şəbəkələri ilə qarşılıqlı əlaqədə olan robotlar tərəfindən yaradılır, məsələn, sensorlar və ağıllı cihazlar. Bu artım tempi ilə dünyada məlumatların həcmi, tədqiqatçıların fikrincə, hər il iki dəfə artacaq. Virtual sayı və fiziki serverlər yeni məlumat mərkəzlərinin genişləndirilməsi və yaradılması hesabına dünyada on dəfə artacaq. Bu baxımdan, bu məlumatların səmərəli istifadəsinə və monetizasiyasına ehtiyac artmaqdadır. Big Data-nın biznesdə istifadəsi xeyli investisiya tələb etdiyi üçün vəziyyəti aydın başa düşmək lazımdır. Və bu, mahiyyət etibarı ilə sadədir: siz xərcləri azaltmaqla və/və ya satışı artırmaqla biznesin səmərəliliyini artıra bilərsiniz.

Big Data nə üçündür?

Big Data paradiqması üç əsas vəzifə növünü müəyyən edir.

• Adi əlaqəli verilənlər bazalarının səmərəli istifadə edə bilmədiyi yüzlərlə terabayt və ya petabayt məlumatların saxlanması və idarə edilməsi.
• Mətnlərdən, şəkillərdən, videolardan və digər növ məlumatlardan ibarət strukturlaşdırılmamış məlumatların təşkili.
• Strukturlaşdırılmamış məlumatlarla necə işləmək, analitik hesabatların yaradılması və proqnozlaşdırıcı modellərin həyata keçirilməsi sualını doğuran Big Data təhlili.

Big Data layihələri bazarı biznes intellekt (BA) bazarı ilə kəsişir, ekspertlərin fikrincə, dünyada həcmi 2012-ci ildə təxminən 100 milyard dollar təşkil edib. Buraya şəbəkə texnologiyalarının komponentləri, serverlər, proqram təminatı və texniki xidmətlər.

Həmçinin, Big Data texnologiyalarının istifadəsi şirkətlərin fəaliyyətini avtomatlaşdırmaq üçün nəzərdə tutulmuş gəlir təminatı (RA) sinif həlləri üçün aktualdır. Müasir sistemlər gəlir zəmanətlərinə uyğunsuzluqların aşkar edilməsi və məlumatların dərin təhlili alətləri daxildir, maliyyə nəticələrinin azalmasına səbəb ola biləcək mümkün itkiləri və ya məlumatın təhrifini vaxtında aşkar etməyə imkan verir. Bütün bunların fonunda Rusiya şirkətləri daxili bazarda Big Data texnologiyalarına tələbatı təsdiq edərək qeyd edirlər ki, Rusiyada Big Datanın inkişafına təkan verən amillər məlumatların artması, idarəetmə qərarlarının qəbulunun sürətləndirilməsi və onların təkmilləşdirilməsidir. keyfiyyət.

Big Data ilə işləməyə nə mane olur

Bu gün toplanmış rəqəmsal məlumatların yalnız 0,5%-i təhlil edilir, baxmayaraq ki, obyektiv olaraq sənaye miqyaslı vəzifələrin köməyi ilə həll edilə bilər. analitik həllər Böyük məlumat sinfi. İnkişaf etmiş İT bazarlarında artıq böyük məlumatların toplanması və emalı ilə bağlı gözləntiləri qiymətləndirmək üçün istifadə edilə bilən nəticələr var.

Big Data layihələrinin həyata keçirilməsini ləngidən əsas amillərdən biri yüksək qiymətlərlə yanaşı, odur emal olunacaq məlumatların seçilməsi problemi: yəni hansı məlumatların çıxarılması, saxlanması və təhlil edilməsi, hansının isə nəzərə alınmaması barədə təriflər.

Bir çox biznes nümayəndələri qeyd edirlər ki, Big Data layihələrinin həyata keçirilməsində çətinliklər mütəxəssislərin - marketoloqların və analitiklərin çatışmazlığı ilə bağlıdır. Big Data-ya investisiyanın gəlirlilik dərəcəsi birbaşa dərin və proqnozlaşdırıcı analitika ilə məşğul olan işçilərin işinin keyfiyyətindən asılıdır. Təşkilatda artıq mövcud olan böyük məlumat potensialı köhnəlmiş biznes prosesləri və ya daxili qaydalar səbəbindən tez-tez marketoloqlar tərəfindən effektiv şəkildə istifadə edilə bilmir. Buna görə də, Big Data layihələri çox vaxt bizneslər tərəfindən təkcə həyata keçirilməsində deyil, həm də nəticələrin qiymətləndirilməsində çətin kimi qəbul edilir: toplanmış məlumatların dəyəri. Məlumatlarla işləməyin xüsusiyyətləri marketoloqlardan və analitiklərdən diqqətlərini texnologiya və hesabatlardan konkret biznes problemlərinin həllinə yönəltməyi tələb edir.

Böyük həcmə görə və yüksək sürət məlumat axını, onların toplanması prosesi real vaxt rejimində ETL prosedurlarını əhatə edir. İstinad üçün:ETL -dənİngilis diliÇıxarış, çevirmək, yük- hərfi mənada "çıxarma, transformasiya, yükləmə") - idarəetmədə əsas proseslərdən biridir məlumat anbarları, o cümlədən: məlumatların çıxarılması xarici mənbələr, onların çevrilməsi və ehtiyaclarını ödəmək üçün təmizlik ETL yalnız məlumatların bir proqramdan digərinə ötürülməsi prosesi kimi deyil, həm də təhlil üçün məlumatların hazırlanması üçün bir vasitə kimi nəzərdən keçirilməlidir.

Və sonra xarici mənbələrdən gələn məlumatların təhlükəsizliyinin təmin edilməsi məsələlərində toplanan məlumatların həcminə uyğun həllər olmalıdır. Big Data təhlili metodları indiyə qədər yalnız məlumatların həcmi artdıqdan sonra inkişaf etdiyi üçün analitik platformaların məlumatların hazırlanması və toplanmasının yeni üsullarından istifadə etmək bacarığı mühüm rol oynayır. Bu, məsələn, potensial alıcılar və ya onlayn mağaza saytlarında klik tarixi olan kütləvi məlumat anbarı haqqında məlumatların müxtəlif problemlərin həlli üçün maraqlı ola biləcəyini göstərir.

Çətinliklər dayanmır

Big Data-nın tətbiqi ilə bağlı bütün çətinliklərə baxmayaraq, biznes bu sahəyə investisiyaları artırmaq niyyətindədir. Gartner məlumatlarına görə, 2013-cü ildə dünyanın ən böyük şirkətlərinin 64%-i öz biznesləri üçün Big Data texnologiyalarının tətbiqinə artıq sərmayə qoyub və ya investisiya etməyi planlaşdırır, halbuki 2012-ci ildə belə şirkətlərin 58%-i var idi. Gartner araşdırmasına görə, Big Dataya investisiya yatıran sənayelərin liderləri media şirkətləri, telekommunikasiya, bank sektoru və xidmət şirkətləridir. Big Data tətbiqinin uğurlu nəticələri RFID alətləri, logistika və yerdəyişmə sistemlərindən (İngilis dilindən. doldurulması- toplama, doldurma - R&T), həmçinin loyallıq proqramlarından. Uğurlu pərakəndə satış təcrübəsi digər bazar sektorlarını yenilərini tapmağa stimullaşdırır. təsirli yollar təhlilini biznesin inkişafı üçün işləyən mənbəyə çevirmək üçün böyük məlumatların monetizasiyası. Bunun sayəsində ekspertlərin fikrincə, 2020-ci ilə qədər olan dövrdə idarəetmə və saxlanmaya investisiyalar hər bir gigabayt məlumat üçün 2 dollardan 0,2 dollara qədər azalacaq, lakin Big Data-nın texnoloji xüsusiyyətlərinin öyrənilməsi və təhlili üçün cəmi 40 dollar artacaq. %.

Müxtəlif formalarda təqdim olunan xərclər investisiya layihələri Big Data sahəsində fərqli bir xarakter daşıyır. Xərc maddələri müəyyən qərarlar əsasında seçilən məhsul növlərindən asılıdır. İnvestisiya layihələrində xərclərin böyük hissəsi, ekspertlərin fikrincə, məlumatların toplanması, strukturlaşdırılması, təmizlənməsi və məlumatların idarə edilməsi ilə bağlı məhsulların payına düşür.

Necə edilir

Proqram təminatının bir çox kombinasiyası var və aparat yaratmağa imkan verir effektiv həllər Müxtəlif biznes fənləri üçün Big Data: sosial mediadan və mobil proqramlar, əvvəl intellektual analiz və kommersiya məlumatlarının vizuallaşdırılması. Big Data-nın mühüm üstünlüyü biznesdə geniş istifadə olunan verilənlər bazası ilə yeni vasitələrin uyğunluğudur ki, bu da çoxkanallı satışın təşkili və müştəri dəstəyi kimi intizamlar arası layihələrlə işləyərkən xüsusilə vacibdir.

Big Data ilə işləmə ardıcıllığı məlumatların toplanmasından, hesabatlar və idarə panellərindən istifadə edərək alınan məlumatların strukturlaşdırılmasından, anlayışlar və kontekstlərin yaradılmasından və fəaliyyət üçün tövsiyələrin formalaşdırılmasından ibarətdir. Big Data ilə işləmək, emalının nəticəsi əvvəlcədən məlum olmayan məlumatların toplanması üçün yüksək xərcləri nəzərdə tutduğundan, əsas vəzifə məlumatların nə qədər mövcud olduğunu deyil, nə üçün olduğunu aydın şəkildə başa düşməkdir. Bu halda məlumatların toplanması konkret problemlərin həlli üçün son dərəcə zəruri olan məlumatların əldə edilməsi prosesinə çevrilir.

Məsələn, telekommunikasiya provayderləri daim yenilənən geolokasiya da daxil olmaqla böyük həcmdə məlumatları birləşdirir. Bu məlumat reklam agentliklərinin kommersiya marağına səbəb ola bilər ki, onlar ondan ünvanlı və lokallaşdırılmış reklamlara xidmət etmək üçün istifadə edə bilərlər, həmçinin pərakəndə satıcılar və banklar üçün. Bu cür məlumatlar, güclü hədəflənmiş insan axınının mövcudluğuna dair məlumatlara əsaslanaraq, müəyyən bir yerdə pərakəndə satış məntəqəsinin açılıb-açılmaması barədə qərar verməkdə mühüm rol oynaya bilər. Londonda açıq reklam lövhələrində reklamın effektivliyinin ölçülməsi nümunəsi var. İndi bu cür reklamın əhatə dairəsini ancaq reklam strukturlarının yanında yoldan keçənləri sayan xüsusi qurğu ilə insanların yerləşdirilməsi ilə ölçmək olar. Reklamın effektivliyinin ölçülməsinin bu növü ilə müqayisədə, mobil operator daha çox imkanlar - o, abunəçilərinin yerini dəqiq bilir, onların demoqrafik xüsusiyyətlərini, cinsini, yaşını, ailə vəziyyətini və s.

Bu cür məlumatlara əsasən, gələcəkdə reklam lövhəsinin yanından keçən müəyyən bir şəxsin üstünlüklərindən istifadə edərək, reklam mesajının məzmununu dəyişdirmək üçün perspektiv açılır. Əgər məlumatlar oradan keçən şəxsin çox səyahət etdiyini göstərirsə, o zaman onlara kurortun reklamı göstərilə bilər. Futbol matçının təşkilatçıları yalnız matça gələndə azarkeşlərin sayını təxmin edə bilirlər. Amma operatordan soruşmaq imkanı olsaydı mobil rabitə Ziyarətçilərin matçdan bir saat, bir gün və ya bir ay əvvəl harada olduğu barədə məlumat, bu, təşkilatçılara növbəti matçları reklam etmək üçün yerləri planlaşdırmaq imkanı verəcəkdir.

Başqa bir misal, bankların fırıldaqçılığın qarşısını almaq üçün Big Datadan necə istifadə edə biləcəyidir. Müştəri kartın itirilməsi barədə məlumat verərsə və ondan istifadə etməklə alış-veriş edərkən bank real vaxt rejimində əməliyyatın aparıldığı alış-veriş zonasında müştərinin telefonunun yerini görürsə, bank müştərinin ərizəsindəki məlumatları yoxlaya bilər. , onu aldatmağa cəhd edib-etmədiyini. Və ya əksinə, müştəri mağazada alış-veriş edərkən, bank əməliyyatın aparıldığı kartla müştərinin telefonunun eyni yerdə olduğunu görsə, bank sahibinin kartdan istifadə etdiyi qənaətinə gələ bilər. Big Data-nın bu üstünlükləri sayəsində ənənəvi məlumat anbarlarının bəxş etdiyi sərhədlər genişlənir.

Big Data həllərini həyata keçirmək üçün uğurlu qərar üçün şirkət investisiya vəziyyətini hesablamalıdır və bu, bir çox naməlum komponentlər səbəbindən böyük çətinliklərə səbəb olur. Belə hallarda analitikanın paradoksu keçmişə əsaslanaraq gələcəyi proqnozlaşdırmaqdır, bu barədə məlumat tez-tez çatışmır. Bu vəziyyətdə vacib amil ilkin hərəkətlərinizin dəqiq planlaşdırılmasıdır:

• Birincisi, Big Data texnologiyalarının istifadə ediləcəyi konkret bir iş problemini müəyyən etmək lazımdır, bu vəzifə seçilmiş konsepsiyanın düzgünlüyünü müəyyənləşdirmək üçün əsas olacaqdır. Bu xüsusi tapşırıqla bağlı məlumatların toplanmasına diqqət yetirməlisiniz və konsepsiyanın sübutu zamanı gələcəkdə daha çox məlumatlı qərarlar qəbul etməyə imkan verəcək müxtəlif vasitələrdən, proseslərdən və idarəetmə üsullarından istifadə edə biləcəksiniz.
• İkincisi, məlumat analitikası sahəsində bacarıq və təcrübəyə malik olmayan bir şirkətin Big Data layihəsini uğurla həyata keçirə bilməsi ehtimalı azdır. Lazımi biliklər həmişə analitikada əvvəlki təcrübədən əldə edilir ki, bu da verilənlərlə işin keyfiyyətinə təsir edən əsas amildir. Məlumatdan istifadə mədəniyyəti mühüm rol oynayır, çünki tez-tez məlumatların təhlili açılır acı həqiqət biznes haqqında və bu həqiqəti qəbul etmək və onunla işləmək üçün məlumatlarla işləmək üçün işlənmiş metodlara ehtiyac var.
• Üçüncüsü, Big Data texnologiyalarının dəyəri anlayışların təmin edilməsindədir.Yaxşı analitiklər bazarda qıtlıqda qalır. Onlara verilənlərin kommersiya mənasını dərindən dərk edən və onları düzgün tətbiq etməyi bilən mütəxəssislər deyilir. Məlumatların təhlili biznes məqsədlərinə çatmaq üçün bir vasitədir və Big Data-nın dəyərini başa düşmək üçün sizə uyğun davranış modeli və hərəkətlərinizi başa düşmək lazımdır. Bu vəziyyətdə böyük məlumatlar çox şey verəcəkdir faydalı məlumat istehlakçılar haqqında, bunun əsasında faydalı biznes qərarları qəbul edə bilərsiniz.

Rusiyanın Big Data bazarının yenicə formalaşmağa başlamasına baxmayaraq, bu sahədə bəzi layihələr artıq kifayət qədər uğurla həyata keçirilir. Onların bəziləri məlumatların toplanması sahəsində, məsələn, Federal Vergi Xidməti və Tinkoff Kredit Sistemləri üçün layihələr, digərləri məlumatların təhlili və nəticələrinin praktiki tətbiqi baxımından uğurludur: bu, Synqera layihəsidir.

Tinkoff Credit Systems Bank, kütləvi paralel hesablamalar üçün alət olan EMC2 Greenplum platformasını həyata keçirmək üçün layihə həyata keçirdi. Son illərdə bank yığılan məlumatların emal sürətinə və real vaxt rejimində məlumatların təhlilinə olan tələbləri artırmışdır ki, bu da istifadəçilərin sayında yüksək artım templəridir. kredit kartları. Bank, xüsusilə strukturlaşdırılmamış məlumatların emalı və onlarla işləmək üçün Big Data texnologiyalarından istifadəni genişləndirmək planlarını açıqladı. korporativ məlumat müxtəlif mənbələrdən əldə edilir.

Rusiyanın Federal Vergi Xidməti hazırda federal məlumat anbarının analitik təbəqəsini yaradır. Bunun əsasında vahid informasiya məkanı və statistik məlumatlar üçün vergi məlumatlarına çıxış texnologiyası və analitik emal. Layihənin icrası zamanı Federal Vergi Xidmətinin yerli səviyyəli 1200-dən çox mənbəyi ilə analitik məlumatların mərkəzləşdirilməsi üzrə işlər aparılır.

Başqa maraqlı misal real vaxt rejimində böyük verilənlərin təhlili Simplate platformasını hazırlayan Rusiyanın Synqera startapıdır. Həll böyük məlumat massivlərinin emalına əsaslanır, proqram müştərilər, onların alış tarixi, yaşı, cinsi və hətta əhval-ruhiyyəsi haqqında məlumatları təhlil edir. Kosmetik mağazalar şəbəkəsindəki kassalarda quraşdırılmışdır toxunma ekranları müştərilərin emosiyalarını tanıyan sensorlarla. Proqram insanın əhval-ruhiyyəsini müəyyənləşdirir, onun haqqında məlumatları təhlil edir, günün vaxtını müəyyənləşdirir və mağazanın endirim məlumat bazasını skan edir, bundan sonra alıcıya promosyonlar və reklamlar haqqında ünvanlı mesajlar göndərir. xüsusi təkliflər. Bu həll müştəri loyallığını yaxşılaşdırır və pərakəndə satışları artırır.

Xarici uğurlu işlərdən danışırıqsa, bu baxımdan məhsulların satışı üçün real vaxt məlumatlarından istifadə edən Dunkin` Donuts-da Big Data texnologiyalarından istifadə təcrübəsi maraqlıdır. Mağazalardakı rəqəmsal displeylər günün vaxtından və məhsulun mövcudluğundan asılı olaraq hər dəqiqə dəyişən təklifləri göstərir. Nağd qəbzlərə görə, şirkət hansı təkliflərin alıcılardan ən çox cavab aldığı barədə məlumat alır. Məlumatların emalına bu yanaşma anbarda mənfəəti və mal dövriyyəsini artırmağa imkan verdi.

Big Data layihələrinin həyata keçirilməsi təcrübəsinin göstərdiyi kimi, bu sahə müasir biznes problemlərini uğurla həll etmək üçün nəzərdə tutulub. Eyni zamanda, böyük verilənlərlə işləyərkən biznes məqsədlərinə çatmaqda mühüm amil istehlakçı sorğularını müəyyən edən analitikanın, habelə innovativ texnologiyalar Big Data sahəsində.

Econsultancy və Adobe tərəfindən 2012-ci ildən bəri şirkətlərin marketoloqları arasında hər il keçirilən qlobal sorğuya əsasən, insanların internetdəki hərəkətlərini xarakterizə edən “böyük məlumat” çox şey edə bilər. Onlar oflayn biznes proseslərini optimallaşdıra, mobil cihaz sahiblərinin məlumat axtarmaq üçün onlardan necə istifadə etdiyini başa düşməyə kömək edə və ya sadəcə olaraq “marketinqi yaxşılaşdıra”, yəni. daha səmərəli. Üstəlik, diaqramımızdan göründüyü kimi, sonuncu funksiya ildən-ilə daha populyarlaşır.

Müştəri münasibətləri baxımından internet marketoloqların əsas iş sahələri

Mənbə: Econsultancy və Adobe, nəşr edilmişdiremarketer.com

Qeyd edək ki, respondentlərin milliyyəti böyük əhəmiyyət kəsb edir yoxdur. KPMG-nin 2013-cü ildə keçirdiyi sorğuya əsasən, “optimistlərin” nisbəti, yəni. Biznes strategiyasını hazırlayarkən Big Data istifadə edənlərin 56%-ni təşkil edir və regiondan regiona dəyişmələr kiçikdir: Şimali Amerika ölkələrində 63%-dən EMEA-da 50%-ə qədər.

Dünyanın müxtəlif bölgələrində Big Datanın istifadəsi

Mənbə: KPMG, nəşremarketer.com

Bu arada marketoloqların belə “dəb tendensiyalarına” münasibəti bir qədər məşhur lətifəni xatırladır:

Mənə deyin, Vano, pomidoru sevirsən?
- Yeməyi xoşlayıram, amma sevmirəm.

Marketoloqlar Big Data-nı “sevdiklərini” və hətta ondan istifadə etdiklərini söyləmələrinə baxmayaraq, sosial şəbəkələrdə öz ürək bağlılıqları haqqında yazarkən əslində “hər şey mürəkkəbdir”.

Circle Research tərəfindən 2014-cü ilin yanvarında Avropa marketoloqları arasında keçirilən sorğuya əsasən, respondentlərin 5-dən 4-ü Big Data-dan istifadə etmir (əlbəttə ki, onu “sevmələrinə” baxmayaraq). Səbəblər müxtəlifdir. Bir neçə incə skeptik var - 17% və onların antipodları ilə eyni sayda, yəni. inamla “Bəli” cavabını verənlər. Qalanları tərəddüd edir və şübhələnir, “bataqlıq”. Onlar “hələ yox, amma tezliklə” və ya “digərlərinin başlamasını gözləyəcəyik” kimi inandırıcı bəhanələrlə birbaşa cavabdan yayınırlar.

Marketoloqlar tərəfindən Big Datanın istifadəsi, Avropa, Yanvar 2014

Mənbə:dnx, nəşr -emarketer.com

Onları nə çaşdırır? Tamamilə cəfəngiyatdır. Bəziləri (onların tam yarısı) bu məlumatlara sadəcə inanmır. Digərləri (onlardan da kifayət qədər azdır - 55%) "məlumatlar" və "istifadəçilər" dəstlərini öz aralarında əlaqələndirməkdə çətinlik çəkirlər. Sadəcə kiminsə (gəlin siyasi cəhətdən düzgün desək) daxili korporativ qarışıqlığı var: məlumatlar marketinq şöbələri və İT strukturları arasında sahibsiz şəkildə gəzir. Digərləri üçün proqram iş axınının öhdəsindən gələ bilmir. Və s. Ümumi səhmlər 100%-dən xeyli yuxarı olduğundan, aydındır ki, “çoxlu maneələr” vəziyyəti qeyri-adi deyil.

Marketinqdə Big Datanın istifadəsinə mane olan maneələr

Mənbə:dnx, nəşr -emarketer.com

Beləliklə, qeyd etməliyik ki, bu günə qədər "Big Data" hələ istifadə edilməli olan böyük bir potensialdır. Yeri gəlmişkən, artıq qeyd etdiyimiz Econsultancy şirkətinin apardığı sorğu məlumatlarının sübut etdiyi kimi, Big Data-nın “dəb trendini” itirməsinin səbəbi də bu ola bilər.

2013-2014-cü illərdə rəqəmsal marketinqdə ən əhəmiyyətli tendensiyalar

Mənbə: Məsləhətçilik və Adobe

Onları başqa bir kral əvəz edir - məzmun marketinqi. Nə qədər?

Böyük verilənlərin prinsipcə yeni bir fenomen olduğunu söyləmək olmaz. Böyük məlumat mənbələri illərdir mövcuddur: müştəri alışları, kredit tarixçələri, həyat tərzləri haqqında məlumat bazaları. Və illərdir alimlər bu məlumatlardan şirkətlərə riskləri qiymətləndirmək və gələcək müştəri ehtiyaclarını proqnozlaşdırmaqda kömək etmək üçün istifadə ediblər. Ancaq bu gün vəziyyət iki aspektdə dəyişdi:

Müxtəlif verilənlər bazalarını təhlil etmək və birləşdirmək üçün daha mürəkkəb alətlər və üsullar meydana çıxdı;

Bu analitik alətlər faktiki olaraq hər bir məlumat toplama və ölçmə metodunun rəqəmsallaşdırılması ilə idarə olunan yeni məlumat mənbələrinin uçqunu ilə tamamlanır.

Mövcud məlumatların çeşidi strukturlaşdırılmış tədqiqat mühitində böyümüş tədqiqatçılar üçün həm ruhlandırıcı, həm də qorxuducudur. İstehlakçı əhval-ruhiyyəsi veb saytlar və hər cür sosial media tərəfindən tutulur. Reklamlara baxmaq faktı təkcə qeydə alınmır pristavkalar, həm də rəqəmsal etiketlərlə və mobil cihazlar televiziya ilə əlaqə.

Davranış məlumatları (zənglərin sayı, alış-veriş vərdişləri və alışlar kimi) indi real vaxt rejimində mövcuddur. Beləliklə, əvvəllər tədqiqat vasitəsilə öyrənilə bilənlərin çoxu indi böyük məlumat mənbələri vasitəsilə öyrənilə bilər. Və bütün bu informasiya aktivləri hər hansı bir tədqiqat prosesindən asılı olmayaraq daim yaradılır. Bu dəyişikliklər bizi böyük məlumatların klassik bazar araşdırmalarını əvəz edə biləcəyi ilə maraqlandırır.

Söhbət məlumatlarla bağlı deyil, sual və cavablardan gedir

Klassik tədqiqat üçün ölüm xəbərini sifariş etməzdən əvvəl özümüzə xatırlatmalıyıq ki, bu və ya digər məlumat aktivinin mövcudluğu deyil, həlledici olan başqa bir şeydir. Tam olaraq nə? Suallara cavab vermək qabiliyyətimiz budur. Böyük verilənlərin yeni dünyası ilə bağlı gülməli məqam ondan ibarətdir ki, yeni məlumat aktivlərinin nəticələri daha çox suallara yol açır və bu suallara ənənəvi araşdırmalar tərəfindən ən yaxşı cavab verilir. Beləliklə, böyük verilənlər artdıqca biz böyük verilənlər dünyasından suallara cavab verə bilən “kiçik verilənlər”ə tələbatın və mövcudluğun paralel artımını görürük.

Bir vəziyyəti nəzərdən keçirək: böyük bir reklamçı daima real vaxt rejimində mağazalardakı trafikə və satış həcminə nəzarət edir. Mövcud tədqiqat metodologiyaları (biz tədqiqat panellərinin iştirakçılarından onların alış motivasiyaları və satış nöqtəsində davranışları barədə soruşuruq) bizə konkret müştəri seqmentlərini daha yaxşı hədəfləməmizə kömək edir. Bu metodologiyalar, böyük verilənlərin passiv müşahidə alətinə çevrildiyi və tədqiq edilməli olan dəyişikliklərin və ya hadisələrin davamlı, dar məqsədli tədqiqi metoduna çevrildiyi nöqtəyə qədər daha geniş spektrli böyük məlumat aktivlərini daxil etmək üçün genişləndirilə bilər. Beləliklə, böyük verilənlər tədqiqatı lazımsız rutinlərdən azad edə bilər. İlkin tədqiqatlar artıq baş verənlərə diqqət yetirməməlidir (böyük məlumat olacaq). Bunun əvəzinə, ilkin tədqiqat niyə müəyyən tendensiyaları və ya meyllərdən kənarlaşmaları gördüyümüzü izah etməyə yönəldə bilər. Tədqiqatçı məlumat əldə etmək haqqında daha az düşünə və onu necə təhlil etmək və istifadə etmək barədə daha çox düşünə biləcək.

Eyni zamanda biz görürük ki, böyük verilənlər bizim ən böyük problemlərimizdən birini, həddindən artıq uzun araşdırmalar problemini həll edir. Tədqiqatların özlərini araşdırmaq göstərdi ki, həddindən artıq şişirdilmiş tədqiqat alətləri məlumatların keyfiyyətinə mənfi təsir göstərir. Bir çox ekspertlər uzun müddət bu problemi etiraf etsələr də, onlar daima belə bir ifadə ilə cavab verdilər: “Ancaq bu məlumat mənə yüksək səviyyəli rəhbərlik üçün lazımdır” və uzun müsahibələr davam etdi.

Kəmiyyət göstəricilərinin passiv müşahidə yolu ilə əldə olunduğu böyük verilənlər dünyasında bu məsələ gündəmə gəlir. Yenə də, gəlin bütün bu istehlak araşdırmalarına nəzər salaq. Əgər böyük data bizə passiv müşahidə vasitəsilə istehlak haqqında fikirlər verirsə, o zaman sorğular şəklində ilkin tədqiqatın artıq bu cür məlumat toplamasına ehtiyacı yoxdur və biz nəhayət, qısa sorğular haqqında təsəvvürümüzü yalnız xoş arzularla deyil, həm də real bir şey.

Big Data-nın köməyinizə ehtiyacı var

Nəhayət, "böyük" böyük verilənlərin xüsusiyyətlərindən yalnız biridir. Xarakterik "böyük" məlumatların ölçüsünə və miqyasına aiddir. Əlbəttə ki, bu, əsas xüsusiyyətdir, çünki bu məlumatların həcmi əvvəllər işlədiyimiz hər şeyin əhatə dairəsindən kənardadır. Lakin bu yeni məlumat axınlarının digər xüsusiyyətləri də vacibdir: onlar çox vaxt pis formatlaşdırılmış, strukturlaşdırılmamış (və ya ən yaxşı halda qismən strukturlaşdırılmış) və qeyri-müəyyənliklə doludur. Uyğun olaraq "müəssisə analitikası" adlandırılan məlumatların idarə edilməsinin yeni sahəsi böyük verilənlərdə səs-küyün aradan qaldırılması problemini həll etmək məqsədi daşıyır. Onun vəzifəsi bu məlumat dəstlərini təhlil etmək və eyni şəxs üçün neçə müşahidənin olduğunu, hansı müşahidələrin cari olduğunu və onlardan hansının istifadəyə yararlı olduğunu öyrənməkdir.

Bu cür məlumatların təmizlənməsi böyük və ya kiçik məlumat aktivləri ilə işləyərkən səs-küyü və ya səhv məlumatları aradan qaldırmaq üçün lazımdır, lakin bu kifayət deyil. Biz həmçinin əvvəlki təcrübəmizə, analitikamıza və kateqoriya biliklərimizə əsaslanaraq böyük data aktivləri ətrafında kontekst yaratmalıyıq. Əslində, bir çox analitiklər böyük verilənlərə xas olan qeyri-müəyyənliyi idarə etmək qabiliyyətini rəqabət üstünlüyü mənbəyi kimi qeyd edirlər, çünki bu, daha yaxşı qərar qəbul etməyə imkan verir.

Və burada ilkin tədqiqat təkcə böyük verilənlər sayəsində gündəlik işlərdən azad edilmir, həm də böyük verilənlər daxilində məzmunun yaradılması və təhlilinə töhfə verir.

Bunun ən bariz nümunəsi yeni brend kapital çərçivəmizin sosial mediaya tətbiqidir. (da inkişaf etdiriləndən danışırıqMillvard Qəhvəyibrend dəyərinin ölçülməsinə yeni yanaşmaThe Mənalı olaraq Fərqli Çərçivə- "Əhəmiyyətli fərqlər paradiqması" -R & T ). Bu model xüsusi bazarlar daxilində davranış testindən keçir, standart əsasda həyata keçirilir və asanlıqla digər marketinq fənlərinə və qərarların qəbuluna dəstək informasiya sistemlərinə tətbiq oluna bilər. Başqa sözlə, (yalnız olmasa da) sorğu araşdırmasına əsaslanan brend kapitalı modelimiz böyük məlumatların strukturlaşdırılmamış, uyğunsuz və qeyri-müəyyən təbiətini aradan qaldırmaq üçün lazım olan bütün xüsusiyyətlərə malikdir.

Sosial media tərəfindən təqdim olunan istehlakçı əhval-ruhiyyəsi məlumatlarını nəzərdən keçirin. İstehlakçı əhval-ruhiyyəsindəki zirvələr və vadilər öz xam formasında çox vaxt brend kapitalının və davranışının oflayn ölçüləri ilə minimal şəkildə korrelyasiya olunur: məlumatlarda sadəcə olaraq həddən artıq səs-küy var. Lakin biz istehlakçı mənası, marka fərqi, dinamika və şəxsiyyət modellərimizi bu ölçülər üzrə sosial media məlumatlarını emal etmək və toplamaq üsulu olan xam istehlakçı əhval-ruhiyyə məlumatlarına tətbiq etməklə bu səs-küyü azalda bilərik.

Məlumatlar çərçivə modelimizə uyğun təşkil edildikdən sonra, müəyyən edilmiş tendensiyalar adətən oflayn rejimdə əldə edilən brend kapitalı və davranış ölçülərinə uyğun gəlir. Əslində sosial media məlumatları öz sözünü deyə bilməz. Onları bu məqsədlə istifadə etmək bizim təcrübəmiz və brendlər ətrafında qurulmuş modellərimiz tələb edir. Sosial media bizə istehlakçıların brendləri təsvir etmək üçün istifadə etdikləri dildə ifadə edilən unikal məlumat verdikdə, biz ilkin araşdırmanı daha effektiv etmək üçün tədqiqatımızı yaratarkən həmin dildən istifadə etməliyik.

Azad Təhsilin Faydaları

Bu, bizi böyük məlumatların tədqiqatı əvəz etmədiyinə, onu azad etdiyinə qaytarır. Tədqiqatçılar hər yeni hal üçün yeni bir araşdırma yaratmaq məcburiyyətindən azad olacaqlar. Böyük verilənlərin daim böyüyən aktivləri müxtəlif tədqiqat mövzuları üçün istifadə oluna bilər ki, bu da sonrakı ilkin tədqiqatların mövzunu daha dərindən araşdırmasına və boşluqları doldurmasına imkan verir. Tədqiqatçılar həddən artıq şişirdilmiş sorğulara etibar etmək məcburiyyətindən azad olacaqlar. Bunun əvəzinə onlar qısa sorğulardan istifadə edə və məlumatların keyfiyyətini yaxşılaşdıran ən vacib parametrlərə diqqət yetirə biləcəklər.

Bu buraxılışla tədqiqatçılar böyük məlumat aktivlərinə dəqiqlik və məna əlavə etmək üçün öz müəyyən edilmiş prinsip və anlayışlarından istifadə edə biləcəklər ki, bu da sorğu tədqiqatları üçün yeni sahələrə səbəb olacaq. Bu dövr bir sıra strateji məsələlərin daha dərindən başa düşülməsinə və nəticədə bizim əsas məqsədimizə - brend və kommunikasiya qərarlarının məlumatlandırılması və keyfiyyətinin yaxşılaşdırılmasına doğru irəliləməyə səbəb olmalıdır.

Adətən, ciddi analitik emal haqqında danışarkən, xüsusən də Data Mining terminindən istifadə etsələr, böyük miqdarda məlumatın olduğunu bildirirlər. Ümumiyyətlə, bu belə deyil, çünki çox vaxt kiçik məlumat dəstlərini emal etməlisiniz və onlarda nümunələri tapmaq yüz milyonlarla qeyddən asan deyil. Baxmayaraq ki, böyük verilənlər bazalarında nümunələrin axtarışı zərurəti onsuz da qeyri-trivial olan təhlil vəzifəsini çətinləşdirir.

Bu vəziyyət xüsusilə əlaqəli müəssisələr üçün xarakterikdir pərakəndə, telekommunikasiya, banklar, internet. Onların verilənlər bazaları əməliyyatlarla bağlı çoxlu məlumat toplayır: çeklər, ödənişlər, zənglər, qeydlər və s.

İstənilən hal və istənilən məlumat miqdarına uyğun universal analiz metodları və ya alqoritmləri yoxdur. Məlumatların təhlili üsulları performans, nəticələrin keyfiyyəti, istifadənin asanlığı və məlumat tələbləri baxımından bir-birindən əhəmiyyətli dərəcədə fərqlənir. Optimallaşdırma müxtəlif səviyyələrdə həyata keçirilə bilər: avadanlıq, verilənlər bazası, analitik platforma, ilkin məlumatların hazırlanması, ixtisaslaşdırılmış alqoritmlər. Böyük miqdarda məlumatların təhlili xüsusi yanaşma tələb edir, çünki yalnız istifadə edərək onları emal etmək texniki cəhətdən çətindir " Gücün tətbiqi", yəni daha güclü avadanlıqdan istifadə.

Əlbəttə ki, daha məhsuldar avadanlıq sayəsində məlumatların işlənməsi sürətini artıra bilərsiniz, xüsusən də müasir serverlər və iş stansiyaları çox nüvəli prosessorlardan istifadə edir, ram böyük və güclü disk massivləri. Bununla belə, miqyaslılığı artırmağa imkan verən və tələb etməyən böyük həcmli məlumatların işlənməsi üçün bir çox başqa yollar var sonsuz yeniləmə avadanlıq.

DBMS xüsusiyyətləri

Müasir verilənlər bazalarına istifadəsi analitik emal sürətini əhəmiyyətli dərəcədə artıracaq müxtəlif mexanizmlər daxildir:

• Məlumatların ilkin hesablanması. Təhlil üçün ən çox istifadə olunan məlumat əvvəlcədən hesablana bilər (məsələn, gecə) və çoxölçülü kublar, materiallaşdırılmış görünüşlər, xüsusi cədvəllər şəklində verilənlər bazası serverində emal üçün hazırlanmış formada saxlanıla bilər.
• RAM-da cədvəlin keşləşdirilməsi. Az yer tutan, lakin təhlil zamanı tez-tez əldə edilən məlumatlar, məsələn, qovluqlar verilənlər bazası alətlərindən istifadə etməklə RAM-a yaddaşda saxlanıla bilər. Beləliklə, daha yavaş disk alt sisteminə zənglər dəfələrlə azalır.
• Cədvəlləri arakəsmələrə və masa boşluqlarına bölmək. Məlumatları, indeksləri, köməkçi cədvəlləri ayrı disklərdə yerləşdirə bilərsiniz. Bu, DBMS-ə məlumatları paralel olaraq disklərə oxumağa və yazmağa imkan verəcəkdir. Bundan əlavə, cədvəlləri bölmələrə (bölmələrə) elə bölmək olar ki, verilənlərə giriş zamanı disk əməliyyatlarının minimum sayı olsun. Məsələn, biz ən çox son bir aydakı məlumatları təhlil etsək, məntiqi olaraq tarixi məlumatlarla bir cədvəldən istifadə edə bilərik, lakin fiziki olaraq bir neçə hissəyə bölmək olar ki, aylıq məlumatlara daxil olan zaman kiçik bir bölmə oxunsun və heç bir giriş olmasın. bütün tarixi məlumatlara.

Bu, müasir DBMS-nin təqdim etdiyi imkanların yalnız bir hissəsidir. Verilənlər bazasından məlumatların çıxarılması sürətini bir çox başqa yolla artıra bilərsiniz: rasional indeksləşdirmə, sorğu planlarının qurulması, SQL sorğularının paralel işlənməsi, klasterlərdən istifadə, verilənlər bazası server tərəfində saxlanılan prosedurlar və tetikleyicilərdən istifadə edərək təhlil edilmiş məlumatların hazırlanması və s. Üstəlik, bu mexanizmlərin çoxu yalnız "ağır" DBMS-dən deyil, həm də istifadə edilə bilər pulsuz əsaslar data.

Modellərin birləşməsi

Sürətin yaxşılaşdırılması imkanları verilənlər bazasının optimallaşdırılması ilə məhdudlaşmır, müxtəlif modelləri birləşdirməklə çox şey etmək olar. Məlumdur ki, emal sürəti istifadə olunan riyazi aparatın mürəkkəbliyi ilə əhəmiyyətli dərəcədə bağlıdır. Nə qədər sadə analiz mexanizmlərindən istifadə edilərsə, verilənlər bir o qədər tez təhlil edilir.

Məlumatların işlənməsi ssenarisini elə qurmaq mümkündür ki, verilənlər modellərin süzgəcindən “sürülsün”. Burada sadə bir fikir tətbiq olunur: təhlil edə bilmədiklərinizi emal etməyə vaxt itirməyin.

Əvvəlcə ən sadə alqoritmlərdən istifadə olunur. Bu cür alqoritmlərdən istifadə etməklə emal edilə bilən və daha çox istifadə edərək emal etmək mənasız olan verilənlərin bir hissəsi kompleks üsullar, təhlil edilir və sonrakı emaldan xaric edilir. Qalan məlumatlar emalın növbəti mərhələsinə ötürülür, burada daha mürəkkəb alqoritmlərdən istifadə olunur və s. Emal ssenarisinin son qovşağında ən mürəkkəb alqoritmlər istifadə olunur, lakin təhlil edilən məlumatların miqdarı ilkin nümunədən dəfələrlə azdır. Nəticədə, bütün məlumatları emal etmək üçün tələb olunan ümumi vaxt böyüklük əmrləri ilə azalır.

gətirək praktik nümunə bu yanaşmadan istifadə edir. Tələbin proqnozlaşdırılması problemini həll edərkən əvvəlcə müxtəlif mallara tələbin nə qədər sabit olduğunu müəyyən etməyə imkan verən XYZ təhlilinin aparılması tövsiyə olunur. X qrupunun məhsulları kifayət qədər sabit satılır, buna görə də onlar üçün proqnozlaşdırma alqoritmlərinin istifadəsi yüksək keyfiyyətli proqnoz əldə etməyə imkan verir. Y qrupu məhsulları daha az sabit satılır, bəlkə də onlar üçün hər bir məqalə üçün deyil, qrup üçün modellər qurmağa dəyər, bu, zaman sıralarını hamarlaşdırmağa və proqnozlaşdırma alqoritminin işləməsini təmin etməyə imkan verir. Qrup Z məhsulları təsadüfi satılır, buna görə də onlar üçün ümumiyyətlə proqnozlaşdırıcı modellər qurmamalısınız, onlara olan ehtiyac sadə düsturlar, məsələn, orta aylıq satışlar əsasında hesablanmalıdır.

Statistikaya görə, çeşidin təxminən 70%-i Z qrupunun mallarından ibarətdir. Digər 25%-i Y qrupunun mallarıdır, yalnız 5%-ə yaxını X qrupunun mallarıdır. Beləliklə, kompleks modellərin qurulması və tətbiqi bir şirkət üçün aktualdır. malların maksimum 30%-i. Odur ki, yuxarıda təsvir olunan yanaşmanın tətbiqi təhlil və proqnozlaşdırma vaxtını 5-10 dəfə azaldacaq.

Paralel emal

Böyük həcmli məlumatların emalı üçün digər effektiv strategiya, verilənlərin seqmentlərə bölünməsi və nəticələrin daha da birləşdirilməsi ilə hər bir seqment üçün ayrıca modellərin qurulmasıdır. Çox vaxt böyük həcmli məlumatlarda bir neçə fərqli alt çoxluq bir-birindən fərqləndirilə bilər. Bunlar, məsələn, müştəri qrupları, oxşar şəkildə davranan və bir model qurmaq məqsədəuyğun olan mallar ola bilər.

Bu halda, hamı üçün bir mürəkkəb model qurmaq əvəzinə, hər seqment üçün bir neçə sadə model qura bilərsiniz. Bu yanaşma təhlil sürətini yaxşılaşdırır və bir keçiddə daha az miqdarda məlumatı emal etməklə yaddaş tələblərini azaldır. Bundan əlavə, bu halda analitik emal paralelləşdirilə bilər ki, bu da sərf olunan vaxta müsbət təsir göstərir. Bundan əlavə, hər bir seqment üçün modellər müxtəlif analitiklər tərəfindən tikilə bilər.

Sürəti artırmaqla yanaşı, bu yanaşmanın daha bir mühüm üstünlüyü var - bir neçə nisbətən sadə modeli fərdi olaraq yaratmaq və saxlamaq bir böyük modeldən daha asandır. Modelləri mərhələlərlə işlədə bilərsiniz, beləliklə, mümkün olan ən qısa müddətdə ilk nəticələri əldə edə bilərsiniz.

Nümayəndə nümunələri

Böyük həcmli məlumatların olması halında, model qurmaq üçün bütün məlumatlardan deyil, bəzi alt çoxluqlardan - reprezentativ nümunədən istifadə etmək mümkündür. Düzgün hazırlanmış nümayəndə nümunəsi keyfiyyətli model yaratmaq üçün lazım olan məlumatları ehtiva edir.

Analitik emal prosesi 2 hissəyə bölünür: modelin qurulması və qurulmuş modelin yeni verilənlərə tətbiqi. Mürəkkəb modelin qurulması resurs tələb edən bir prosesdir. İstifadə olunan alqoritmdən asılı olaraq verilənlər keşlənir, minlərlə dəfə skan edilir, bir çox köməkçi parametrlər hesablanır və s. Artıq qurulmuş modelin yeni məlumatlara tətbiqi onlarla və yüzlərlə dəfə az resurs tələb edir. Çox vaxt bir neçə sadə funksiyanın hesablanmasına gəlir.

Beləliklə, əgər model nisbətən kiçik dəstlər üzərində qurularsa və sonradan bütün verilənlər toplusuna tətbiq edilərsə, onda nəticə əldə etmək vaxtı bütün mövcud məlumat dəstini tamamilə yenidən işləmək cəhdi ilə müqayisədə böyüklük əmrləri ilə azalacaq.

Nümunəvi nümunələri əldə etmək üçün xüsusi üsullar var, məsələn, nümunə götürmə. Onların istifadəsi analizin keyfiyyətini itirmədən analitik emal sürətini artırmağa imkan verir.

Xülasə

Təsvir edilən yanaşmalar böyük miqdarda məlumatı təhlil etməyə imkan verən metodların yalnız kiçik bir hissəsidir. Başqa yollar da var, məsələn, miqyaslana bilən xüsusi alqoritmlərdən, iyerarxik modellərdən istifadə, pəncərədən öyrənmə və s.

Təhlil nəhəng əsaslar məlumatlar qeyri-trivial bir işdir, əksər hallarda "baş-üstə" həll edilə bilməz, lakin müasir verilənlər bazaları və analitik platformalar bu problemin həlli üçün bir çox üsul təklif edir. Ağıllı istifadə edildikdə, sistemlər terabaytlarla məlumatı məqbul sürətlə emal edə bilir.

SƏTƏM müəllimlərinin miflər və böyük verilənlərlə işləmə halları haqqında sütunu

Əlfəcinlərə

HSE School of New Media müəllimləri Konstantin Romanov və eyni zamanda Beeline-da rəqəmsal transformasiya direktoru olan Aleksandr Pyatiqorski sayt üçün böyük verilənlərlə bağlı əsas yanlış təsəvvürlər - texnologiyadan istifadə və alətlər nümunələri haqqında köşə yazıblar. Müəlliflər təklif edirlər ki, nəşr şirkət rəhbərlərinə bu konsepsiyanı anlamağa kömək edəcək.

Big Data haqqında miflər və yanlış təsəvvürlər

Big Data marketinq deyil

Big Data termini çox dəb halını alıb – o, milyonlarla situasiyada və yüzlərlə müxtəlif şərhlərdə istifadə olunur, çox vaxt onun nə olduğu ilə əlaqəli deyil. Çox vaxt insanların şüurunda anlayışların əvəzlənməsi olur və Big Data marketinq məhsulu ilə qarışdırılır. Üstəlik, bəzi şirkətlərdə Big Data marketinq bölməsinin bir hissəsidir. Böyük məlumatların təhlilinin nəticəsi həqiqətən marketinq fəaliyyəti üçün mənbə ola bilər, lakin bundan başqa heç nə yoxdur. Gəlin görək necə işləyir.

İki ay əvvəl mağazamızda üç min rubldan çox dəyərində mal alanların siyahısını müəyyən etdiksə və sonra bu istifadəçilərə bir növ təklif göndərdiksə, bu, tipik marketinqdir. Biz struktur məlumatlardan aydın nümunə əldə edirik və ondan satışları artırmaq üçün istifadə edirik.

Bununla belə, CRM məlumatlarını, məsələn, Instagram-dan axın məlumatları ilə birləşdirsək və təhlil etsək, bir nümunə tapırıq: çərşənbə axşamı fəaliyyətini azaldan və son fotoşəkilində pişik balaları olan bir şəxs müəyyən bir təklif verməlidir. Artıq Big Data olacaq. Biz bir tətik tapdıq, marketoloqlara verdik və onlar bundan öz məqsədləri üçün istifadə etdilər.

Buradan belə nəticə çıxır ki, texnologiya adətən strukturlaşdırılmamış verilənlərlə işləyir və əgər verilənlər strukturlaşdırılıbsa, sistem yenə də onlarda gizli nümunələr axtarmağa davam edir, bunu marketinq etmir.

Big Data İT deyil

Bu hekayənin ikinci həddi: Big Data çox vaxt İT ilə qarışdırılır. Bu onunla əlaqədardır ki, in rus şirkətləri Bir qayda olaraq, bütün texnologiyaların, o cümlədən böyük verilənlərin sürücüsü olan İT mütəxəssisləridir. Buna görə də, hər şey bu şöbədə baş verirsə, bütövlükdə şirkət üçün bu, bir növ İT fəaliyyətidir.

Əslində burada prinsipial fərq var: Big Data müəyyən məhsulun əldə edilməsinə yönəlmiş fəaliyyətdir, İT-yə ümumiyyətlə aid edilmir, baxmayaraq ki, texnologiya onlarsız mövcud ola bilməz.

Big Data həmişə məlumatların toplanması və təhlili deyil

Big Data haqqında başqa bir yanlış fikir var. Hər kəs bu texnologiyanın böyük həcmli məlumatlarla əlaqəli olduğunu başa düşür, lakin hansı məlumatların nəzərdə tutulduğu həmişə aydın deyil. Hər kəs məlumat toplaya və istifadə edə bilər, indi bu, yalnız haqqında filmlərdə deyil, həm də istənilən, hətta çox kiçik bir şirkətdə mümkündür. Yeganə sual, tam olaraq nə toplamaq və onu öz xeyrinizə necə istifadə etməkdir.

Amma bunu başa düşmək lazımdır Böyük texnologiya Məlumat tamamilə hər hansı bir məlumatın toplanması və təhlili olmayacaq. Məsələn, sosial şəbəkələrdə konkret bir şəxs haqqında məlumat toplasanız, bu Big Data olmayacaq.

Həqiqətən Big Data nədir

Big Data üç elementdən ibarətdir:

• məlumat;
• analitika;
• texnologiyalar.

Big Data bu komponentlərdən yalnız biri deyil, hər üç elementin birləşməsidir. Çox vaxt insanlar anlayışları əvəz edirlər: kimsə Big Datanın yalnız məlumat olduğunu düşünür, kimsə bunun texnologiya olduğunu düşünür. Amma əslində nə qədər məlumat toplasanız da, onsuz heç nə edə bilməzsiniz zəruri texnologiyalar və analitika. Yaxşı analitika varsa, amma məlumat yoxdursa, daha pisdir.

Məlumatlardan danışırıqsa, bu, təkcə mətnlər deyil, həm də İnstaqramda yerləşdirilən bütün fotoşəkillər və ümumiyyətlə təhlil edilə bilən və müxtəlif məqsədlər və vəzifələr üçün istifadə edilə bilən hər şeydir. Başqa sözlə, Data müxtəlif strukturların böyük həcmdə daxili və xarici məlumatlarına aiddir.

Analitika da lazımdır, çünki Big Data-nın vəzifəsi bəzi nümunələr yaratmaqdır. Yəni, analitika gizli asılılıqların müəyyən edilməsi və heterojen məlumatların bütün həcminin təhlili əsasında yeni sual və cavabların axtarışıdır. Üstəlik, Big Data birbaşa bu məlumatlardan əldə edilməyən suallar doğurur.

Şəkillərə gəlincə, mavi köynəkdə çəkdirdiyiniz şəklinizi yerləşdirməyiniz heç nə demir. Ancaq Big Data modelləşdirməsi üçün bir fotoşəkildən istifadə etsəniz, o zaman məlum ola bilər ki, hazırda kredit təklif etməlisiniz, çünki sosial qrupunuzda bu davranış hərəkətlərdə müəyyən bir fenomeni göstərir. Buna görə də, analitik olmadan, gizli və aşkar olmayan asılılıqları aşkar etmədən “çılpaq” məlumatlar Böyük Məlumat deyil.

Beləliklə, böyük məlumatımız var. Onların massivi böyükdür. Bizim də analitikimiz var. Bəs bu xam məlumatdan konkret bir həllin yaranmasına necə əmin ola bilərik? Bunun üçün bizə nəinki onları saxlamağa (və əvvəllər bu mümkün deyildi), həm də onları təhlil etməyə imkan verən texnologiyalar lazımdır.

Sadə dillə desək, çoxlu məlumatınız varsa, sizə Hadoop kimi texnologiyalar lazım olacaq ki, bu da bütün məlumatları sonrakı təhlil üçün orijinal formada saxlamağa imkan verir. Bu cür texnologiyalar İnternet nəhənglərində yarandı, çünki onlar böyük miqdarda məlumatların saxlanması və sonradan pul qazanması üçün təhlili problemi ilə qarşılaşan ilk insanlar idi.

Optimallaşdırılmış və ucuz məlumatların saxlanması üçün alətlərə əlavə olaraq, analitik alətlər, həmçinin istifadə olunan platformaya əlavələr lazımdır. Məsələn, Hadoop ətrafında artıq əlaqəli layihələr və texnologiyaların bütün ekosistemi formalaşıb. Onlardan bəzilərini təqdim edirik:

• Pig deklarativ məlumatların təhlili dilidir.
• Hive - SQL-ə yaxın bir dildən istifadə edərək məlumatların təhlili.
• Oozie Hadoop-da iş axınıdır.
• Hbase - verilənlər bazası (əlaqəli olmayan), Google Böyük Cədvəlin analoqu.
• Mahout - maşın öyrənməsi.
• Sqoop - RSDDB-dən Hadoop-a və əksinə məlumat ötürülməsi.
• Flume - logların HDFS-ə ötürülməsi.
• Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS və s.

Bütün bu alətlər hər kəs üçün pulsuzdur, lakin bir sıra pullu əlavələr də var.

Bundan əlavə, mütəxəssislərə ehtiyac var: bu bir tərtibatçı və analitikdir (məlumat alimi). Sizə həm də bu analitikanın konkret tapşırıq üçün necə tətbiq olunacağını başa düşə bilən menecer lazımdır, çünki o, biznes proseslərində qurulmayıbsa, bu, özlüyündə tamamilə mənasızdır.

Hər üç işçi komanda şəklində işləməlidir. Data Scientist-ə müəyyən bir nümunə tapmaq tapşırığı verən menecer başa düşməlidir ki, ona lazım olanı dəqiq tapmaq həmişə mümkün deyil. Bu halda menecer Data Scientist-in tapdıqlarına diqqətlə qulaq asmalıdır, çünki çox vaxt onun tapıntıları biznes üçün daha maraqlı və faydalı olur. Sizin vəzifəniz onu biznesə tətbiq etmək və ondan məhsul hazırlamaqdır.

İndi bir çox müxtəlif növ maşın və texnologiyaların olmasına baxmayaraq, son qərar həmişə insanın özündə qalır. Bunun üçün məlumatı bir şəkildə vizuallaşdırmaq lazımdır. Bunun üçün kifayət qədər alətlər var.

Ən bariz nümunə geoanalitik hesabatlardır. Beeline şirkəti müxtəlif şəhər və rayonların hökumətləri ilə çox işləyir. Çox vaxt bu təşkilatlar "Müəyyən bir yerdəki trafik yükü" kimi hesabatlar sifariş edirlər.

Aydındır ki, belə bir hesabat dövlət qurumlarına sadə və başa düşülən formada çatmalıdır. Əgər onlara nəhəng və tamamilə anlaşılmaz bir cədvəl təqdim etsək (yəni onu aldığımız formada məlumat), çətin ki, belə bir hesabat alsınlar - bu, tamamilə faydasız olacaq, ondan bilik əldə etməyəcəklər. almaq istədikləri.

Buna görə də, məlumat alimləri nə qədər yaxşı olsalar da və hansı nümunələri tapsalar da, keyfiyyətli vizuallaşdırma vasitələri olmadan bu məlumatlarla işləyə bilməyəcəksiniz.

Məlumat mənbələri

Alınan məlumatların massivi çox böyükdür, ona görə də onu bəzi qruplara bölmək olar.

Şirkətin daxili məlumatları

Toplanmış məlumatların 80%-i bu qrupa aid olsa da, bu mənbədən həmişə istifadə olunmur. Çox vaxt bu, heç kimə lazım olmayan məlumatlardır, məsələn, loglar. Amma onlara başqa bucaqdan baxsanız, bəzən onlarda gözlənilməz naxışlar tapa bilərsiniz.

Shareware mənbələri

Bura data daxildir sosial şəbəkələr, İnternet və pulsuz daxil ola biləcəyiniz hər şey. Niyə shareware? Bir tərəfdən, bu məlumatlar hər kəs üçün əlçatandır, lakin siz böyük bir şirkətsinizsə, onda on minlərlə, yüzlərlə və ya milyonlarla müştəridən ibarət abunəçi bazası ölçüsündə əldə etmək artıq asan məsələ deyil. Buna görə də bazar var pullu xidmətlər bu məlumatları təmin etmək.

Ödənişli mənbələr

Bura pul müqabilində məlumat satan şirkətlər daxildir. Bunlar telekommunikasiya, DMP, İnternet şirkətləri, kredit büroları və aqreqatorlar ola bilər. Rusiyada telekommunikasiyalar məlumat satmır. Birincisi, iqtisadi cəhətdən sərfəli deyil, ikincisi, qanunla qadağandır. Buna görə də, onlar emal nəticələrini, məsələn, geoanalitik hesabatları satırlar.

açıq məlumatlar

Dövlət biznesin ehtiyaclarını ödəyir və onların topladığı məlumatlardan istifadə etməyə imkan yaradır. Bu, daha çox Qərbdə inkişaf edib, lakin Rusiya da bu baxımdan zamanla ayaqlaşır. Məsələn, şəhər infrastrukturunun müxtəlif obyektləri haqqında məlumatları dərc edən Moskva Hökumətinin Açıq Məlumat Portalı var.

Moskva sakinləri və qonaqları üçün məlumatlar cədvəl və kartoqrafik formada, tərtibatçılar üçün isə xüsusi maşın oxuna bilən formatlarda təqdim olunur. Layihə məhdud rejimdə işləyir, lakin inkişaf edir, yəni o, həm də biznes tapşırıqlarınız üçün istifadə edə biləcəyiniz məlumat mənbəyidir.

Araşdırma

Artıq qeyd edildiyi kimi, Big Data-nın vəzifəsi nümunə tapmaqdır. Çox vaxt dünyada aparılan tədqiqatlar müəyyən bir nümunə tapmaq üçün istinad nöqtəsinə çevrilə bilər - müəyyən bir nəticə əldə edə və hədəflərinizə oxşar məntiq tətbiq etməyə çalışa bilərsiniz.

Big Data riyaziyyatın bütün qanunlarının işləmədiyi bir sahədir. Məsələn, "1" + "1" "2" deyil, daha çox şeydir, çünki məlumat mənbələrini qarışdırarkən təsir çox gücləndirilə bilər.

Məhsul nümunələri

Bir çox insan Spotify musiqi seçimi xidməti ilə tanışdır. Bunun gözəlliyi ondan ibarətdir ki, o, istifadəçilərdən bugünkü əhval-ruhiyyələrini soruşmur, əksinə, mövcud mənbələrə əsasən hesablayır. O, həmişə nəyə ehtiyacın olduğunu bilir - caz və ya hard rock. Onu azarkeşlərlə təmin edən və onu digər xidmətlərdən fərqləndirən əsas fərq budur.

Bu cür məhsullar adətən hissi məhsullar adlanır - müştərilərini hiss edənlər.

Big Data texnologiyası avtomobil sənayesində də istifadə olunur. Məsələn, Tesla bunu edir - özlərində ən sonuncu model avtopilot var. Şirkət sərnişini getməli olduğu yerə aparacaq avtomobil yaratmağa çalışır. Big Data olmadan bu mümkün deyil, çünki bir insan kimi yalnız birbaşa aldığımız məlumatları istifadə etsək, o zaman avtomobil təkmilləşə bilməyəcək.

Özümüz maşın sürərkən, fərqinə varmadığımız bir çox amillərə əsaslanaraq qərarlar vermək üçün neyronlarımızdan istifadə edirik. Məsələn, niyə dərhal yaşıl işığı yandırmamaq qərarına gəldiyimizi başa düşməyə bilərik, sonra qərarın düzgün olduğu ortaya çıxır - avtomobil sizi həddindən artıq sürətlə süpürdü və siz qəzadan yayındınız.

İdmanda Big Data-nın istifadəsinə misal da verə bilərsiniz. 2002-ci ildə Oakland Athletics beysbol komandasının baş meneceri Billy Bean, idmançıları necə axtarmaq paradiqmasını pozmağa qərar verdi - o, oyunçuları "rəqəmlərə görə" seçdi və öyrətdi.

Adətən menecerlər oyunçuların uğurlarına baxırlar, lakin bu halda fərqli idi - nəticə əldə etmək üçün menecer fərdi xüsusiyyətlərə diqqət yetirərək, idmançıların hansı kombinasiyalara ehtiyacı olduğunu öyrənirdi. Üstəlik, o, özlərində böyük potensialı təmsil etməyən idmançıları seçdi, lakin bütövlükdə komanda o qədər uğurlu oldu ki, ardıcıl iyirmi matçda qalib gəldilər.

Rejissor Bennett Miller daha sonra bu hekayəyə həsr olunmuş film çəkdi - Bred Pittin baş rolda olduğu "Hər şeyi dəyişən adam".

Big Data texnologiyası maliyyə sektorunda da faydalıdır. Dünyada heç bir adam müstəqil və dəqiq müəyyən edə bilməz ki, kiməsə borc verməyə dəyərmi. Qərar qəbul etmək üçün hesablama aparılır, yəni bu adamın pulu qaytarıb qaytarmayacağını başa düşmək üçün ehtimal modeli qurulur. Bundan əlavə, hesablama bütün mərhələlərdə tətbiq olunur: məsələn, müəyyən bir anda bir insanın ödəməyi dayandıracağını hesablaya bilərsiniz.

Böyük məlumatlar təkcə pul qazanmağa deyil, həm də onlara qənaət etməyə imkan verir. Xüsusilə, bu texnologiya Almaniyanın Əmək Nazirliyinə işsizlik müavinətlərinin dəyərini 10 milyard avro azaltmağa kömək etdi, çünki məlumatları təhlil etdikdən sonra müavinətlərin 20% -nin haqsız olaraq ödənildiyi məlum oldu.

Texnologiyalar tibbdə də istifadə olunur (bu xüsusilə İsrail üçün doğrudur). Big Data-nın köməyi ilə siz otuz illik təcrübəyə malik bir həkimin edə biləcəyindən çox daha dəqiq analiz edə bilərsiniz.

Hər hansı bir həkim diaqnoz qoyarkən yalnız özünə güvənir öz təcrübəsi. Maşın bunu edərkən, bu, minlərlə belə həkimin təcrübəsindən və bütün mövcud vəziyyət tarixçələrindən gəlir. Burada xəstənin evinin hansı materialdan olması, zərərçəkənin hansı ərazidə yaşadığı, orada hansı tüstünün olması və s. Yəni həkimlərin nəzərə almadığı bir çox amilləri nəzərə alır.

Big Data-nın səhiyyədə istifadəsinə misal olaraq Toronto Uşaq Xəstəxanası tərəfindən həyata keçirilən Project Artemis layihəsini göstərmək olar. Bu Məlumat Sistemi real vaxt rejimində körpələr haqqında məlumatları toplayan və təhlil edən. Maşın hər saniyədə hər bir uşağın 1260 sağlamlıq göstəricisini təhlil etməyə imkan verir. Bu layihə uşağın qeyri-sabit vəziyyətini proqnozlaşdırmaq və uşaqlarda xəstəliklərin qarşısını almaq məqsədi daşıyır.

Böyük verilənlər Rusiyada da istifadə olunmağa başlayır: məsələn, Yandex-də böyük verilənlər bölməsi var. Şirkət AstraZeneca və Rusiya Klinik Onkologiya Cəmiyyəti RUSSCO ilə birlikdə genetiklər və molekulyar bioloqlar üçün RAY platformasını işə saldı. Layihə xərçəngin diaqnostikası və xərçəngə meylliliyin müəyyən edilməsi üsullarını təkmilləşdirir. Platforma 2016-cı ilin dekabrında istifadəyə veriləcək.

Big Data termini adətən strukturlaşdırılmış, yarı-strukturlaşdırılmış və strukturlaşdırılmamış istənilən həcmdə verilənlərə aiddir. Bununla belə, ikinci və üçüncü məlumatın sonrakı təhlili üçün sifariş verilə bilər və verilməlidir. Böyük verilənlər heç bir faktiki həcmə bərabər deyil, lakin Big Data dedikdə əksər hallarda terabaytlar, petabaytlar və hətta ekstrabayt məlumat nəzərdə tutulur. Bu miqdarda məlumat zamanla istənilən biznesdə toplana bilər və ya şirkətin çoxlu məlumat almalı olduğu hallarda real vaxt rejimində toplana bilər.

Böyük məlumatların təhlili

Böyük verilənlərin təhlilindən danışarkən, ilk növbədə, müxtəlif mənbələrdən məlumatların toplanması və saxlanmasını nəzərdə tuturuq. Məsələn, alış-veriş edən müştərilər haqqında məlumatlar, onların xüsusiyyətləri, işə salınması haqqında məlumatlar reklam şirkətləri və onun effektivliyinin qiymətləndirilməsi, məlumat əlaqə mərkəzi. Bəli, bütün bu məlumatları müqayisə etmək və təhlil etmək olar. Bu mümkündür və lazımdır. Ancaq bunun üçün məlumatı təhrif etmədən toplamaq və çevirmək, saxlamaq və nəhayət, vizuallaşdırmaq imkanı verən bir sistem qurmaq lazımdır. Razılaşın, böyük məlumatlarla, bir neçə min səhifədə çap edilmiş cədvəllər biznes qərarları qəbul etmək üçün çox kömək etməyəcək.

1. Böyük verilənlərin gəlişi

İstifadəçi hərəkətləri haqqında məlumat toplayan xidmətlərin əksəriyyəti ixrac etmək imkanına malikdir. Onların şirkətə strukturlaşdırılmış formada daxil olması üçün müxtəlif, məsələn, Alteryx istifadə olunur. Bu proqram qəbul etməyə imkan verir avtomatik rejim məlumat, onu emal, lakin ən əsası onu çevirmək arzu olunan görünüş və təhrif etmədən formatlayın.

2. Böyük verilənlərin saxlanması və emalı

Demək olar ki, həmişə böyük miqdarda məlumat toplayarkən onun saxlanması problemi yaranır. Tədqiq etdiyimiz bütün platformalardan şirkətimiz Vertica-ya üstünlük verir. Digər məhsullardan fərqli olaraq, Vertica onda saxlanılan məlumatları tez “verməyi” bacarır. Dezavantajlara uzun bir qeyd daxildir, lakin böyük məlumatların təhlili zamanı geri dönüş sürəti ön plana çıxır. Məsələn, bir petabayt məlumatdan istifadə edərək tərtib etməkdən danışırıqsa, yükləmə sürəti ən vacib xüsusiyyətlərdən biridir.

3. Böyük verilənlərin vizuallaşdırılması

Və nəhayət, böyük həcmli məlumatların təhlilinin üçüncü mərhələsi . Bunun üçün alınan bütün məlumatları rahat formada əyani şəkildə əks etdirə bilən platforma lazımdır. Fikrimizcə, tapşırığın öhdəsindən yalnız bir proqram məhsulu, Tableau gələ bilər. Şübhəsiz ki, ən yaxşılarından biridir bu gün hər hansı bir məlumatı vizual olaraq göstərə bilən, şirkətin işini üçölçülü modelə çevirən, bütün şöbələrin hərəkətlərini bir-birindən asılı olan vahid zəncirə toplayan həll (Tableau-nun imkanları haqqında daha ətraflı oxuya bilərsiniz).

Xülasə əvəzinə qeyd edirik ki, demək olar ki, hər hansı bir şirkət indi öz Böyük Məlumatlarını yarada bilər. Böyük məlumatların təhlili artıq mürəkkəb və bahalı proses deyil. İndi şirkət rəhbərliyindən sualları düzgün formalaşdırmaq tələb olunur toplanmış məlumatlar, praktiki olaraq görünməz boz sahələr olmadığı halda.

Cədvəl yükləyin