Hồ dữ liệu, giải thích

Cuộc cách mạng Dữ liệu lớn đã định nghĩa lại cách thức hoạt động của các doanh nghiệp; dữ liệu củng cố mọi thứ. Không chỉ có các công cụ nguồn mở như Apache Hadoop và Spark tạo ra số lượng lớn dữ liệu dễ dàng hơn để thu thập, xử lý và lưu trữ trong thời gian thực, mà các công cụ thông minh kinh doanh (BI) và công cụ trực quan hóa dữ liệu đã bắt đầu giúp chúng ta phân tích bề mặt phân tích và chuyển đổi dữ liệu đó để thông báo các quyết định kinh doanh cốt lõi.

Mặc dù, mặc dù công nghệ Big Data và BI đã phát triển đến mức nào, chúng tôi vẫn đang xử lý khối lượng dữ liệu khổng lồ liên tục như vậy mà việc tìm đúng điểm để phân tích vẫn có cảm giác như lặn tìm kim trong một đống cỏ khô không bao giờ kết thúc. Giải pháp? Thiết kế lại đống cỏ khô.

Nhập các hồ dữ liệu, một loại kiến ​​trúc doanh nghiệp dựa trên đám mây mới, cấu trúc dữ liệu theo cách có thể mở rộng hơn giúp dễ dàng thử nghiệm hơn; làm cho nó cởi mở hơn để khám phá và thao tác hơn là bị khóa trong các lược đồ và silo cứng nhắc. Nasry Angel, một nhà nghiên cứu kiến ​​trúc doanh nghiệp tại Forrester Research, đã giải thích lý do tại sao các doanh nghiệp đang nắm lấy kiến ​​trúc hồ dữ liệu.

"Nghe có vẻ sáo rỗng, nhưng khi bạn nghĩ về một môi trường dữ liệu hiện đại hiệu quả, nó sẽ mang tính thử nghiệm hơn rất nhiều", Angel nói. "Bạn cần có khả năng học nhanh và thất bại nhanh. Trước đây, việc quản lý dữ liệu, đặc biệt là trong kho, tất cả đều có chất lượng, xuống đến dấu thập phân; đảm bảo mọi thứ đều hoàn toàn chính xác và đúng. phiên bản của sự thật. Sau đó, tạo một báo cáo hoàn hảo pixel và làm nổ tung nó tới 5.000 người dùng.

"Ngày nay, đó là một quy trình khoa học hơn. Bạn đi vào một giả thuyết về dữ liệu bạn muốn kiểm tra và bạn muốn có thể chơi với dữ liệu, trộn và kết hợp, để thử những thứ khác nhau trước khi bạn đi và sản xuất một thứ gì đó. "

Cái gì trong hồ dữ liệu?

Một hồ dữ liệu là một kho lưu trữ. Mặc dù, không giống như kho dữ liệu hay "mart dữ liệu", Angel giải thích rằng các hồ dữ liệu được phân phối trên nhiều nút thay vì trong môi trường có cấu trúc, cố định của kho dữ liệu dựa trên các lược đồ (xem infographic bên dưới).

"Hồ dữ liệu cho phép bạn áp dụng lược đồ khi bạn ghi dữ liệu so với kho dữ liệu yêu cầu bạn thực hiện lược đồ khi đọc. Vì vậy, về cơ bản, kho dữ liệu yêu cầu bạn phải mô hình hóa dữ liệu trước khi bạn hiểu ngữ cảnh của nó. Angel thực sự có ý nghĩa, "Angel nói.

Nguồn: JustOne Database, Inc. (Nhấp vào hình trên để xem toàn bộ.)

"Thông thường, trong một nhà kho, bạn có các chuyên gia CNTT tìm ra những gì họ nghĩ là mô hình dữ liệu tốt nhất và họ không phải là người sử dụng dữ liệu cuối cùng. Bạn có thể nhanh chóng thấy điều đó cản trở năng suất và giá trị kinh doanh", ông nói thêm . "Cuối cùng, bạn và người dùng doanh nghiệp cần là những người đưa ra quyết định về cấu trúc dữ liệu, và trong hồ dữ liệu, trước tiên bạn có thể khám phá và tìm ra những gì ở đó và sau đó tìm ra một lược đồ để tổ chức tốt nhất."

Các hồ dữ liệu thường được xây dựng trên Hadoop và các bản phân phối Hadoop của doanh nghiệp như Hortonworks và MapR cung cấp các kiến ​​trúc hồ dữ liệu. Các doanh nghiệp cũng có thể xây dựng các hồ dữ liệu bằng cách sử dụng các đám mây Dịch vụ cơ sở hạ tầng (IaaS) bao gồm Amazon Web Services (AWS) và Microsoft Azure. Đám mây điện toán đàn hồi của Amazon (EC2) hỗ trợ các hồ dữ liệu trong khi Microsoft có nền tảng Azure Data Lake chuyên dụng để lưu trữ và phân tích dữ liệu thời gian thực. Angel cho biết các hồ dữ liệu đang trưởng thành đến mức trong không gian Dữ liệu lớn, nơi các doanh nghiệp có thể bắt đầu đầu tư vào chúng với sự tự tin hợp lý.

"Vài năm trở lại đây, Hadoop là tất cả cơn thịnh nộ. Bây giờ chúng ta đang đến một điểm mà Hadoop được hàng hóa hóa, " Angel nói. "Câu hỏi không phải là nếu Hadoop mà là khi nào và bạn sẽ làm gì với nó. Bạn sẽ xây dựng loại ứng dụng nào trên đỉnh Hadoop sau khi bạn nhận được dữ liệu vào một nơi chung như hồ dữ liệu? Tại thời điểm này, đó là về việc sử dụng dữ liệu để phát triển các ứng dụng để đáp ứng nhu cầu kinh doanh cụ thể của bạn. "

Xây dựng trên đỉnh một kho lưu trữ dữ liệu

Phần thú vị nhất về Dữ liệu lớn là tất cả khả năng nó mở ra. Khi bạn đã thiết lập một hồ dữ liệu để chơi và thử nghiệm các kết hợp dữ liệu và kết quả kinh doanh khác nhau, bạn có thể bắt đầu xếp lớp các kỹ thuật phân tích sáng tạo lên hàng đầu.

Các thuật toán học máy (ML) đã trở thành một phần của cơ sở hạ tầng đám mây và các nhà nghiên cứu đang tiếp tục cải tiến các kỹ thuật học sâu và mạng lưới thần kinh để đào tạo máy móc và hệ thống dữ liệu để nhận ra các mẫu phức tạp. Phân tích dự đoán đang được đưa vào ngày càng nhiều công cụ dữ liệu và nền tảng doanh nghiệp, được sử dụng cho mọi thứ, từ phân tích dự đoán và phân đoạn tự động cho quản lý quan hệ khách hàng (CRM) để xác định xu hướng thị trường tài chính và nắm bắt các thất bại cơ học trong máy móc.

Tất cả điều này xảy ra trên bất kỳ cửa hàng dữ liệu nào mà doanh nghiệp của bạn đang cho ăn và nhân rộng theo nhu cầu của nó. Angel đã nói về một số trường hợp sử dụng trong thế giới thực, trong đó anh ta thấy các hồ dữ liệu thay đổi cách thức hoạt động của các tổ chức.

"Tôi đang làm việc với một công ty xuất bản có danh mục tạp chí khác nhau, họ có một ấn phẩm dành cho luật sư, một ấn phẩm khác cho kế toán viên, v.v., và mỗi ấn phẩm đều có kho dữ liệu riêng. silo, "Angel giải thích.

"Vì vậy, chúng tôi đã trích xuất tất cả dữ liệu từ một nhà kho và đưa nó vào một hồ dữ liệu và hồ dữ liệu cho phép họ nhìn thấy các silo. Họ có thể khám phá dữ liệu và khám phá dữ liệu, và nhận ra rằng trên tất cả các ấn phẩm khác nhau này, khách hàng từ mọi tạp chí đều quan tâm đến an ninh mạng. Độc giả về an ninh mạng rất mạnh mẽ trong tất cả các vai trò khác nhau này. Vậy họ đã làm gì? Họ biến an ninh mạng thành chủ đề của hội nghị thường niên. "

Một ví dụ khác mà Angel nói đến là thương mại điện tử. Một khách hàng khác, một nhà bán lẻ nghệ thuật trực tuyến, đã đưa một tấn thông tin vào một hồ dữ liệu và sử dụng nó không chỉ như một kho lưu trữ mà còn là một bức tranh để sắp xếp những hiểu biết kinh doanh. Nhà bán lẻ đã mang dữ liệu giao dịch (đơn đặt hàng, hóa đơn, thanh toán, v.v.), dữ liệu nhấp chuột (mỗi lần nhấp và trang của khách truy cập trang web) và dữ liệu từ kho dữ liệu của nhà bán lẻ vào hồ và sử dụng nó trong buổi hòa nhạc để chống lại giỏ hàng từ bỏ và chuyển đổi.

"Bạn muốn xây dựng trên đỉnh hồ dữ liệu và sử dụng nó để hình thành những hiểu biết kinh doanh phức tạp", Angel nói. "Nhà bán lẻ nghệ thuật có thể xem dữ liệu nhấp chuột của khách hàng và khớp số lần nhấp với hồ sơ khách hàng, sau đó sử dụng dữ liệu giao dịch để xem khách hàng đã mua gì trong quá khứ và sử dụng những hiểu biết đó để chạy các chiến dịch email rất cụ thể. Vì vậy, nếu khách hàng từ bỏ Giỏ hàng của họ, nhà bán lẻ có thể theo dõi hai giờ sau đó và nói: 'Chúng tôi thấy bạn đang kiểm tra Picasso này; đây là liên kết nếu bạn muốn xem lại nó.' "

Hồ dữ liệu được áp dụng phổ biến trên tất cả các loại trường hợp sử dụng kinh doanh. Nhưng, đối với một Giám đốc kỹ thuật (CTO) hoặc Giám đốc an ninh thông tin (CISO) đang cân nhắc việc di chuyển đến kiến ​​trúc, Angel nhấn mạnh rằng kho dữ liệu chưa bị lỗi thời, không bị kéo dài. Đối với hầu hết các tổ chức doanh nghiệp, cho dù bạn đang sử dụng nhà cung cấp đám mây hay phân phối Hadoop tùy chỉnh, doanh nghiệp vẫn cần cả hai.

Các hồ dữ liệu cung cấp cho bạn quyền truy cập vào thông tin chi tiết vô song bằng cách loại bỏ các giới hạn tuân thủ dữ liệu cho một lược đồ cụ thể và đi kèm với tổng chi phí sở hữu thấp hơn nhiều khi sử dụng bộ lưu trữ đám mây linh hoạt, giá rẻ như AWS để mở rộng quy mô trả tiền cho sức mạnh xử lý mà bạn thực sự sử dụng. Điều hành một kho dữ liệu đắt hơn và do đó, làm cho các chuyên gia CNTT chọn lọc hơn về những gì dữ liệu đến và đi. Nhưng đối với dữ liệu quan trọng nhất của một doanh nghiệp, đó không phải là điều xấu.

"Kho dữ liệu có lợi thế về bảo mật và là một công cụ rất dễ kiểm soát quản trị dữ liệu", Angel nói. "Vì vậy, bạn vẫn muốn giữ thông tin nhạy cảm nhất của mình trong kho, công cụ quan trọng. Nhưng khi có cơ hội kinh doanh mới và khám phá những hiểu biết ẩn giấu, bạn muốn tận dụng một hồ dữ liệu."