Làm thế nào các doanh nghiệp có thể có ý nghĩa của thị trường dữ liệu lớn

Các doanh nghiệp không nhận được bất kỳ điểm nào về việc cơ sở hạ tầng của họ hoạt động hiệu quả như thế nào hoặc mức độ họ có thể xếp chồng tất cả Dữ liệu lớn mà họ thu thập được. Điều quan trọng là chất lượng phân tích và trí thông minh mà dữ liệu tạo ra.

Trong vài năm qua, Hadoop là từ trở thành đồng nghĩa nhất với việc nhập dữ liệu, xử lý và chuyển đổi dữ liệu. Khung mã nguồn mở này để lưu trữ và xử lý dữ liệu phân tán đã sinh ra không gian doanh nghiệp của riêng nó và tích hợp đường vào tất cả các nền tảng đám mây chính. Hadoop khác xa với công nghệ Dữ liệu lớn duy nhất đáng nói, nhưng nó trở thành công nghệ mà nhiều người khác được xây dựng.

Vấn đề đối với các doanh nghiệp là không gian Hadoop có đầy đủ các tùy chọn phân phối và công cụ, và như Giám đốc nghiên cứu của Gartner Nick Heudecker giải thích, nhiều trong số chúng trông giống nhau. Heudecker, người có nghiên cứu bao gồm quản lý thông tin bao gồm cả không gian Big Data và NoQuery, cho biết nếu bạn đang xem các tùy chọn xử lý dữ liệu chung, rất nhiều nhà cung cấp cung cấp các tính năng rất giống nhau.

Phá vỡ thị trường

Có ba trò chơi khởi nghiệp Hadoop thuần túy chính là Cloudera, Hortonworks và MapRTHER và tất cả đều tăng trưởng ổn định trong năm 2015. Theo Gartner, mỗi người có khoảng 700 khách hàng, cho hoặc nhận 10%, đưa thị trường toàn cầu vào giữa 2.100-2.400 khách hàng Hadoop trên toàn thế giới. Cả ba đều cung cấp cả cấp miễn phí và cấp doanh nghiệp trong phân phối Hadoop của họ và mỗi cấp đóng góp nguồn mở đáng kể cho các dự án theo biểu ngữ Apache Foundation Foundation (ASF).

"Dữ liệu của chúng tôi cho thấy 44% sử dụng Hadoop hiện chưa được thanh toán", Heudecker nói. "Có một nhà lãnh đạo rõ ràng không? Tôi không nghĩ vậy. Tất cả họ đang chiếm thị phần vì đó là một không gian rất mới."

Trong vài tháng qua, phần lớn sự cạnh tranh giữa ba người đã cạnh tranh về khả năng phân tích dữ liệu và các cách sáng tạo để tích hợp Apache Spark, một công cụ xử lý Dữ liệu lớn nguồn mở với các trường hợp sử dụng từ luồng dữ liệu thời gian thực đến máy học . MapR gần đây đã công bố MapR Streams như là một phần của "nền tảng dữ liệu hội tụ" tích hợp Hadoop, xử lý luồng dựa trên Spark và phân tích. Hortonworks đã tung ra bản cập nhật cho Nền tảng dữ liệu Hortonworks (HDP) với các phân tích Spark trong bộ nhớ và Cloudera cung cấp nhiều tích hợp Spark nguồn mở thông qua Sáng kiến ​​một nền tảng của nó, cùng với việc cung cấp các lớp đào tạo Spark.

"Có rất nhiều điều xảy ra trong không gian cơ sở hạ tầng thông tin và quản lý thông tin, và đó không phải là tất cả Hadoop, " Heudecker giải thích. "Có động lực rất lớn đằng sau mô hình xử lý dữ liệu tập trung vào tốc độ và bộ nhớ của Spark, mặc dù sự phát triển của Spark vẫn đang ở giai đoạn đầu. Spark sẽ là một ngôn ngữ khác trong xử lý dữ liệu, giống như SQL ngày nay, và chắc chắn có dấu hiệu cho thấy nó có một số chân khi ngày càng có nhiều công ty đầu tư vào nó. "

Heudecker cũng nhấn mạnh tầm quan trọng của những người chơi trên đám mây trong Dữ liệu lớn; gã khổng lồ công nghệ đã tích hợp Hadoop và các công nghệ Dữ liệu lớn khác vào các dịch vụ Cơ sở hạ tầng (IaaS) hiện có của họ.

Amazon Web Services (AWS) sử dụng dịch vụ Amazon Elastic MapReduce (EMR) của mình để điều phối Hadoop dựa trên đám mây. Microsoft cung cấp một loạt các dịch vụ Dữ liệu lớn trong nền tảng đám mây Azure của mình, hợp tác với Hortonworks trên dịch vụ HDInsight để quản lý Apache Hadoop, Spark, HBase và Storm, cùng với Azure Data Lake và Azure Data Analytics dựa trên SQL. IBM có cả Nền tảng mở IBM tại chỗ cung cấp cho Hadoop và IBM BigInsights, một gói phân tích để chạy trên nó, cùng với dịch vụ Hadoop và Apache Spark-as-a-dịch vụ được quản lý trong đám mây Bluemix của nó. Danh sách này tiếp tục và các doanh nghiệp tìm thấy các trường hợp sử dụng được áp dụng nhiều hơn trong đám mây.

"Chúng tôi ước tính rằng một mình AWS có khoảng 5.000 khách hàng, do đó, gấp đôi số lượng khách hàng của các trò chơi thuần túy kết hợp, " Heudecker nói. "Một trong những lợi thế của việc di chuyển vào đám mây là bạn có được một hệ sinh thái. Bạn có thể nhận được các bản phân phối Hadoop chơi thuần túy trên bất kỳ dịch vụ nào của IaaS. MapR có sẵn trong tất cả các đám mây mà bạn có thể nghĩ ra, ngoài IBM; cho Cloudera và Hortonworks. Chúng tôi chưa thấy tính khả dụng của đám mây trở thành quá nhiều yếu tố khi lựa chọn giữa nhà cung cấp này với nhà cung cấp khác. "

Chọn chiến lược dữ liệu doanh nghiệp

Đối với cả doanh nghiệp vừa và nhỏ (SMB) và doanh nghiệp đang phát triển, khi đầu tư vào giải pháp xử lý và phân tích dữ liệu, Heudecker cho biết yếu tố quyết định là nền tảng nào có thể cung cấp dịch vụ cao nhất. Thách thức lớn nhất đối với các doanh nghiệp, theo Gartner, là khoảng cách về kỹ năng mà Google tìm ra ai sẽ quản lý nền tảng sau khi được cài đặt và triển khai.

"Nếu các công ty đang tìm kiếm một đối tác nền tảng dữ liệu, ai sẽ giúp họ nhập dữ liệu? Ai sẽ giúp họ xây dựng ứng dụng phân tích? Theo như ba người chơi Hadoop thuần túy, các tiêu chí đánh giá có xu hướng xoay quanh sự trưởng thành của các công cụ quản lý và bảng điều khiển, các công cụ quản trị dữ liệu và hiệu suất. "

Khía cạnh thú vị khác của việc chọn một nền tảng Hadoop là thiếu lòng trung thành. Các công ty đánh giá lại nền tảng Hadoop của họ thường xuyên cứ sau 6-12 tháng để xem các thành phần xử lý dữ liệu có còn phù hợp hay không, bởi vì không gian thay đổi nhanh như thế nào và những người chơi lớn khác biệt như thế nào. Heudecker cho biết 20% các công ty mà ông nói chuyện có nhiều bản phân phối Hadoop đang chạy trong trung tâm dữ liệu hoặc đám mây của họ, cho phép các nhóm khác nhau chọn nền tảng lựa chọn của họ hoặc đa dạng hóa có chủ ý để tránh bị mắc kẹt chỉ với một bản phân phối Hadoop.

Loại danh mục đầu tư nền tảng đa dạng này cung cấp cho Frank Buytendijk, Phó chủ tịch nghiên cứu của Gartner và Nhà phân tích nổi bật tập trung vào chiến lược kỹ thuật số, gọi "thông tin là tài sản". Giống như bạn không thể điều hành một doanh nghiệp mà không có vốn, lao động, vật liệu và cơ sở vật chất hoặc ảo, Buytendijk nói rằng bạn không thể điều hành một doanh nghiệp mà không có thông tin.

"Chúng tôi thường xem xét kinh doanh theo ba dòng: dòng chính là hàng hóa, dòng thứ cấp là tiền và dòng thứ ba là thông tin để đảm bảo hàng hóa và tiền được liên kết. Bây giờ, trong hầu hết các doanh nghiệp, cách khác là Luồng chính là thông tin, từ nhận dạng và cấu hình đến tiếp thị nội dung, v.v. Dù bạn gọi đó là Dữ liệu lớn hay không thực sự không quan trọng. "

"Dữ liệu lớn" đã lỗi thời

Buytendjik cho biết ông không xem Big Data là một công nghệ riêng cho các doanh nghiệp, mà là một chủ đề hoặc suy nghĩ trong chiến lược kỹ thuật số tổng thể của bạn.

"Tôi không tin vào việc có một chiến lược Dữ liệu lớn", Buytendjik nói. "Hầu như không có chiến lược kinh doanh nữa nếu không có các thành phần kỹ thuật số, vì vậy tôi tin rằng có một chiến lược kỹ thuật số trong đó tất cả các loại công nghệ mang lại khả năng quan trọng. Điều này bao gồm di động, xã hội, đám mây, IoT, máy thông minh và Dữ liệu lớn."

Heudecker tin rằng chúng ta sẽ bắt đầu nói về "Dữ liệu lớn" ngày càng ít đi, bởi vì bây giờ nó chỉ là dữ liệu. Đó là cách kinh doanh được thực hiện. Khối lượng lớn và tốc độ cao của dữ liệu không còn đáng ngại.

"Dữ liệu lớn đang trở nên bị thu hẹp một lần nữa bởi thông tin và phân tích, " Heudecker nói. "Danh mục Dữ liệu lớn thực sự không khác biệt. Chúng tôi luôn được hỏi về quy mô của thị trường Dữ liệu lớn, nhưng điều đó có nghĩa là gì? Dữ liệu lớn không thực sự là một thị trường, đó là một khái niệm. một cái gì đó độc đáo và đặc biệt khác hoàn toàn so với những gì bạn đã làm trước đây là một sai lầm. Tại thời điểm này, dữ liệu chỉ là bình thường. "