Làm thế nào cấu trúc khổng lồ này trong sa mạc oregon giữ cho facebook hoạt động

PRINEVILLE, Ore. Gian Có rất nhiều cách để đảm bảo bạn có Internet nhanh. Bạn có thể di chuyển đến một thành phố Google Fiber. Bạn có thể chọn một trong những ISP nhanh nhất của chúng tôi. Hoặc, bạn có thể xây dựng ngôi nhà của mình bên cạnh một trung tâm dữ liệu của Facebook.

Lấy trung tâm dữ liệu Facebook đầu tiên, ví dụ. Được mở tại Prineville, Ore., Vào năm 2011, nó đã trở thành mô hình cho mọi trung tâm dữ liệu mà gã khổng lồ truyền thông xã hội đã xây dựng kể từ đó, từ Thụy Điển đến Iowa. Nó tiêu thụ rất nhiều băng thông đến nỗi nó đòi hỏi nhiều ISP phục vụ khu vực để củng cố mạng lưới của họ, đưa cư dân địa phương đi cùng.

Bạn có thể nghĩ về trung tâm dữ liệu Prineville, cùng với các cơ sở khác của Facebook, là trung tâm chung của mạng xã hội lớn nhất thế giới: họ nhận được rất nhiều yêu cầu về ảnh, cập nhật trạng thái và làm mới nguồn cấp tin tức từ 1, 65 tỷ người dùng tích cực của trang web và đáp ứng nhanh nhất có thể, tương tự như tim bơm oxy vào máu.

Cơ sở Prineville sắp kỷ niệm 5 năm thành lập và xử lý các yêu cầu dữ liệu cho những việc mà Mark Zuckerberg có thể không biết Facebook sẽ làm gì khi anh ấy mơ về ý tưởng cho công ty trong phòng ký túc xá Harvard của mình.

Tuần này, PCMag dừng lại để tham quan.

Prineville vẫn lưu trữ hình ảnh và cập nhật trạng thái, tất nhiên, nhưng hiện tại nó cũng có hàng ngàn GPU Nvidia hỗ trợ nghiên cứu trí tuệ nhân tạo của Facebook, cũng như 2.000 điện thoại iOS và Android chạy thử nghiệm 24 giờ mỗi ngày. Điều này giúp các kỹ sư của công ty tăng hiệu quả sử dụng năng lượng cho các ứng dụng của mình, bao gồm Instagram, Messenger và WhatsApp, ngoài Facebook.

Dữ liệu Facebook là 'Khả năng phục hồi, không dư thừa'

Điều đầu tiên bạn nhận thấy về cơ sở Prineville là kích thước tuyệt đối của nó. Ra khỏi sa mạc cao rợp bóng cây ở trung tâm Oregon, cách Portland ba giờ lái xe không phải là một tòa nhà đơn lẻ mà là bốn (và không bao gồm một trung tâm dữ liệu khổng lồ khác mà Apple xây dựng gần đây trên đường phố, có tên là Connect Way). Một trong những tòa nhà của Facebook có thể chứa hai Walmarts bên trong và dài hơn khoảng 100 feet so với tàu sân bay lớp Nimitz.

Bên trong là các máy chủ chứa nhiều petabyte và các kỹ sư của Facebook liên tục nâng cấp bằng cách thay thế các thành phần. Trong số 165 người làm việc toàn thời gian tại trung tâm dữ liệu, 30 người trên mỗi tòa nhà được chỉ định để phục vụ hoặc thay thế nguồn cung cấp điện, bộ xử lý, bộ nhớ và các thành phần khác.

Đặc trưng của hầu hết mọi công ty hoạt động trên Internet, từ Amazon đến Charles Schwab, là sự dư thừa: nhiều máy chủ lưu trữ nhiều bản sao dữ liệu. Đó là trường hợp ít xảy ra ở Prineville, nơi Ken Patchett, giám đốc điều hành dữ liệu phương Tây của Facebook, thay vào đó tập trung vào khả năng phục hồi được định nghĩa đại khái là khả năng sẵn sàng bất cứ khi nào và bất cứ nơi nào trên thế giới ai đó đăng nhập vào Facebook.

Tập trung vào "khả năng phục hồi, không phải dự phòng", như Patchett nói, có thể là do Facebook có thể lưu trữ nhiều bản sao dữ liệu ở các địa điểm khác trên khắp thế giới, từ Lulea, Thụy Điển, đến Altoona, Iowa. Vì vậy, thay vì có hai hoặc nhiều hơn mọi thứ, nó có thể tập trung vào việc mua thiết bị chiến lược tại mỗi địa điểm, như có một máy phát điện dự phòng cho mỗi sáu máy phát chính.

"Bạn phải có trách nhiệm với tài chính nếu bạn sẽ kiên cường, " Patchett giải thích. Ông là một trong những người sáng lập của các trung tâm dữ liệu công nghệ cao ở sa mạc cao của Oregon. Trước khi đến Facebook, anh đã giúp thành lập một trung tâm dữ liệu ở The Dalles, Ore., Cho Google, một trong những công ty Internet đầu tiên tận dụng năng lượng thủy điện giá rẻ và thời tiết khô ráo, mát mẻ, đặc trưng cho phần lớn phía đông của nước Mỹ tiểu bang.

Tất nhiên, sức mạnh dồi dào rất quan trọng đối với hoạt động của Facebook. Nhiệt độ máy chủ được điều chỉnh bởi sự kết hợp giữa nước làm mát và quạt khổng lồ kéo theo không khí sa mạc khô (bên dưới) thay vì các thiết bị điều hòa không khí và điện. Phạm vi nhiệt độ mục tiêu là từ 60 đến 82 độ F. Đội ngũ của Patchett đã trở nên rất giỏi trong việc đạt được mục tiêu đó đến nỗi Prineville hiện có tỷ lệ hiệu suất năng lượng là 1, 07, điều đó có nghĩa là thiết bị làm mát, đèn chiếu sáng và máy sưởi. Bất cứ thứ gì không phải là thiết bị điện toán, chỉ tiêu thụ 7% tổng năng lượng của cơ sở .

32 chiếc iPhone trong một hộp

Hầu hết việc làm mát và cung cấp năng lượng đều đáp ứng nhu cầu của máy chủ, nhưng một số được chuyển đến một phòng thử nghiệm ứng dụng tương đối nhỏ với ngụ ý giảm sử dụng năng lượng không chỉ ở Prineville, mà trên mọi điện thoại có ứng dụng Facebook.

Không có gì bí mật rằng ứng dụng Facebook đã phải vật lộn với quản lý năng lượng. The Guardian đã tuyên bố đầu năm nay rằng ứng dụng này đã giảm 15% thời lượng pin trên iPhone. Để hợp lý hóa ứng dụng và giảm mức tiêu thụ pin, công ty đã mang khoảng 2.000 điện thoại iOS và Android đến Prineville, nơi chúng được cài đặt bên trong các hộp theo nhóm 32.

Mỗi hộp có mạng Wi-Fi riêng, được bao quanh bởi các bức tường cách nhiệt và băng đồng, mà các kỹ sư trở lại tại trụ sở ở Thung lũng Silicon sử dụng để cung cấp một lượng pin thử nghiệm. Họ đang tìm kiếm "hồi quy" trong việc sử dụng pin và hiệu suất gây ra bởi các bản cập nhật cho các ứng dụng Facebook, Instagram, Messenger và WhatsApp. Nếu họ tìm thấy một trong mã riêng của Facebook, họ sẽ sửa nó. Nếu sự không hiệu quả được giới thiệu bởi một nhà phát triển, hệ thống của họ sẽ tự động thông báo cho người vi phạm qua email.

Các hộp không chỉ chứa iPhone 6s hoặc Galaxy S7 mới nhất. Về phía iOS, chúng bao gồm nhiều mẫu từ iPhone 4s trở lên. Về phía Android, ai biết? Chỉ cần nói rằng có một anh chàng có nhiệm vụ là tìm các thiết bị Android tối nghĩa và mang chúng đến Prineville.

"Chúng tôi phải tìm nguồn điện thoại từ khắp mọi nơi, " Antoine Reversat, một kỹ sư đã giúp phát triển cơ sở hạ tầng và phần mềm thử nghiệm cho biết. Mục tiêu cuối cùng của anh là tăng gấp đôi khả năng của các giá đỡ để giữ tới 62 điện thoại mỗi chiếc và tìm ra cách giảm thủ tục 20 bước cần thiết để định cấu hình điện thoại để thử nghiệm xuống một bước. Điều đó sẽ an ủi bất cứ ai từng có điện thoại của họ chết trong khi làm mới nguồn cấp tin tức của họ.

Big Sur: bộ não AI của Facebook

Tiếp theo trong chuyến tham quan của chúng tôi là các máy chủ trí tuệ nhân tạo Big Sur, giống như bờ biển California mà chúng được đặt tên, được cho là phần đẹp nhất của trung tâm dữ liệu. Tất nhiên, chúng ta sẽ không nói về các khung cảnh Thái Bình Dương, mà thay vào đó, một màn hình máy tính hiển thị những gì dường như là một nhóm các bức tranh, được điều khiển bởi Ian Buck, phó chủ tịch về điện toán gia tốc của Nvidia.

"Chúng tôi đã đào tạo một mạng lưới thần kinh để nhận ra các bức tranh", Buck giải thích. "Sau khoảng nửa giờ nhìn vào các bức tranh, nó có thể bắt đầu tự tạo ra nó."

Những cái được trưng bày giống như ấn tượng Pháp thế kỷ 19, nhưng với một twist. Nếu bạn muốn kết hợp giữa trái cây tĩnh vật và phong cảnh sông, Big Sur sẽ vẽ nó cho bạn bằng cách uốn cong 40 petaflop công suất xử lý trên mỗi máy chủ. Đây là một trong một số hệ thống AI sử dụng GPU Nvidia trong trường hợp này, bộ xử lý Tesla M40 dựa trên PCI.e để giải quyết các vấn đề máy học phức tạp. Dự án chăm sóc sức khỏe DeepMind của Google cũng sử dụng bộ xử lý của Nvidia.

Facebook đang sử dụng Big Sur để đọc truyện, nhận diện khuôn mặt trong ảnh, trả lời câu hỏi về cảnh, chơi trò chơi và tìm hiểu thói quen, trong số các nhiệm vụ khác. Nó cũng cung cấp nguồn mở cho phần mềm, cung cấp cho các nhà phát triển khác bản kế hoạch chi tiết về cách thiết lập cơ sở hạ tầng dành riêng cho AI của họ. Phần cứng bao gồm tám bo mạch GPU Tesla M40 lên đến 33 watt mỗi cái. Tất cả các thành phần có thể dễ dàng truy cập trong ngăn kéo máy chủ để tăng tính dễ dàng nâng cấp, điều chắc chắn sẽ đến khi Nvidia phát hành các phiên bản PCI.e mới của GPU Tesla, bao gồm cả P100 hàng đầu.

Kho lạnh cho những bức ảnh bị lãng quên

Vì Prineville là trung tâm dữ liệu đầu tiên của Facebook, nó có xu hướng là nơi các kỹ sư thử nghiệm các ý tưởng để làm cho máy chủ của Facebook hiệu quả hơn. Một trong những ý tưởng mới nhất là lưu trữ lạnh hoặc máy chủ chuyên dụng lưu trữ bất cứ thứ gì trên Facebook mà không nhận được nhiều lượt xem, ví dụ như ảnh quảng cáo ở trường trung học của bạn, hoặc hàng tá cập nhật trạng thái mà bạn đã đăng khi Michael Jackson qua đời vào năm 2009 .

Bí quyết thành công của kho lạnh là nhiều tầng. Cấp độ đầu tiên được tạo thành từ phần cứng doanh nghiệp hiệu suất cao, trong khi các tầng thấp hơn sử dụng các thành phần rẻ hơn, và trong một số trường hợp, có lẽ đối với những bức ảnh của bạn với niềng răng mà bạn hy vọng không ai nhìn thấy các thư viện băng sao lưu. Kết quả cuối cùng là mỗi giá đỡ máy chủ kho lạnh có thể chứa 2 petabyte dung lượng lưu trữ, hoặc tương đương với 4.000 ngăn xếp đồng xu đến tận mặt trăng.

Xây dựng cho tương lai

Mặc dù Facebook đã mang lại Internet nhanh hơn và các lợi ích khác cho Prineville, bao gồm hơn 1 triệu đô la tiền quyên góp cho các trường học và tổ chức từ thiện địa phương, nhưng sự hiện diện của nó không phải là không có tranh cãi. Oregon đang từ bỏ rất nhiều tiền trong việc giảm thuế cho công ty tại thời điểm nền kinh tế địa phương, vẫn quay cuồng với bong bóng nhà đất năm 2008, vượt qua mức trung bình quốc gia.

Tuy nhiên, 1, 65 tỷ người sẽ không có quyền truy cập vào Facebook nếu không có tiền đồn sa mạc này và các trung tâm dữ liệu chị em của nó. Và ngay cả khi đặt hoàn thiện vào tòa nhà Prineville thứ tư của mình, công ty vẫn đang tiến hành hoàn thiện một trung tâm thứ năm ở Texas. Nhưng nếu điều đó khiến bạn cảm thấy tội lỗi về năng lượng mà trình duyệt Facebook của bạn tiêu thụ, thì không nên. Theo Patchett, một người dùng duyệt Facebook trong cả năm sẽ tiêu tốn ít năng lượng hơn mức cần thiết để pha cà phê. Nói cách khác, bạn có thể từ bỏ chỉ một chuyến đi đến Starbucks và cuộn qua nguồn cấp tin tức của bạn đến nội dung trái tim của bạn.