Xác suất xảy ra các sự kiện cực đoan với các mô hình tạo sinh được hướng dẫn

Trong khoa học, kỹ thuật và tài chính, nhiều rủi ro quan trọng nhất đến từ các sự kiện có xác suất xảy ra thấp nhưng tác động lớn. Việc ước tính xác suất của các sự kiện này bằng phương pháp lấy mẫu Monte Carlo vét cạn—chạy một mô hình lặp đi lặp lại với các đầu vào được rút ngẫu nhiên để ước tính xác suất của các kết quả hiếm gặp—có thể đòi hỏi một khối lượng lặp mô hình quá lớn, đặc biệt khi mỗi mẫu đến từ một mô hình dựa trên vật lý tốn kém.

Các mô hình khuếch tán có hướng dẫn (Guided diffusion models) mang đến một cách mới để điều hướng đến các sự kiện hiếm, nhưng việc hướng dẫn này đặt ra một thách thức quan trọng: Nếu một mô hình lấy mẫu quá mức phần đuôi của một phân phối, làm thế nào chúng ta vẫn có thể ước tính xác suất thực sự của các mẫu đó?

Trong một bài báo mới, Hướng tới xác suất sự kiện cực đoan chính xác từ các bộ mô phỏng khí hậu dựa trên mô hình khuếch tán, chúng tôi khám phá vấn đề này trong khoa học khí hậu bằng cách hướng dẫn một bộ mô phỏng khí hậu dựa trên khuếch tán hướng tới các cơn bão nhiệt đới và tính toán tỷ số xác suất từ các xác suất được hướng dẫn và không được hướng dẫn. Trong bài đăng này, chúng tôi sẽ minh họa một ví dụ hoạt động tối thiểu bằng cách sử dụng trường hợp xoáy thuận nhiệt đới.

Vẫn còn rất nhiều công việc phải làm: Các phương pháp mới cần được thử nghiệm, cần tối ưu hóa hiệu suất, và tác động có thể là mở khóa hiệu quả chi phí triệt để cho phân tích rủi ro thế hệ tiếp theo trong khoa học và kinh tế.

Tiếp tục đọc để xem điều này hoạt động trong thực tế như thế nào, bao gồm cả hướng dẫn bắt đầu nhanh.

Khuếch tán có hướng dẫn cho các hiện tượng thời tiết cực đoan

Rủi ro thời tiết cực đoan thường phụ thuộc vào các sự kiện cục bộ, hiếm gặp mà việc lấy mẫu bằng các mô phỏng khí hậu truyền thống rất tốn kém. Ví dụ, một cơn bão nhiệt đới gần một bờ biển cụ thể có thể đòi hỏi các tập hợp rất lớn trước khi đủ các trường hợp xuất hiện để ước tính xác suất của nó với độ tin cậy hữu ích. Điều này tạo ra một nút thắt cổ chai cho phân tích rủi ro đổ bộ, các thí nghiệm quy kết khí hậu, quy hoạch cơ sở hạ tầng, mô hình bảo hiểm và các nghiên cứu tác động hạ nguồn.

Công trình của chúng tôi cho thấy rằng các bộ mô phỏng khí hậu dựa trên khuếch tán có thể làm được nhiều hơn là chỉ tạo ra các trạng thái khí quyển thực tế. Chúng còn có thể cung cấp các ước tính xác suất hữu ích cho các trạng thái đó. Sử dụng NVIDIA cBottle, một bộ tạo trạng thái thời tiết có điều kiện khí hậu dựa trên khuếch tán, chúng tôi hướng dẫn một mô hình khuếch tán đến các trạng thái bão nhiệt đới và tính toán tỷ lệ chênh lệch giữa các phân phối được hướng dẫn và không được hướng dẫn, cho phép lấy mẫu quan trọng của các sự kiện hiếm gặp.

Điều này quan trọng vì chỉ hướng dẫn thôi là chưa đủ. Nếu một mô hình được điều hướng về các sự kiện hiếm, nó sẽ lấy mẫu quá mức chúng theo thiết kế. Để sử dụng các mẫu đó để ước tính xác suất, chúng ta cần biết mức độ mà sự hướng dẫn đã thay đổi xác suất của chúng. Tỷ lệ chênh (odds ratio) cung cấp sự hiệu chỉnh đó, cho phép lấy mẫu quan trọng của các sự kiện hiếm trong khi vẫn ước tính xác suất của chúng theo phân phối khí hậu ban đầu.

Một triển khai của quy trình làm việc này có sẵn trong NVIDIA Earth2Studio, nền tảng suy luận mã nguồn mở cho các quy trình làm việc về khí hậu và thời tiết AI, thông qua ví dụ CBottleTCGuidance.

Từ các mẫu được hướng dẫn đến tỷ lệ chênh

Quy trình làm việc hướng dẫn xoáy thuận nhiệt đới cBottle tạo ra các mẫu khí quyển được điều kiện hóa theo hoạt động xoáy thuận nhiệt đới do người dùng chỉ định. Trong ví dụ Earth2Studio, tensor hướng dẫn đánh dấu một vị trí mong muốn gần Florida và yêu cầu một mẫu trong mùa bão.

Về mặt khái niệm, mô hình so sánh hai xác suất cho một trạng thái khí quyển được tạo ra \(x\):

và

Tỷ lệ log-odds là:

Giá trị này định lượng mức độ ít có khả năng mẫu xảy ra dưới mô hình không được hướng dẫn so với mô hình được hướng dẫn.

Để ước tính xác suất dưới phân phối không được hướng dẫn bằng cách sử dụng các mẫu được hướng dẫn, trọng số tầm quan trọng tương ứng là:

Đây là điều cho phép lấy mẫu tầm quan trọng: tạo ra nhiều mẫu hơn trong vùng sự kiện hiếm, sau đó trọng số lại chúng để ước tính xác suất của chúng dưới phân phối khí hậu ban đầu.

Chạy lấy mẫu xoáy thuận nhiệt đới được hướng dẫn trong Earth2Studio

Ví dụ Earth2Studio sử dụng mô hình chẩn đoán CBottleTCGuidance tích hợp sẵn. Thiết lập tải gói hướng dẫn cBottle TC mặc định, gói này tải điểm kiểm tra từ NGC.

from earth2studio.models.dx import CBottleTCGuidance
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
# Load the default model package which downloads the checkpoint from NGC
package = CBottleTCGuidance.load_default_package()

Đường dẫn nhanh được tối ưu hóa cho suy luận có hướng dẫn tiêu chuẩn. Ở đây, một điểm hướng dẫn duy nhất được đặt gần Florida, sử dụng vĩ độ 27.0 độ và kinh độ -82.0 độ. Sau đó, ví dụ yêu cầu một dấu thời gian trong mùa bão.

lat = torch.tensor([27.0], device=device)  # Near Florida
lon = torch.tensor([-82.0], device=device)  # Converted internally to [0, 360)
times = [datetime(2005, 10, 11, 12)]

model = CBottleTCGuidance.load_model(package, seed=0).to(device)
# Create guidance tensor
guidance, coords = model.create_guidance_tensor(lat, lon, times)
guidance = guidance.to(device)
# Run guided sampling
guided_sample, guided_coords = model(guidance, coords)

Đầu ra, guided_sample, chứa trạng thái khí quyển được tạo ra.

Điều này giúp dễ dàng trích xuất các biến như gió zonal 10 mét, áp suất mực nước biển trung bình, hoặc các trường được tạo khác để phân tích và trực quan hóa. Ví dụ vẽ thành phần gió zonal 10 mét, u10m, trên một miền Caribbean (Hình 1, bên dưới). Trực quan hóa này giúp xác minh rằng trạng thái được tạo chứa cấu trúc gió giống như xoáy thuận nhiệt đới mạch lạc gần vị trí được yêu cầu.

Tính toán tỷ lệ log-odds

Lấy mẫu một cơn bão nhiệt đới có hướng dẫn là hữu ích, nhưng đóng góp nghiên cứu chính là khả năng ước tính xác suất của mẫu đó theo phân phối có hướng dẫn so với phân phối cơ bản không có hướng dẫn.

Tính toán tỷ lệ odds đòi hỏi phải ước tính sự phân kỳ của luồng sinh, điều này lần lượt cần các đạo hàm bậc hai thông qua mô hình. Vì lý do đó, ví dụ tải lại mô hình với allow_second_order_derivatives=True.

model = CBottleTCGuidance.load_model(
    package,
    seed=0,
    sampler_steps=2,
    allow_second_order_derivatives=True,
).to(device)
log_odds_ratio, forward_latents, latent_coords = model.calculate_odds_ratio(
    guidance,
    coords,
)
print(f"Log odds ratio: {log_odds_ratio:.4f}")
print(f"Forward latents shape: {tuple(forward_latents.shape)}"

Ví dụ này giảm sampler_steps để tăng tốc thời gian chạy. Đối với các mẫu chất lượng cao hơn và các giá trị tỷ lệ chênh lệch ổn định hơn, nên sử dụng cài đặt bộ lấy mẫu mặc định.

Giá trị log_odds_ratio trả về cho bạn biết hướng dẫn đã thay đổi xác suất của mẫu được tạo ra bao nhiêu. Giá trị âm có nghĩa là mẫu có khả năng xảy ra cao hơn nhiều theo phân phối được hướng dẫn so với mô hình cơ sở không được hướng dẫn.

Tensor forward_latents cung cấp mẫu được hướng dẫn được sử dụng bởi phép tính tỷ lệ chênh lệch.

Tại sao điều này lại quan trọng đối với khoa học khí hậu

Bài báo cho thấy các bộ mô phỏng khí hậu bằng mô hình khuếch tán có thể cung cấp thông tin xác suất mà trước đây không có sẵn dưới dạng thực tế cho các trạng thái khí quyển đầy đủ.

Điều này quan trọng vì nhiều câu hỏi về khí hậu về cơ bản là xác suất. Các nhà nghiên cứu muốn biết xác suất một cơn bão nhiệt đới xuất hiện gần một đường bờ biển cụ thể là bao nhiêu, xác suất đó thay đổi như thế nào dưới các nhiệt độ bề mặt biển khác nhau, và liệu các mô hình tạo sinh được hướng dẫn có thể tạo ra các sự kiện hiếm gặp hiệu quả hơn so với lấy mẫu vét cạn hay không.

Bằng cách kết hợp tạo sinh có hướng dẫn với chẩn đoán tỷ lệ chênh lệch, có thể lấy mẫu các sự kiện hiếm gặp thường xuyên hơn trong khi vẫn ước tính xác suất của chúng theo phân phối khí hậu cơ sở. Trong bài báo, điều này cho phép lấy mẫu quan trọng các trạng thái của bão nhiệt đới và giảm sai số chuẩn 25% so với lấy mẫu Monte Carlo đơn giản.

Các cơ hội ngoài khí hậu

Mặc dù ví dụ tập trung vào các cơn bão nhiệt đới, ý tưởng này rộng hơn: Hướng dẫn một mô hình sinh tạo về một phần hiếm nhưng quan trọng của phân phối, sau đó tính toán mức độ mà sự hướng dẫn đã thay đổi xác suất mẫu.

Mô hình này có thể hữu ích trong các lĩnh vực mà các sự kiện hiếm chiếm ưu thế về rủi ro, bao gồm khả năng phục hồi của lưới điện, kiểm tra ứng suất hàng không vũ trụ, ước tính rủi ro đuôi tài chính, khám phá vật liệu, các trường hợp biên của robot và mô phỏng phân tử.

Khi lấy mẫu ngây thơ hiếm khi tìm thấy sự kiện quan trọng, việc lấy mẫu sinh tạo có hướng dẫn cộng với hiệu chỉnh tỷ lệ chênh lệch có thể làm cho việc ước tính sự kiện hiếm trở nên thực tế hơn.

Các hướng nghiên cứu trong tương lai

Các kết quả hiện tại còn sơ bộ nhưng đầy hứa hẹn. Cần có thêm công việc để làm cho các phương pháp này nhanh hơn, chính xác hơn và áp dụng rộng rãi hơn.

Lấy mẫu khuếch tán có thể tốn kém về mặt tính toán, đặc biệt khi các phép tính tỷ lệ chênh lệch yêu cầu đạo hàm bậc hai. Các bộ lấy mẫu nhanh hơn, chưng cất hoặc các phương pháp khuếch tán ít bước hơn có thể làm cho việc ước tính khả năng xảy ra của sự kiện hiếm trở nên có khả năng mở rộng hơn. Ước tính mật độ tốt hơn và các phép tính log-odds ổn định hơn sẽ cải thiện độ tin cậy trong các ước tính xác suất hạ nguồn. Các hàm hướng dẫn chính xác hơn cũng có thể nhắm mục tiêu vào các loại, cường độ và khu vực sự kiện khác nhau trong khi vẫn duy trì tính nhất quán vật lý.

Bão nhiệt đới là một ví dụ về các sự kiện cực đoan. Các phương pháp tương tự có thể được khám phá cho các dòng sông khí quyển, sóng nhiệt, bão lớn, điều kiện hạn hán và các sự kiện cực đoan kết hợp. Các ước tính xác suất có hướng dẫn cũng có thể hỗ trợ các thí nghiệm tương tự như quy kết mới bằng cách so sánh xác suất sự kiện trên các điều kiện biên hoặc trạng thái khí hậu khác nhau, khi bộ mô phỏng khuếch tán được huấn luyện trên các khí hậu khác nhau như vậy.

Bắt đầu

Đọc bài báo: Towards accurate extreme event likelihoods from diffusion model climate emulators, và khám phá ví dụ Earth2Studio, 05_cbottle_tc_guidance.py.

Để biết thêm thông tin nền tảng, hãy xem bài báo cBottle, Climate in a Bottle, và kho lưu trữ GitHub NVIDIA Earth2Studio NVIDIA Earth2Studio GitHub repository.

• Cách đánh giá các chính sách Robot đa năng cho triển khai thực tế
• Triển khai NVIDIA Cosmos 3 sau huấn luyện trong một ngày bằng Kỹ năng Agent
• NVIDIA Ising Decoding giảm tỷ lệ lỗi Logic mã màu hơn 300 lần
• Xây dựng Ứng dụng Theo dõi 3D Đa Camera với Kỹ năng NVIDIA DeepStream 9.1
• Nâng cao hiệu suất trong huấn luyện LLM quy mô lớn bằng cách sử dụng song song tensor không đồng nhất