<link rel="preload">を使ってCSSを非同期で読み込む - Qiita

と記述すると、PreloadでCSSを取得して、読み込みが終わったらstylesheetを適用させる...