torch mpsでflash attnが使えるようになればすこし状況は変わる気がするんだけど、それにはtritonのmetal対応が必要なのか。jetsonなどのunified memoryへの対応が始まればmpsへのサポートも期待できるかもしれないな

actually finished it.

qiita.com/advent-calen...