Rust初心者ですが、確かに問答無用で使うな、というものではなさそうですね
Bookに何度か出てきた「コンパイラよりも開発者の方がわかっているケース」であるとか、unsafeな関数で、呼び出し側がドキュメントを読んでいる前提のコードなど、許容される状況はいろいろありそうです