ガサガサいうのはおそらく短い髪の毛ですね
私も以前は面倒だなと思っていましたが、綿棒などで毛の位置を把握してから、100均のキャン✫ドゥで売ってるはさみ型毛抜きでとると意外と簡単に、耳の中を傷つけずに取れます。
（耳の中に毛が沢山生えてる場合、ついでに抜いてしまえば気持ち良いです。一度抜いたら生えなくなりました）