Os filhos ficam com você, eles não tem uma programação pra serem filhos de um personagem. Então o jogo só conta que você tem filhos mesmo e não que era de X e agora você tá com Y