Using Numerical Dynamic Programming to Compare Passive and Active Learning in the Adaptive Management of Nutrients in Shallow Lakes

This paper illustrates the use of dual/adaptive control methods to compare passive and active adaptive management decisions in the context of an ecosystem with a threshold effect. Using discrete‐time dynamic programming techniques, we model optimal phosphorus loadings under both uncertainty about natural loadings and uncertainty regarding the critical level of phosphorus concentrations beyond which nutrient recycling begins. Active management is modeled by including the anticipated value of information (or learning) in the structure of the problem, and thus the agent can perturb the system (experiment), update beliefs, and learn about the uncertain parameter. Using this formulation, we define and value optimal experimentation both ex ante and ex post. Our simulation results show that experimentation is optimal over a large range of phosphorus concentration and belief space, though ex ante benefits are small in our example. Furthermore, realized benefits may critically depend on the true underlying parameters of the problem. Le présent article illustre l'utilisation des méthodes de contrôle adaptatif pour comparer les décisions de gestion adaptative active et passive dans le cas d'un écosystème ayant un effet de seuil. À l'aide des techniques de programmation dynamique en temps discret, nous avons conçu un modèle des charges optimales en polluants phosphorés en tenant compte, à la fois, de l'incertitude quant aux charges naturelles et de l'incertitude quant au niveau critique des concentrations en phosphore au‐delà desquelles le recyclage des éléments nutritifs débute. Nous avons modélisé la gestion active en incluant la valeur prévue de l'information (ou de l'apprentissage) dans la structure du problème; par conséquent, l'agent peut perturber le système (l’expérience), actualiser ses croyances et découvrir les paramètres incertains. À l'aide de ce modèle, nous avons caractérisé et évalué l'expérience optimale ex ante et ex poste. Les résultats de notre modèle de simulation ont montré que l'expérience est optimale pour un large éventail de concentrations en phosphore et de croyances, bien que les avantages ex ante soient faibles dans le cas de notre exemple. Les avantages réalisés pourraient dépendre des paramètres sous‐jacents réels du problème.