Evaluating bids

Optimización de conexiones postgres 9.6

Published on the October 08, 2018 in IT & Programming

About this project

Open

Tengo una aplicación realizada en python y el framework http://web2py.com/, utilizamos el módulo scheduler https://web2py.readthedocs.io/en/latest/scheduler.html el cuál genera "workers" que realizan las tareas según calendario.
El problema surge al tener 50-100 "workers" ya que cada uno abrea varias conexiones hacia postgres y las mantiene activas todo el tiempo en esta "idle" o "idle in transaction", postgres está configurado en "session", ya que si se cambia a "transaction" los worker dejan de funcionar o si se coloca la configuración "idle in transaction timeout".
Las conexiones en postgres comienza a consumir y consumir memoria hasta que alguno de los procesos consume 50% o más de la memoria en el servidor (12GB de ram). Sin estar ejecutando algo en background  (Unicamente el select a la cola de espera para saber si tiene algo que realizar).

Category IT & Programming
Subcategory Other
Project size Medium
Is this a project or a position? Project
I currently have I have specifications
Required availability As needed

Delivery term: Not specified

Skills needed