He de suponer que cometiste un pequeño error al escribir la expresión binomial y que en realidad es así : 36a²b - 144 x² y² b en tal caso lo primero que se aplica es factor común a la b y a 36 y a 144 y queda así:
4b( 9a² - 36x²y²) = aplicamos la tercera fórmula notable
4b (3a + 6xy)(3a - 6xy)