Der um 1526 in Antwerpen als Sohn des Söldners Nicolaas Grimmer und seiner Frau Elisabeth Cops geborene Landschaftsmaler Jacob Grimmer ging 1539 bei Gabriel Bouwens in die Lehre. Laut Van Mander und Van den Branden soll er außerdem bei Matthijs Cock und Christiaan van den Queeckborne in Antwerpen gelernt haben. 1547 wurde er als Meister in die Antwerpener St. Lukasgilde aufgenommen. Am 10. April 1548 heiratete er Lucia van den Wouwer und kaufte am 26. März 1550 das Haus „het Haentje" (Nr. 24) auf der „Paddengracht". 1557 ist Anthony de Baersie als sein Schüler verzeichnet. 1566 veräußerte Grimmer sein Haus und zog zur Miete in die Pfarrei Sint Joris um. Sein gegen 1575 geborener Sohn Abel wurde im väterlichen Atelier zum Maler ausgebildet und 1592, zwei Jahre nach dem Tod des Vaters in Antwerpen, als Meister in die St. Lukasgilde aufgenommen.
