Im Mai 1548 wurde Karel van Mander in Meulebeke in Flandern geboren. Sein Vater, Cornelis van Mander, war adeliger Abstammung, und seine Mutter Johanna van der Beke besaß Vermögen. Van Mander erhielt eine gute Schulausbildung: Er besuchte die Lateinschule in Tielt und hatte einen französischen Lehrer in Gent. Dort begann er seine Ausbildung bei dem zugleich auch als Dichter tätigen Maler Lucas de Heere und schloss sie 1568/69 bei Pieter Vlerick in Tournai ab. Nach seiner Rückkehr ins Elternhaus schrieb er zunächst Theaterstücke und malte dazu passende Dekorationen. Um 1574 reiste Van Mander über Florenz und Terni nach Rom, wo er drei Jahre verbrachte. Dort traf er auf Bartholomeus Spranger, dem er über Basel und Krems nach Wien folgte. 1577 arbeitete er gemeinsam mit Spranger und Hans Mont in Wien an dem Triumphbogen für den Einzug von Kaiser Rudolf II. Noch im selben Jahr kehrte Van Mander über Nürnberg nach Meulebeke zurück. Vier Jahre später floh der inzwischen Verheiratete vor den wallonischen Truppen über Kortrijk, wo er für die Leinenweber-Gilde den Katharinenaltar ausführte, nach Brügge und ließ sich 1583 in Haarlem nieder. Im folgenden Jahr schrieb er sich dort in die St. Lukasgilde ein. Gemeinsame künstlerische Interessen – insbesondere die Vorliebe für den von den Künstlern am Prager Hof geprägten Manierismus – verbanden ihn mit Hendrick Goltzius und Cornelis van Haarlem. Ihrer Zusammenarbeit in den Jahren 1586 bis 1590 entsprang die Haarlemer „Akademie". Karel van Mander gehörte auch der 1585 gegründeten flämischen rederijkerkamer „De Witte Angieren" an. Sein literarisches Hauptwerk, das „Schilder-boeck", schloss er 1603 in Zevenbergen ab. Im Juni des folgenden Jahres zog Van Mander nach Amsterdam, wo er verarmt am 11. September 1606 starb und in der Oude Kerk begraben wurde.
Die besondere Bedeutung von Karel van Mander liegt in seiner kunstliterarischen Tätigkeit. Sein 1604 in Haarlem veröffentlichtes „Schilder-boeck" zählt zu den wichtigsten zeitgenössischen Quellen zur niederländischen Malerei um 1600. Als Maler konzentrierte sich Van Mander vorwiegend auf Historien mit religiösen und mythologischen Themen. Zu seinen zahlreichen Schülern gehören Cornelis Engelsz., Frans Hals und sein ältester Sohn, Karel van Mander II.