Каррильо родился в 1915 году в рабочей семье. В 1930-е годы после посещения Москвы он стал одним из организаторов объединения молодежных союзов социалистов и коммунистов в организацию Объединенная социалистическая молодежь.
В 1936 году, после начала гражданской войны, Каррильо вступил в Коммунистическую партию Испании. Во время битвы за Мадрид 7 ноября 1936 года он был избран руководителем комитета общественного порядка Совета обороны Мадрида.
Каррильо возглавлял Коммунистическую партию с 1960 по 1982 год. Он считался одним из последних остававшихся в живых ветеранов Гражданской войны в Испании.