Károlyi grófi címer a Reviczky utcai Károlyi palota, vagyis a HIK bejárata felett. Középen van a Károlyiak ősi címere, egy (szó szerint) szívet tépő karvaly (a heraldikában a karvaly mindig szívet eszik, hogy meg lehessen különböztetni a többi madártól, de csak a magyar heraldikában, az angolban egyenesen, vigyázzba áll) és a Kaplony nemzetségre utal. Körülötte a sárkány Zsigmond császár Sárkányrendjének a jelvénye, amit a rend lovagjai a címerük körül viseltek, és később a leszármazottak sokszor a címerükbe is beemelték.
