Pierwsza budowla, gruzińska, stanęła tu w XI w. Ormianie wybudowali swą katedrę ponad nią, sto lat później. Trzy nawy eleganckiego kościoła, poprzedzielane filarami, wieńczy kopuła o plecionym żebrowaniu. Przepiękne dywany jaśnieją w świetle setek lampek zwisających z sufitu. Wewnątrz kościoła pod żelazną kratą znajduje się grób innego Jakuba, zwanego Młodszym, a w Ewangeliach nazywanego „bratem Pańskim”. Na bogato zdobionym chórze ustawiono katedrę św. Jakuba, czyli starożytny tron biskupi.

Jakub Starszy, brat Jana Ewangelisty i jeden z trzech najbliższych uczniów Jezusa, został ścięty w 44 r. z rozkazu Heroda Agrypy. Zginął jako pierwszy z apostołów. Miejsce męczeństwa upamiętnia kaplica, do której wejście prowadzi z nawy północnej. W tej samej nawie, w zakrystii przechowywany jest skarbiec patriarchatu ormiańskiego. Natomiast kaplica, do której prowadzą drzwi po stronie południowej, kryje w sobie pewną osobliwość: trzy kamienie - jeden z góry Synaj, drugi z Taboru, trzeci wreszcie z rzeki Jordan.

W wiekach średnich kaplica ta stanowiła portyk wejściowy do świątyni. Został on jednak zabudowany w XVII w. Pomimo to średniowieczny portal i arkady dostrzegalne są z zewnątrz.