조사당은 조선시대에 중수한 사찰 건물로 부석사 무량수전에서 북쪽으로 약간 떨어진 산 중턱에 있다. 의상대사의 초상을 모신 곳으로, 고려 우왕 3년(1377)에 지었다는 기록물이 1916년의 해체 공사 때 발견되었다. 조선 성종 21년(1490)에 중수하고 성종 24년(1493)에 단청하였으며, 선조 6년(1573)에는 서까래를 수리하였다.

앞면 3칸·옆면 1칸 규모의 작은 전각으로 측면 쪽으로 약간 비스듬히 진입하여 소박하고 간결한 느낌을 준다. 맞배지붕은 간단해 보이지만 넉넉하게 뻗어 나와 결코 작은 건물이라는 느낌이 들지 않는다. 건물 내부에는 보살상·사천왕상 등이 그려진 고려 후기의 벽화가 있었는데, 벽에서 분리하여 무량수전에 보관하다가 지금은 보장각에 보관하고 있다.