胡仙堂建于明代。门上的楹联为“入深山修心养性，出古洞得道成仙”。这三尊塑像，中间为胡仙，身边是他的两位药童，一位手拿灵芝，一位手拿葫芦。
相传明朝登州府内有一姓胡的人家，家中有３位公子，但他们三人自幼无心读书，淡薄名利，到处寻求民间药方，进深山采药为老百姓治病。兄弟三人中数胡三医术最高，不管什么样的疑难杂症，他都能药到病除，妙手回春，因此被人尊称为“胡仙”。后来他潜修仙道，得道成仙。人们建此“胡仙堂”纪念他的功德。
东面墙上有《深山采药图》，为山东省画院高级画师王汝霖所作。