Chùa có tên như vậy là do trước chùa có một cột đá [[Nhất Trụ]] (cột kinh Lăng Nghiêm) cao hơn 4 [[m]], có 8 mặt và 6 chi tiết được lắp dựng với nhau bởi các ngõng đá bao gồm: Tảng đế vuông dày 30cm30 cm, kích thước mỗi chiều 140cm140 cm, có lỗ mộng tròn ở giữa. Đế tròn có đường kính 76cm76 cm, dưới đáy đế có ngõng lắp vừa khít vào lỗ mộng ở tảng đế vuông. Trên mặt đế tròn có lỗ mộng sâu 9cm9 cm. Thân cột bát giác cao 2,375m và có số đo qua tâm hai mặt đối diện là 65cm65 cm ở phần trên và 61cm61 cm ở phần dưới thân cột. Hai đầu cột đều có ngõng cắm vào đế và thớt. Thớt bát giác dày 13cm13 cm, số đo qua tâm hai mặt đối diện là 69cm69 cm, mặt dưới có lỗ mộng ngậm khít vào ngõng trên của thân bát giác. Phía trên thớt là biểu tượng bông hoa sen bằng đá cao 26cm26 cm có đường gờ miệng uốn lượn tạo nên 8 đỉnh nhọn, phía dưới bông hoa thu nhỏ thành hình tròn, mặt trên có lỗ mộng tròn để gắn chóp. Chóp có hình chiếc hồ lô thóp bụng, miệng tù, cao 80cm80 cm, có đường kính 30cm30 cm. Phía trên tảng vuông bao quanh đế cột có vòng tròn đường kính 107cm107 cm trang trí những cánh sen, với tổ hợp 22 cánh đơn, chiều dài mỗi cánh 15-17cm15–17 cm, rộng 13cm13 cm. Cánh sen thon tương tự như cánh sen trang trí trên một số tảng đá của các công trình khác trong khu di tích... Trên tám mặt của thân bát giác có khắc đầy chữ hán, ước khoảng 2.500 chữ, nhiều chữ đã bị mờ khiến cho văn tự không đọc được nguyên vẹn, số chữ có thể đọc được hoặc nhận dạng là 1.200 chữ. Do ảnh hưởng của thời tiết, môi trường tác động mà hiện tại số lượng chữ có thể đọc được là rất hạn chế. Các mặt của lăng Kinh khắc bài thần chú trong Kinh Lăng Nghiêm và một số bài kệ. Cột đá này được dựng khoảng năm [[995]]. Trên cột đá còn thấy các chữ "Đệ tử Thăng Bình Hoàng đế tả tạo" (Hoàng đế Thăng Bình tức vua [[Lê Đại Hành|Lê Hoàn]]).
Giá trị văn hóa của chùa Nhất Trụ trong quần thể di tích [[cố đô Hoa Lư]] được thể hiện ở câu đối:
