旧时因为君王认定泰山石敢当具有神力，所以将其立于各个街头巷尾。尤其是丁字路口或是凶位上，一来能够起到震慑作用，二来而作为引路的标石。
石碑上刻有“石敢当”，或“泰山石敢当”的字，在碑额上还有狮首、虎首等浅浮雕。“石敢当”的文字记载最早见于西汉史游的《急就章》：“师猛虎，石敢当，所不侵，龙未央”。
元代陶宗仪《南村辍耕录》中记载“今人家正门适当巷陌桥道之冲，则立一小石将军，或植一小石碑，镌其上曰石敢当，以厌禳之”。
石敢当在不同的地方也有不同的样式，有浅浮雕的，有圆雕的，有的刻有八卦图案；有的什么装饰也没有，只刻有石敢或泰山石敢当。
宋代出土的唐大历五年的石敢当上刻有“石敢当，镇百鬼厌，百殃,官吏福,百姓康，风教盛,礼乐昌。”的文字，可以看出当时石敢当的作用。
泰安城南的汶口镇有户人家，一对老夫妻只有一个女儿。不知从什么时候开始，每到太阳下山以后，只见东南方向刮来一股妖风直钻姑娘的屋里。天长日久，这个姑娘变得面黄肌瘦，非常虚弱。找了许多医生也治不好她的病。
这时有人说：“看来是妖气缠身，光吃药是治不好的。听说泰山上有个石敢当很勇敢，何不找他来想想办法？”
石敢当说：“这事好办，找来十二对童男童女。一人一面锣。再准备一盆香油，把棉花搓成粗灯芯，还要一口锅，一把椅子，只要这些东西都备齐了，我一定能把妖怪拿住。”
只见他把灯芯放在香油盆里，点燃了油灯。他用锅把盆子扣住，坐在旁边，用脚挑着锅沿，这样，虽然点着灯，远处看不到灯光。天黑了，随着一阵呼呼的响声，从东南方向窜出一股妖风。
石敢当一脚踏翻锅，油灯立刻放出了耀眼的光芒。十二对童男童女同时敲响了锣鼓。妖怪一进屋，看见了灯光，听到了响声，赶快闪了出去，朝南方逃跑。这股妖风后来到了福建，继续作威作福。福建的一些农户也被妖风缠身，患了重病。人们打听来打听去，听说泰山有个石敢当能驱除妖怪，就把石敢当请到了福建。石敢当用老办法把妖怪赶走了……
这妖风又逃到了东北，东北有些姑娘也得了重病，人们又把石敢当请到了东北。石敢当想：“我赶它一回，它就逃到别处，全国这么大，我怎么跑得过来呢？对，泰山有很多石头，我请石匠在石头上刻上我的家乡和名字——泰山石敢当，谁家闹妖风，就把这石头放在谁家的门外，妖怪就不敢进去了。”
泰山石敢当降妖的事越传越远，后来人们为了避邪，所以在盖房子的时候，总是把刻有“泰山石敢当”的石头砌在墙上或放在门口，用来避邪。泰山石敢当是一种风水镇物。也许大家常听说宅第附近要有“石敢当”，或安置“水神反弹”，可以避邪化煞，很多人搞不懂为何放置此种东西。其实设置“石敢当”就是用来化煞的。凡是宅第路冲、水冲，屋主为求平安，于是就在道路旁或墙上安置“石敢当”。