У Ямандан йўлга чиқиб, Мадинага Абу Бакр Сиддиқ розиаллоҳу анҳу ҳукмронлик қилган даврда етиб келган.
Ривоят қиладиларки, Абу Муслим яшаб ўтган даврда Яманда ал-Асвад ал-Анбаси исмли сохта пайғамбар пайдо бўлган, Абу Муслим пайғамбар деб тан олмагани учун уни тириклай ёқиб юбормоқчи бўлган, лекин олов унга зарар етказмаган. Абу Муслим Мадинага келганида Умар (розиаллоҳу анҳу) бу ҳақида эшитгач, кўзларида ёш билан уни қарши олган.
Унинг зоҳидлиги ҳақида айтишларича, у жониворлардан кўра кўпроқ калтакка лойиқ эканлигини айтиб, масжидга қамчи илиб қуйишни буюрган. Шунингдек, у «Агарда мен Жаннатни ва Дўзахни ўз кўзларим билан кўрадиган бўлсам, ўз амалларимга ҳеч нарса қўшиб қўя олмайман» деган. Бу унинг мутлақ тарки дунё қилган зоҳид эканлигидан ва ўз вақтини ибодат билан ўтказганлигидан далолат беради.
Шурахбилдан ривоят қилинишича, икки киши Абу Муслимни кўриш учун келган, лекин уни уйидан топа олмасдан, масжидга қидириб борган ва ўша ерда намоз ўқиётган ҳолда топган. Уни кутиб, уч юз раккат намоз ўқиганини санаганлар. Абдулмалик ибн Умайрнинг айтишича, агар Абу Муслим ёмғир сўраб дуо қилса, албатта ижобат бўлган.
Шунингдек, бир аёл у ҳақида ғийбат тарқатганида, унга қарши дуо ўқиган ва аёл кўр бўлиб қолган. Маълум вақт ўтгач, аёл унинг олдига келиб, ўз қилмишлари ҳақида айтган ва тавба қилган, у «Аллоҳим, агар унинг сўзлари рост бўлса, кўзини қайтар» деб дуо қилган ва аёлнинг кўзлари очилган.
Абу Муслим жасур одам бўлган, ҳукмдорларга нима ўйлаб турган бўлса, шуни айтишдан ва уларга масаҳат беришдан қўрқмаган. Айтишларича, у Муавиянинг олдига келиб: «Ассалому алайкум, эй ёланма ишчи (ал-ажир)» деган. Муавия атрофидагилар безовта бўлиб, унга «Жим бўл» дейишади. Бунга Муавия: «Тинч қўйинглар. У нима деяётганини жуда яхши билади» дейди. Муавия унга жавоб беради: «Ваалайкум ассалом, Абу Муслим». Сўнгра Абу Муслим унга баъзи маслаҳатлар бериб, адолатли бўлиш ва баъзи араб қабилаларидан бошқалар фойдасига юз ўгирмасликни айтади.
Яна бошқа бир мисол:
Бир куни ҳалифа Муовия ибн Абу Суфён минбарда туриб хутба қилаётган эди. У ўша пайтда одамларга бериладиган моддий ёрдамни тўхтатиб қўйган эди.
Одамлар ичидан Абу Муслим исмли киши ўрнидан туриб:
«Муовия! Албатта, ўша бериладиган нарса сенинг меҳнатингдан ҳам, отангнинг меҳнатидан ҳам, онангнинг меҳнатидан ҳам эмас эди!-деди.
Муовия ғазабланди. Минбардан тушди. Одамларга, то келгунимча туриб туринглар, дедида бир муддат ғойиб бўлди. Сўнгра қайтиб чиқди. Ғусл қилиб олган эди. Кейин, Абу Муслим менга гапириб, ғазабимни чиқарди. Мен Расулуллоҳ соллаллоҳу алайҳи васалламнинг: «Ғазаб шайтондандир. Шайтон эса оловдан яратилгандир. Албатта, оловни сув билан ўчирилади. Қачон бирингиз ғазабланса ғусл қилиб олсин», деганларини эшитган эдим. Кириб ғусл қилиб чиқдим. Абу Муслим тўғри айтди. Албатта, у менинг меҳнатимдан ҳам эмас, отамнинг меҳнатидан ҳам эмас. Келинглар оладиган атоларингизни олинглар»-деди.
Абу Муслим ҳижрий 62 йил византияликларга қарши уруш пайтида уларнинг ерларида вафот этган. Имом аз-Заҳабийнинг айтишича, Дарияда одамар кўп зиёрат қиладиган қабр бор ва у Абу Муслим Хавлонийники дейшади; бу ҳақиқатда унинг қабри бўлиши мумкинлиги эҳтимоли бор.
