袁天罡的父亲袁玑在北州担任凉州私仓，叔父袁守城为著名术士，年少时孤苦贫寒，喜好相术，得叔父袁守诚的真传，甚至青出于蓝而胜于蓝。
传说袁天罡这个人高深莫测，一阵风从他身边经过，他都能辨别是凶是吉，甚至到了晚年还能预知自己生死，他可因为这身变幻莫测的本领，令世人敬畏，堪称千古第一奇人。
大业元年，在洛阳任资管令期间杜淹，王珪，韦挺来找他看相，袁天罡对杜淹说，您兰泰台之位（鼻子左侧）已然饱满，学堂之处（耳门的前处）宽阔，一定会位居御史，并因为文采而受到赏识。对王珪说，您面部三庭，已然匀称，上庭额与下庭地浑然相邻，今后十年，必得五品要职，对韦挺说，您面相如虎，交友极其诚恳，一定会得到朋友的提携，开始为官时会任武官。
并且对三人说，二十年后三位恐怕会同时被罢免，但只是短暂离开，不久又会回来，后来杜淹不久又升为侍御史，武德年间任天策府兵，曹参军，文学馆学士，王珪为太子中允，在隋朝末年，韦挺与李建成关系良好。后被李建成引荐任东公率，在武德6年时期，受宫廷政变牵连，他们都被发配流放至隽州。杜淹等人到了益州，见到袁天罡说，袁公在洛阳说的话，现在都实现了。
当年袁天罡在大街上看到容光满面的杨夫人（武则天的母亲），便断定她家里必定有大富大贵之人。听了袁天罡的话，她急忙把家中的两个孩子叫了出来，可是袁天罡却说，你这两个孩子最多也只能做个三品官，就在这时家中奶妈把一个男童打扮的幼童抱了出来，袁天罡看了一眼幼童脸色突然大变，这孩子生的金贵，要是女孩的话，将来一定可以当皇帝。殊不知这个男装打扮的小女孩正是后来中国唯一的正统女皇帝武则天，在古代封建社会，女人是怎么可能当皇帝的，而袁天罡却能断定武则天将来一定可以当皇帝，可见他的相术十分了得了。
袁天罡不仅对别人的人生能够做出精准的预测，也对自己的命运了如指掌。
深受唐太宗器重的期间，袁天罡请求皇上让他卸任，荣归故里。唐太宗答应了他的请求，在他离开之前，同僚们都为他践行便问他，您还能做什么？袁天刚回答说，我自知天命，今年4月我寿命就耗尽了。果然到了4月传来了袁天罡的死讯。
一个人能有如此造诣高深的相术，恐怕再也找不到第二个能与之媲美的人了！
