胤祥出生在一個人口眾多的特殊家庭。他的父親康熙帝玄燁，因早婚、早育、多后妃，生養了眾多子女。

在清朝皇帝中，玄燁的后妃人數是最多的，與玄燁同葬景陵的一共55位，其中皇后4人，皇貴妃3人，貴妃1人，妃11人，嬪8人，貴人10人，常在9人，答應9人。需要說明的是，玄燁生前冊封的后妃，只有皇后3人，貴妃2人，妃11人，嬪5人，貴人11人，常在14人，答應9

人。他死后，因雍正、乾隆二朝對其妃嬪又有追封，才出現后妃品級不同的現象。

這就是說，胤祥的生母、嫡母、庶母加在一起有55位以上。一個皇子有這么多的母親，不僅在清朝，即便是在中國歷史上大概也是屈指可數了。

何況，他的兄弟姐妹也多得驚人。玄燁12歲(周歲11歲)大婚，兩年后(1667)即14歲第一個孩子出生，至65歲最后一個孩子出生，玄燁前后一共生有55個子女。胤祥曾有過54個兄弟姐妹，這又是一個奇跡。

在康熙帝的眾多后妃中，胤祥的生母章佳氏并不據有顯赫的位置。她出身一般，是滿洲鑲黃旗參領海寬的女兒。初入宮，冊封妃。她于康熙二十五年生皇十三子胤祥，二十六年生皇十三女，三十年生皇十五女。在四年零兩個月內，連續生了三個孩子。這在玄燁中年以后的嬪妃中再無二例，說明她一度很受皇帝的寵幸。但是，她享壽不長，康熙三十八年(1699)去世。這時，她的兒女尚幼，胤祥14歲，皇十三女13歲，十五女9歲。估計章佳氏本人死時也還年輕。章佳氏死后，玄燁降諭禮部：“妃張雅氏(章佳氏)性行溫良，克嫻內則，久侍宮闈，敬慎素著。今以疾逝，深為軫(zhěn)悼，其謚為敏妃。”

幼年喪母，胤祥和兩個妹妹只好由其他嬪妃代為撫養。據說，撫養胤祥的是德妃烏雅氏，即后來繼承皇位的雍正帝胤禛的母親。這種陰錯陽差的安排，早早就把他與胤禛的命運聯系在一起。兩兄弟自幼晨夕聚處，感情深篤，胤禛奉命教胤祥算學，日事討論。每逢塞外扈從，也形影相依。兄弟相聚，宴集唱和，弟有所作，每就正于兄;兄扈從塞外，弟也間或有句相贈。胤禛長胤祥8歲。這種密切的手足之情，伴隨他們終生，經受了嚴峻的考驗，而胤祥人生的得與失，喜與悲，榮與損，起與落，又無不以此種關系來貫穿。

在清朝皇室中，皇子皇女幼殤的比例很高，康熙帝玄燁的子女也不例外。他的55個子女內，長大成人的只有28人。55位子女的平均壽命，只有2695歲。胤祥的兩個胞妹雖長大成人，也都壽命不永。他的大妹妹(皇十三女)20歲受封為和碩溫憲公主，遠嫁蒙古翁牛特部博爾濟吉特氏杜凌郡王倉津，三年后因難產死去，時年23歲。他的小妹妹(皇十五女)18歲時受封和碩敦恪公主，下嫁蒙古科爾沁部博爾濟吉特氏臺吉多爾濟，一年后去世，年僅19歲。這樣，兩個與胤祥血緣最近的親人就過早離世了。

胤祥6歲開始在皇宮內就學讀書。學習內容包括滿漢文化，儒家經典，以及書法繪畫。他的師傅法海，是康熙帝玄燁的舅舅佟國綱的第二子，換句話說，法海是玄燁的表弟，也即胤祥的表叔。法海是當時滿洲人中不可多得的博學碩儒。他23歲考中進士，授為翰林院庶吉士，又奉命在南書房行走，成為玄燁身邊的文學詞臣。康熙三十七年(1698)，玄燁選派他在懋勤殿輔導皇十三子胤祥、皇十四子胤禎(雍正繼位后改為允)。胤禎是胤禛胞弟，胤祥與胤禎一同就學，同樣反映了他與胤禛的特殊關系。這時，胤祥13歲，胤禎11歲。他們在法海門下一學就是10年，兩兄弟后來才學俱佳，與法海執教有很大關系。

胤祥幼時很得父皇寵愛。13歲時，胤祥第一次離開京城，隨父皇玄燁前往謁陵。此后，玄燁經常帶他四出巡幸。玄燁一生先后六次南巡，在諸皇子中，隨行次數最多的，就是胤祥。玄燁第三、四、五、六次南巡，他都參與其間。他還隨同玄燁巡幸過京畿、陜西西安、山西五臺山，或往塞外避暑圍獵。這說明，他在青少年時代，曾深得父皇的寵愛。

玄燁有那么多皇子，眾皇子對他猶如群星拱月，為什么卻對胤祥偏愛？

第一，他自幼溫文爾雅，在父親面前顯得很乖巧。《欽定八旗通志》記載：胤祥“幼偕諸王侍圣祖于宮廷。嘗隨行，以稚弱未能前視，圣祖過，尋履跡伏地嗅之，其孺慕誠切如此”。大意是說，胤祥幼時與諸兄一起侍從皇父于宮廷，因年齡小、個子矮，他幾乎看不見在眾人簇擁下一晃而過的父親。為了表示對父親的孝敬和仰慕，他不禁爬在父親剛剛留下的腳印上一個勁地聞起來。這個記載或者有所夸大，但印證胤祥一生的行止，和他死后被追謚為“賢”來看，他在為人之道上，無論是對父母、對兄長、對臣民，都很符合儒家傳統推崇的典范。

第二，他經過系統教育，加上本人的勤奮努力，才華橫溢。能文能詩，書畫俱佳。康熙四十一年(1702)，玄燁南巡，皇太子胤礽、皇四子胤禛、皇十三子胤祥隨駕。某日，玄燁在行宮召集大臣和皇子們研習書法。玄燁一時興起，談起自己習練書法的體會：“學書須臨古人法帖，其用筆時輕重疏密，或疾或徐，各有體勢。

宮中古法帖甚多，朕皆臨閱。”說罷，他意猶未盡，又親書大字對聯當場展示。隨即，他邀請眾人觀賞皇四子胤禛和皇十三子胤祥書寫的對聯，據說，諸臣環視，“無不歡躍欽服”。如此驚嘆的舉動，自然有阿諛逢迎的成分，但兩位皇子擅長書法確是事實。這一年，胤祥17歲，已學習書法多年，如果不是心里有底，玄燁又怎么會讓他同皇兄一起當場獻技呢？

胤祥隨從父皇巡幸各地，開闊了眼界，豐富了閱歷。他往往把內心感受即興寫成詩篇。他的詩清新雋永，很有意境。如《恭讀御制耕織圖詩敬成二律》：

歷歷三時況，如陳七月篇。

秋云青甸里，春雨綠疇邊。

圣政先無逸，皇心重有年。

孜孜宵旰意，總向畫圖傳。

玉帛梯航遠，山龍繪繡工。

豈知寒女事，猶入睿吟中。

勤儉昭淳俗，勞思愛古風。

垂裳開至治，衣被萬民同。

在詩中，他刻畫了農村田園詩的秀色，歌頌了父皇賢明的治理，同時流露出對百姓生計的關切。

第三，他繼承了滿洲人的傳統技藝，騎馬射箭樣樣精通。有記載提到，他“精于騎射，發必命中”。有一次出巡狩獵，一只猛虎突出林間，他神色不動，手持利刃向前刺之。見者無不佩服他的神勇。

胤祥出生時，父親給他取了一個寓意深刻的名字，依據的是《禮記·中庸》中的“國家將興，必有禎祥”，給他取名胤祥，給他的弟弟(皇十四子)取名胤禎。然而，祝福歸祝福，亦如出生在普通百姓家的子弟一樣，胤祥的人生道路也充滿了撲朔迷離的變數。