No 1884. līdz 1886. gadam studēja Maskavas Universitātes vēstures un filoloģijas fakultātē, vēlāk studēja Berlīnes Universitāte (pie Teodora Momzena), vēlāk daudz ceļoja par Eiropu. 1905. gadā apmetās Sanktpēterburgā un kļuva par vienu no simbolistu ideologiem. Ivanova dzīvoklis, dēvēts par "torni", kļuva par vienu no Pēterburgas intelektuāļu centriem.
1912. gadā atkal pameta Krieviju (daļēji skandalozās trešās laulības rezultātā - viņš apprecējā savu pameitu), tomēr 1913. gadā atgriezās Maskavā, kur satuvinājās ar vietējām intelektuāļu aprindām. Pēc Oktobra revolūcijas strādāja Baku. Nepieņemdams revolūciju, devās emigrācijā uz Itāliju.
1926. gadā pārgāja katolismā. Pasniedza slāvu valodas un kultūru katoļu mācību iestādēs Pāvijā un Romā.