佐尔格成为苏联间谍后，主要是负责收集情报，并被派往不同国家执行任务，着手建立国外间谍网。佐尔格曾被派往英国帮助组织矿工罢工，还被派往斯堪的纳维亚半岛诸国组建共产党。在出色完成这一系列任务后，当时的苏联谍报高层决定派佐尔格去执行一项特殊的任务——去往东方的中国。
20世纪20年代末、30年代初的中国局势非常复杂，当时中国共产党受到了极大的挫折，苏联急需了解当时其境遇；而且苏联也想知道英、美、法，尤其是日本在中国的战略企图；同时也需要派人去组织重建被国民党政府破坏了的共产国际情报网。所以就需要佐尔格去搜集足够的情报，供苏联当局分析，同时重新建立在中国的情报网。
1930年初，佐尔格来到上海，并从此和中国结下了一段不解的缘分。来到中国之后，佐尔格凭借其德国博士的身份以及_大堆德国各个部门的推荐信，很快与德国驻中国使馆的官员以及中国政府的高层有了密切往来。
除此之外，因为佐尔格精通英、法、俄语，在很短的时间内又掌握了汉语和日语，所以和包括中国在内的很多居于上海的社会贤达人士都有了接触。而且在这一过程中，佐尔格物色了很多各方面的杰出人才加入了其间谍网，其中就包括当时日本《朝日新闻》驻华的记者尾崎秀实。这个人成为日后佐尔格在日本从事谍报工作最得力的助手，很多非常重要的情报都由他获得。
在建好了关系网和间谍组织之后，佐尔格很成功地获得了他想知道的一切情报。在这些情报中，包括当时国民政府军队的作战能力、武器配置、各派系之间的纷争以及大的外交方针政策；同时也包括美、英、法、日、德等列强的对华政策，它们在中国的实力对比等。除此还包括当时由中国共产党领导的苏区部分情况。
在总结汇报中，佐尔格着重提到了日本有进一步扩大对华战争的可能。当苏联政府收到这样一份详尽的报告时，对他的工作非常满意，并且命令佐尔格要着重留意中日关系。正当佐尔格进行下一任务时，却发生了一件事，并最终迫使其离开了中国。
1931年6月，共产国际派驻中国的牛兰夫妇被捕，中外着名人士包括宋庆龄、爱因斯坦等人都参与到了营救牛兰夫妇的行动中。最终，佐尔格亲自在其中周旋，挽救了牛兰夫妇的生命。然而在营救的过程中，佐尔格引起了国民政府当局的注意，为了安全起见，他不得不在1932年底离开了中国。
此后，佐尔格与中国的缘分并未就此终止。当他再一次踏上中国的土地时，这个国家正在承受着前所未有的苦难。
1937年底南京沦陷后，佐尔格出差来到中国，目睹了日军在中国犯下的滔天罪行。他对此义愤填膺，拍摄了大量日军施暴的照片，如今成为南京大屠杀的重要证据。
回到莫斯科不久，佐尔格便接受了新的任务。
当时的日本在占领中国东北三省之后，表现出了咄咄逼人的态势，苏联担心受到日本的攻击，因此急需了解日本的战略动向，于是决定加强在日本的谍报组织力量，而有过在中国工作经历的佐尔格成为不二人选。
不过，1933年9月佐尔格踏上日本的土地时，其搜集情报的工作面临着巨大的挑战。因为当时的日本已经完全由军部把持，对内实行法西斯统治，并且积极备战、准备对外扩张。所以日本东京可以说成为了当时世界上戒备最森严的地方，尤其是将每个外国人都视为潜在的敌人。
机智的佐尔格很快找到了突破点。佐尔格有意接近了当时德国驻日大使馆的武官尤金·奥特上校。而这时佐尔格在一战中受伤的腿和获得的铁十字勋章发挥了很大作用，因为奥特上校也曾参加过一战，因此与佐尔格倍感亲近，两人很快成为了好朋友。不仅如此，佐尔格还帮奥特升了官，这让奥特更加信任和依赖佐尔格。
佐尔格利用其在日本的关系网，帮助奥特上校完成了他的情报工作，同时奥特将佐尔格对时局的精辟见解也讲述给了上司，这令上司大为赞赏。奥特很快继任了驻日大使。就是通过这样的途径，德国驻日本大使馆的大门完全向佐尔格敞开了，他可以毫不费力地获取有价值的任何资料。并且为了进一步掩饰自己的身份，他还加入了纳粹党，由此在德国大使馆的这张谍报网布好了。与此同时，佐尔格还布了一张更重要的网——佐尔格将触角伸进了日本的最高决策层。
佐尔格将在中国就已结识的日本记者尾崎秀实完全争取到了自己的间谍组织之中。尾崎秀实并不是共产党，但思想左倾，他反对日本的对外扩张战争，所以当年在上海时就曾无偿为佐尔格提供情报。回到日本后，尾崎秀实因发表了一系列引起轰动的评论文章，颇受当时的日本首相近卫文?赏识，近卫文磨将其聘为自己的顾问兼私人秘书，尾崎成为日本高层的智囊团成员。
有了接近日本最高决策层的这一路径，为日后佐尔格获取诸多重要情报铺就了异常重要的道路。除此之外，博学多才又不修边幅的佐尔格仍频繁出没于各种高级社交场合，从一些政客、幕僚在推杯换盏、海阔天空的聊天中获取只言片语的情报并加以整理。因此，佐尔格在不长的时间内，在东京就布好了一张非常完美的情报网，这张网一旦收拢，自然会有源源不断的情报“自动送上门来”。