Zum 1. Oktober 1884 erfolgt der Umzug der Familie Ardenne nach Berlin, und zwar in eine Wohnung ganz in der Nähe ihrer ersten am Lützowufer, Kurfürstenstraße 108, und damit wiederum an die Stelle, wo Fontane auch die Innstettens ansiedelt. Ardenne ist Adjutant des preußischen Kriegsministers Bronsart von Schellendorf geworden und hat bei diesem somit eine ähnliche Stellung inne, wie sie Innstetten beim preußischen Innenminister zugewiesen erhält.

Elisabeth von Ardenne nimmt die Übersiedlung nach Berlin aber weniger als gesellschaftlichen Aufstieg denn als Zurückverbannung in die Familie wahr. Festliche Abende wie im kleinen Benrath werden selten, das einzige Erfreuliche sind ihr die nun wieder möglichen Besuche im Zoo. Noch mehr allerdings leidet an dieser Übersiedlung Emil Hartwich. Vier Jahre lang hat er sich des ständigen Umgangs dieser Frau erfreut, in Distanz zwar, aber doch nahe, und beginnt nun zu merken, dass das sein Lebensinhalt war. "Eine Trennung beeinflusst die Liebe wie der Wind das Feuer", heißt es bei La Rochefoucault, "ein kleines bläst er aus, ein großes facht er an". Emil Hartwich wirkt nach dem Wegzug der geliebten Frau auf seine Freunde bald so verstört, dass sie auf eine aufkommende Gemütskrankheit schließen, niemand ahnt, dass der Grund dafür diese Trennung ist. In den Briefen, die er nach Berlin schreibt - immer noch förmlich, immer noch kontrolliert -, drückt er aus, dass er in seinem Leben keinen Sinn mehr sehe, alles Glück, alle Freude sei daraus entwichen. Zu Weihnachten schickt sie ihm für ein Landschaftsbild, das er ihr gemalt hat, etwas Handgearbeitetes für seinen Schreibtisch, und er dankt ihr mit den Worten, er habe das erste Mal in seinem Leben das stille Glück gefühlt, dass jemand "in weiter Ferne durch seiner Hände Werk mir eine Freude zu bringen sucht".

Im Frühjahr 1885 teilt er ihr seine Absicht mit, sich für ein Jahr von seinem Richteramt beurlauben zu lassen. Er will sich in seiner Malerei vervollkommnen, auf Reisen gehen, vielleicht überhaupt fortan der Kunst leben - alles Pläne, die zeigen, dass er die Bindung an seine familiäre und berufliche Existenz verloren hat. Zwar ist ihm bewusst, dass er eine Familie zu ernähren hat, aber mit dem Kopieren von Bildern hofft er auch einiges Geld zu verdienen. Wenn aber nichts daraus werde, so der Schluss seines Briefes an die "liebe Frau Else", dann habe er doch "wenigstens die Freude des Traumes gehabt". Irgendwann im Jahr 1885 schafft er es, einen kurzen Besuch in Berlin zu machen, Gelegenheit im Grunde, sich das Aussichtslose seiner Neigung klar zu machen, aber zu einer Ernüchterung führt das nicht. Die Korrespondenz wird fortgesetzt und nimmt immer mehr den Charakter gegenseitiger Leidens- wie Hoffnungs-Bekenntnisse an, so vorsichtig sie der Umstände halber auch geführt wird.