Als Arieh Sharon mit 26 Jahren ans Bauhaus in Dessau kam, war er bereits Architekt. Zuvor war er als junger Mann nach Palästina gegangen und hatte er dort einen Kibbuz mitbegründet, wo er als Imker arbeitete. An den Bienen bewunderte er besonders ihr organisiertes, kollektives Bauen und das effiziente Design ihrer Waben. Schließlich begann er, in der Kommune kleinere Zweckbauten zu planen und zu errichten. Zur Weiterbildung seiner Architekturkenntnisse wurde er nach Deutschland geschickt. Ans Bauhaus zu gehen, schien ihm mit der Umorientierung der Kunstschule in Richtung Technik und dem Neuanfang in Dessau wohl als das Richtige.

Zwei Jahre darauf wurde Hannes Meyer Direktor des Bauhauses – und Arieh Sharon einer seiner vertrautesten Studenten und engsten Mitarbeiter. Als Meyer 1928 den Architekturwettbewerb um die Bundesschule für den Allgemeinen Deutschen Gewerkschaftsbund (ADGB) gewann, bestimmte er Sharon zum Bauleiter für die dazugehörigen Lehrer- und Angestelltenwohnhäuser. Nach Hans Wittwers Weggang vom Bauhaus und vom Bernauer Schulprojekt im Frühjahr 1929 übertrug Meyer Sharon sogar die gesamte Leitung des Berliner Baubüros, das eigens zur Planung und Ausführung der Bundesschule eingerichtet worden war. So stammt die Mehrzahl der Planzeichnungen für Bundesschule und Lehrerhäuser von Sharon. Auf einem Foto von der Eröffnung der Bundesschule am 4. Mai ist auch er zu sehen – im Hintergrund gehalten und alle anderen um einen Kopf überragend. Die Anweisung Meyers an Sharon, wie der Bau auszusehen hatte, war sehr konkret. In seinem Buch „Kibbutz + Bauhaus. An architect’s way in a new land“, das 1976 erschien, schilderte er die Anforderungen an die Materialien der Bundesschule so:

„Die Ausführung muss auf eine wirklich puristische Art und Weise erfolgen, ohne Verwendung von Gips oder anderer ‚Tarnung‘. Ziegelsteine, Beton, Holz, Stahl, Sperrholz und Asbest mussten die natürliche Farbe und Textur behalten [...]. Alle Rohre und Armaturen mussten sichtbar bleiben.“

Am Technion (Israel Institute of Technology) in Haifa unterrichtete Sharon für einige Jahre als Dozent für Architektur. Von 1948 bis 1953 war er Direktor und Chefarchitekt der Nationalen Planungsabteilung. Der israelische Staatsgründer, David Ben Gurion, beauftragte Sharon 1949, einen Generalplan für ganz Israel zu entwerfen. 1954 machte er sich erneut als Architekt selbstständig und eröffnete, gemeinsam mit dem Architekten Benjamin Idelson, ein Partnerbüro. Seit 1965 arbeitete er mit seinem Sohn Eldar Sharon, der ebenfalls Architekt wurde, bis zu seinem Tod im Jahr 1984 zusammen. Auch seine Tochter Yael aus der ersten Ehe mit Gunta Stölzl arbeitete im Architekturbüro mit nachdem sie nach dem Zweiten Weltkrieg von der Schweiz nach Israel emigriert war.