Newbery se destacó también en boxeo, natación, automovilismo, esgrima, remo, entre otros deportes. En 1895 protagonizó una histórica pelea para determinar la superioridad del boxeo (defendido por Newbery) o del savate (defendido por Carlos Delcasse), que instaló al boxeo como deporte popular en Argentina. Obtuvo importantes títulos en boxeo en los años 1899, 1902, 1903. El 8 de julio de 1903 triunfó claramente sobre el boxeador profesional Clark.

En 1901 ganó en octubre el primer premio de florete en el torneo sudamericano organizado por el Club Gimnasia y Esgrima. En 1905 y 1906 venció en los certámenes de florete organizado por el Jockey Club de Buenos Aires. En el mismo club derrotó al campeón francés de espada, Berger.

El 16 de marzo de 1908 representando al Buenos Aires Rowing Club venció en los 1000 metros, dos remos largos, a los campeones hermanos Müller. En 1910 integró el equipo que estableció el récord de velocidad en bote de cuatro remos largos. En 1902 obtuvo el primer premio de zambullida a mayor distancia en el Río Luján, recorriendo cien metros. Fue una de las personalidades que más impulsó en Argentina la práctica del deporte, cuando aún no existía en reconocimiento masivo del mismo.[14] En 1980 la Fundación Konex le otorga a su figura fallecida el Premio Konex de Honor, por su aporte a la historia del deporte argentino.