Dzielnica Rybaki, przez wieki była osadą przedmiejską. Do Nowego przyłączona została około 1895 roku. Położona jest nad brzegiem Wisły, częściowo na skarpie, poniżej starego miasta. Na skarpie w średniowieczu znajdowały się winnice i sady. Uprawiano na nich również chmiel, który do dzisiaj miejscami ją porasta .
Od wieków na Wiśle odbywał się ożywiony ruch. Już od I do V wieku, prowadził tędy od brzegów Morza Śródziemnego do wód Bałtyku słynny szlak bursztynowy, a w X i XI przewozili Wisłą swe towary na południe Polski Waregowie - skandynawscy kupcy. Ruch ten zapewniał osadzie udział w wymianie handlowej i miał duży wpływ na wzbogacanie się i podnoszenie poziomu kulturalnego jej mieszkańców.
Mieszkańcy osady trudnili się głównie rybołówstwem. Zajmowali się również budową statków rzecznych dla odbiorców z miast leżących wzdłuż rzeki. W 1735 roku zbudowano tu barkę o wyporności 30 ton, przeznaczoną do przewozu zboża.
Na Rybakach znajdowała się przystań dla łodzi i statków rzecznych żeglujących po Wiśle, która utrzymywała również komunikację z przeciwległym brzegiem. Już od 1788 kursował tu prom, który w 1911 roku zastąpiono promem parowym.
Ludność z osad po prawej stronie brzegu przypływała do Nowego ze swoimi produktami rolniczymi i zaopatrywała się tu w inny towar.
W XVI wieku na Rybakach osiedlili się mennonici holenderscy, których sprowadzono na nasze ziemie w celu odwadniania błotnistych terenów. Zbudowali wały przeciwpowodziowe, wykopali rowy i zmeliorowali ziemię przygotowując ją do nowoczesnej uprawy. Pozostały po nich do dzisiaj drewniane, kryte strzechą chaty z początków XIX wieku.
Dzieci z osady uczęszczały w tym czasie do szkoły w Kończynach. W początkowym nauczaniu używano języka polskiego, ponieważ wszystkie dzieci katolickie z Rybaków prawie nie znały języka niemieckiego.
W 1912 roku, rybacy wystawili przy ul. Wiślanej kapliczkę swojemu patronowi - św. Wojciechowi. Została zburzona podczas ostatniej wojny. W 1946 roku odbudował ją w tym samym miejscu mieszkaniec Rybaków, przewoźnik Paweł Witkowski.