DNS -
http://pl.wikipedia.org/wiki/Domain_Name_System (wersja długa)
194.204.159.1, 194.204.152.34 (wersja krótka)
Przyczyn może być wiele. Na początek, to powiedz skąd router bierze Internet? Z WiFi czy przez wejście WAN? Jeśli z WiFi, to nie ma takiej opcji.
Jeśli przez WAN, to lecimy dalej:
W routerze musisz mieć włączone WiFi, włączone na nim DHCP i ustawione zabezpieczenia (jak w promieniu kilometra nikt nie mieszka, to możesz je wyłączyć). Jak masz sąsiadów, którzy chcą mieć Net za darmo, to musisz ustawić klucz WEP lub dodać MAC karty WiFi do listy dozwolonych, resztę zablokować.
W kompie musisz upewnić się, że masz włączony DHCP (automatyczne przydzielanie adresu IP - jest w ustawieniach protokołu TCP/IP), oraz że wybierasz dobrą sieć (SSID - nazwa sieci). Jak masz włączony WEP, to musisz wklepać klucz taki sam, jak wklepałeś w routerze.
Nie zawadzi rzucić okiem do pomocy Windows (na temat sieci WiFi) oraz do instrukcji routera (na temat ustawień WiFi).
Edit:
W sumie jak jest "tylko lokalnie" to ustawienie adresów DNS powinno wystarczyć.
Możesz je ustawić we właściwościach protokołu TCP/IP na kompie lub w routerze, aby rozsyłał je w DHCP.