Kolby liegt im Südwesten der Insel Samsø am Kattegat, eines der größten Dörfer der Insel. Das Wahrzeichen von Kolby ist die gut erhaltene Kolby Mølle, die bis ins Jahr 1947 in Betrieb war. Noch heute wird die Mühle von der Mühlengilde im Sommer zeitweise in Gang gesetzt.