Beslutet att utreda händelsen fattades efter en omröstning med 29 röster för, 2 emot och 14 frånvarande.
Tidigare under dagen sade människorättschefen Zeid Ra'ad al-Hussein att Israel använde övervåld vid sammandrabbningen, i måndags då fler än 60 palestinier uppges ha dödats.
– Ingen har blivit säkrare av dessa fasansfulla händelser. Om ockupationen i stället upphörde skulle våldet och osäkerheten försvinna, sade Zeid Ra'ad al-Hussein.
Israels FN-ambassadör Aviva Raz Shechter tillbakavisade då kritiken och sade att Israel gjort allt för att minimera antalet offer. I stället anklagade hon islamistgruppen Hamas, som styr Gazaremsan för våldet.
– Hamas använder civila som mänskliga sköldar, sade hon.
Enligt Israel har FN:s råd för mänskliga rättigheter "återvänt till sin anti-israeliska fixering".
Egypten, som också har gräns mot Gaza, har beslutat att tillfälligt öppna övergången Rafah. Landets president Abd al-Fattah al-Sisi skriver på Twitter att gränsövergången kommer att hållas öppen under fastemånaden ramadan.
Öppnandet av gränsen "kommer att lätta på lidandet för våra bröder i Gaza", skriver presidenten.
Gränsövergången i Rafah håller i normalfallet stängt, men öppnas ibland tillfälligt under korta perioder.
Utrikes
18.5.2018
FN-organ ska utreda uppgifter om Gazavåld
FN:s råd för mänskliga rättigheter kommer att skicka en grupp utredare till Gaza för att utreda om krigsförbrytelser har begåtts i samband med våldsamheterna tidigare i veckan.