ਇੱਕ ਨਵੇਂ ਲੇਖ ਵਿੱਚ ਪੁਆਇੰਟ-ਈ: ਗੁੰਝਲਦਾਰ ਸਿਗਨਲਾਂ ਤੋਂ 3D ਪੁਆਇੰਟ ਕਲਾਉਡ ਬਣਾਉਣ ਲਈ ਇੱਕ ਪ੍ਰਣਾਲੀ, ਓਪਨਏਆਈ ਖੋਜ ਟੀਮ ਨੇ ਪੁਆਇੰਟ E, ਇੱਕ 3D ਪੁਆਇੰਟ ਕਲਾਉਡ ਟੈਕਸਟ ਕੰਡੀਸ਼ਨਲ ਸਿੰਥੇਸਿਸ ਸਿਸਟਮ ਪੇਸ਼ ਕੀਤਾ ਜੋ ਗੁੰਝਲਦਾਰ ਟੈਕਸਟ ਦੁਆਰਾ ਸੰਚਾਲਿਤ ਵੱਖੋ-ਵੱਖਰੇ ਅਤੇ ਗੁੰਝਲਦਾਰ 3D ਆਕਾਰ ਬਣਾਉਣ ਲਈ ਪ੍ਰਸਾਰ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਸੰਕੇਤਇੱਕ ਸਿੰਗਲ GPU 'ਤੇ ਮਿੰਟਾਂ ਵਿੱਚ.
ਅੱਜ ਦੇ ਅਤਿ-ਆਧੁਨਿਕ ਚਿੱਤਰ ਬਣਾਉਣ ਵਾਲੇ ਮਾਡਲਾਂ ਦੀ ਸ਼ਾਨਦਾਰ ਕਾਰਗੁਜ਼ਾਰੀ ਨੇ 3D ਟੈਕਸਟ ਵਸਤੂਆਂ ਦੀ ਪੀੜ੍ਹੀ ਵਿੱਚ ਖੋਜ ਨੂੰ ਉਤੇਜਿਤ ਕੀਤਾ ਹੈ।ਹਾਲਾਂਕਿ, 2D ਮਾਡਲਾਂ ਦੇ ਉਲਟ, ਜੋ ਮਿੰਟਾਂ ਜਾਂ ਸਕਿੰਟਾਂ ਵਿੱਚ ਆਉਟਪੁੱਟ ਪੈਦਾ ਕਰ ਸਕਦੇ ਹਨ, ਆਬਜੈਕਟ ਜਨਰੇਟਿਵ ਮਾਡਲਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਨਮੂਨਾ ਬਣਾਉਣ ਲਈ ਕਈ ਘੰਟਿਆਂ ਦੇ GPU ਕੰਮ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਇੱਕ ਨਵੇਂ ਲੇਖ ਵਿੱਚ ਪੁਆਇੰਟ-ਈ: ਗੁੰਝਲਦਾਰ ਸਿਗਨਲਾਂ ਤੋਂ 3D ਪੁਆਇੰਟ ਕਲਾਉਡ ਬਣਾਉਣ ਲਈ ਇੱਕ ਪ੍ਰਣਾਲੀ, ਓਪਨਏਆਈ ਖੋਜ ਟੀਮ ਪੁਆਇੰਟ ·E ਪੇਸ਼ ਕਰਦੀ ਹੈ, 3D ਪੁਆਇੰਟ ਕਲਾਉਡਾਂ ਲਈ ਇੱਕ ਟੈਕਸਟ ਕੰਡੀਸ਼ਨਲ ਸਿੰਥੇਸਿਸ ਸਿਸਟਮ।ਇਹ ਨਵੀਂ ਪਹੁੰਚ ਇੱਕ ਸਿੰਗਲ GPU 'ਤੇ ਸਿਰਫ ਇੱਕ ਜਾਂ ਦੋ ਮਿੰਟਾਂ ਵਿੱਚ ਗੁੰਝਲਦਾਰ ਟੈਕਸਟ ਸਿਗਨਲਾਂ ਤੋਂ ਵੱਖੋ-ਵੱਖਰੇ ਅਤੇ ਗੁੰਝਲਦਾਰ 3D ਆਕਾਰ ਬਣਾਉਣ ਲਈ ਇੱਕ ਪ੍ਰਸਾਰ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ।
ਟੀਮ ਟੈਕਸਟ ਨੂੰ 3D ਵਿੱਚ ਤਬਦੀਲ ਕਰਨ ਦੀ ਚੁਣੌਤੀ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ, ਜੋ ਕਿ ਵਰਚੁਅਲ ਰਿਐਲਿਟੀ ਅਤੇ ਗੇਮਿੰਗ ਤੋਂ ਲੈ ਕੇ ਉਦਯੋਗਿਕ ਡਿਜ਼ਾਈਨ ਤੱਕ ਦੇ ਅਸਲ ਸੰਸਾਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ 3D ਸਮੱਗਰੀ ਨਿਰਮਾਣ ਨੂੰ ਲੋਕਤੰਤਰ ਬਣਾਉਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ।ਟੈਕਸਟ ਨੂੰ 3D ਵਿੱਚ ਤਬਦੀਲ ਕਰਨ ਲਈ ਮੌਜੂਦਾ ਢੰਗ ਦੋ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਆਉਂਦੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਦੀਆਂ ਆਪਣੀਆਂ ਕਮੀਆਂ ਹਨ: 1) ਜਨਰੇਟਿਵ ਮਾਡਲਾਂ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਨਮੂਨੇ ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਪਰ ਵਿਭਿੰਨ ਅਤੇ ਗੁੰਝਲਦਾਰ ਟੈਕਸਟ ਸਿਗਨਲਾਂ ਲਈ ਕੁਸ਼ਲਤਾ ਨਾਲ ਮਾਪ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ;2) ਗੁੰਝਲਦਾਰ ਅਤੇ ਵਿਭਿੰਨ ਟੈਕਸਟ ਸੰਕੇਤਾਂ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਇੱਕ ਪੂਰਵ-ਸਿਖਿਅਤ ਟੈਕਸਟ-ਚਿੱਤਰ ਮਾਡਲ, ਪਰ ਇਹ ਪਹੁੰਚ ਗਣਨਾਤਮਕ ਤੌਰ 'ਤੇ ਤੀਬਰ ਹੈ ਅਤੇ ਮਾਡਲ ਆਸਾਨੀ ਨਾਲ ਸਥਾਨਕ ਮਿਨੀਮਾ ਵਿੱਚ ਫਸ ਸਕਦਾ ਹੈ ਜੋ ਅਰਥਪੂਰਨ ਜਾਂ ਅਨੁਕੂਲ 3D ਵਸਤੂਆਂ ਨਾਲ ਮੇਲ ਨਹੀਂ ਖਾਂਦੇ।
ਇਸ ਲਈ, ਟੀਮ ਨੇ ਇੱਕ ਵਿਕਲਪਿਕ ਪਹੁੰਚ ਦੀ ਖੋਜ ਕੀਤੀ ਜਿਸਦਾ ਉਦੇਸ਼ ਉਪਰੋਕਤ ਦੋ ਪਹੁੰਚਾਂ ਦੀਆਂ ਸ਼ਕਤੀਆਂ ਨੂੰ ਜੋੜਨਾ ਹੈ, ਟੈਕਸਟ-ਤੋਂ-ਚਿੱਤਰ ਦੇ ਪ੍ਰਸਾਰ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਟੈਕਸਟ-ਚਿੱਤਰ ਜੋੜਿਆਂ ਦੇ ਇੱਕ ਵੱਡੇ ਸਮੂਹ (ਇਸ ਨੂੰ ਵਿਭਿੰਨ ਅਤੇ ਗੁੰਝਲਦਾਰ ਸਿਗਨਲਾਂ ਨੂੰ ਸੰਭਾਲਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ) ਅਤੇ ਟੈਕਸਟ-ਚਿੱਤਰ ਜੋੜਿਆਂ ਦੇ ਇੱਕ ਛੋਟੇ ਸੈੱਟ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਇੱਕ 3D ਚਿੱਤਰ ਪ੍ਰਸਾਰ ਮਾਡਲ।ਚਿੱਤਰ-3D ਜੋੜਾ ਡੇਟਾਸੈਟ।ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਮਾਡਲ ਪਹਿਲਾਂ ਇੱਕ ਸਿੰਗਲ ਸਿੰਥੈਟਿਕ ਨੁਮਾਇੰਦਗੀ ਬਣਾਉਣ ਲਈ ਇਨਪੁਟ ਚਿੱਤਰ ਦਾ ਨਮੂਨਾ ਲੈਂਦਾ ਹੈ, ਅਤੇ ਚਿੱਤਰ-ਤੋਂ-3D ਮਾਡਲ ਚੁਣੇ ਗਏ ਚਿੱਤਰ ਦੇ ਅਧਾਰ ਤੇ ਇੱਕ 3D ਪੁਆਇੰਟ ਕਲਾਉਡ ਬਣਾਉਂਦਾ ਹੈ।
ਕਮਾਂਡ ਦਾ ਜਨਰੇਟਿਵ ਸਟੈਕ ਟੈਕਸਟ ਤੋਂ ਸ਼ਰਤੀਆ ਚਿੱਤਰ ਬਣਾਉਣ ਲਈ ਹਾਲ ਹੀ ਵਿੱਚ ਪ੍ਰਸਤਾਵਿਤ ਜਨਰੇਟਿਵ ਫਰੇਮਵਰਕ 'ਤੇ ਅਧਾਰਤ ਹੈ (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020)।ਉਹ 3 ਬਿਲੀਅਨ ਗਲਾਈਡ ਪੈਰਾਮੀਟਰਾਂ (ਨਿਕੋਲ ਐਟ ਅਲ., 2021) ਦੇ ਨਾਲ ਇੱਕ ਗਲਾਈਡ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਰੈਂਡਰ ਕੀਤੇ 3D ਮਾਡਲਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਪਰਿਵਰਤਨ ਮਾਡਲ ਦੇ ਰੂਪ ਵਿੱਚ, ਅਤੇ ਪ੍ਰਸਾਰ ਮਾਡਲਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਜੋ ਉਹਨਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਆਰਜੀਬੀ ਪੁਆਇੰਟ ਕਲਾਉਡ ਤਿਆਰ ਕਰਦੇ ਹਨ। ਤਬਦੀਲੀ ਮਾਡਲ.ਚਿੱਤਰ ਨੂੰ ਚਿੱਤਰ.3D ਮਾਡਲ।
ਜਦੋਂ ਕਿ ਪਿਛਲੇ ਕੰਮ ਨੇ ਪੁਆਇੰਟ ਕਲਾਉਡਸ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ 3D ਆਰਕੀਟੈਕਚਰ ਦੀ ਵਰਤੋਂ ਕੀਤੀ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਲਈ ਇੱਕ ਸਧਾਰਨ ਟ੍ਰਾਂਸਡਿਊਸਰ-ਅਧਾਰਿਤ ਮਾਡਲ (ਵਾਸਵਾਨੀ ਐਟ ਅਲ., 2017) ਦੀ ਵਰਤੋਂ ਕੀਤੀ।ਉਹਨਾਂ ਦੇ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ, ਪੁਆਇੰਟ ਕਲਾਉਡ ਚਿੱਤਰਾਂ ਨੂੰ ਪਹਿਲਾਂ ਇੱਕ ਪੂਰਵ-ਸਿਖਿਅਤ ViT-L/14 CLIP ਮਾਡਲ ਵਿੱਚ ਖੁਆਇਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਫਿਰ ਆਉਟਪੁੱਟ ਮੇਸ਼ਾਂ ਨੂੰ ਕਨਵਰਟਰ ਵਿੱਚ ਮਾਰਕਰ ਵਜੋਂ ਫੀਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਆਪਣੇ ਅਨੁਭਵੀ ਅਧਿਐਨ ਵਿੱਚ, ਟੀਮ ਨੇ COCO ਆਬਜੈਕਟ ਖੋਜ, ਵਿਭਾਜਨ, ਅਤੇ ਦਸਤਖਤ ਡੇਟਾਸੈਟਾਂ ਤੋਂ ਸਕੋਰਿੰਗ ਸਿਗਨਲਾਂ 'ਤੇ ਪ੍ਰਸਤਾਵਿਤ ਪੁਆਇੰਟ ·E ਵਿਧੀ ਦੀ ਤੁਲਨਾ ਹੋਰ ਜਨਰੇਟਿਵ 3D ਮਾਡਲਾਂ ਨਾਲ ਕੀਤੀ।ਨਤੀਜੇ ਇਸ ਗੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦੇ ਹਨ ਕਿ ਪੁਆਇੰਟ ·E ਗੁੰਝਲਦਾਰ ਟੈਕਸਟ ਸਿਗਨਲਾਂ ਤੋਂ ਵਿਭਿੰਨ ਅਤੇ ਗੁੰਝਲਦਾਰ 3D ਆਕਾਰ ਪੈਦਾ ਕਰਨ ਦੇ ਯੋਗ ਹੈ ਅਤੇ ਤੀਬਰਤਾ ਦੇ ਇੱਕ ਤੋਂ ਦੋ ਆਰਡਰ ਦੁਆਰਾ ਅਨੁਮਾਨ ਸਮੇਂ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ।ਟੀਮ ਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਉਹਨਾਂ ਦਾ ਕੰਮ 3D ਟੈਕਸਟ ਸੰਸਲੇਸ਼ਣ ਵਿੱਚ ਹੋਰ ਖੋਜ ਨੂੰ ਪ੍ਰੇਰਿਤ ਕਰੇਗਾ।
ਪ੍ਰੋਜੈਕਟ ਦੇ GitHub 'ਤੇ ਇੱਕ ਪ੍ਰੀਟ੍ਰੇਂਡ ਪੁਆਇੰਟ ਕਲਾਉਡ ਪ੍ਰਸਾਰ ਮਾਡਲ ਅਤੇ ਮੁਲਾਂਕਣ ਕੋਡ ਉਪਲਬਧ ਹਨ।ਦਸਤਾਵੇਜ਼ ਪੁਆਇੰਟ-ਈ: ਗੁੰਝਲਦਾਰ ਸੁਰਾਗ ਤੋਂ 3D ਪੁਆਇੰਟ ਕਲਾਊਡ ਬਣਾਉਣ ਲਈ ਇੱਕ ਸਿਸਟਮ arXiv 'ਤੇ ਹੈ।
ਅਸੀਂ ਜਾਣਦੇ ਹਾਂ ਕਿ ਤੁਸੀਂ ਕਿਸੇ ਵੀ ਖਬਰ ਜਾਂ ਵਿਗਿਆਨਕ ਖੋਜ ਨੂੰ ਗੁਆਉਣਾ ਨਹੀਂ ਚਾਹੁੰਦੇ ਹੋ।ਹਫਤਾਵਾਰੀ AI ਅੱਪਡੇਟ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਸਾਡੇ ਪ੍ਰਸਿੱਧ ਸਿੰਕ ਕੀਤੇ ਗਲੋਬਲ AI ਵੀਕਲੀ ਨਿਊਜ਼ਲੈਟਰ ਦੇ ਗਾਹਕ ਬਣੋ।
ਪੋਸਟ ਟਾਈਮ: ਦਸੰਬਰ-28-2022