{"id":8131,"date":"2026-06-29T12:00:00","date_gmt":"2026-06-29T10:00:00","guid":{"rendered":"https:\/\/xberry.tech\/?p=8131"},"modified":"2026-09-11T13:14:20","modified_gmt":"2026-09-11T11:14:20","slug":"xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik","status":"publish","type":"post","link":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/","title":{"rendered":"xBerry Robotic Arm Project Tydzie\u0144 3: RGB vs RGBD &#8211; 60 pr\u00f3b, jeden zaskakuj\u0105cy wynik"},"content":{"rendered":"<p style=\"text-align: justify\"><strong>Przeprowadzili\u015bmy 60 fizycznych pr\u00f3b ewaluacyjnych, \u017ceby sprawdzi\u0107, czy dodanie danych g\u0142\u0119bi do <a href=\"https:\/\/arxiv.org\/abs\/2304.13705\">polityki ACT<\/a> faktycznie poprawia wyniki. Na pozycji 5 model z g\u0142\u0119bi\u0105 zda\u0142 egzamin raz na 5 pr\u00f3b. Model wy\u0142\u0105cznie RGB zda\u0142 4 razy na 5. <\/strong><\/p>\n<p>&nbsp;<br \/>\n&nbsp;<\/p>\n<h2>TL;DR<\/h2>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Por\u00f3wnali\u015bmy dwie polityki ACT na fizycznym ramieniu <a href=\"https:\/\/huggingface.co\/docs\/lerobot\/so101\">SO-101<\/a>: jedn\u0105 wytrenowan\u0105 na 4 kamerach RGB, drug\u0105 na tych samych kamerach plus 2 strumieniach g\u0142\u0119bi z RealSense. W 60 pr\u00f3bach roz\u0142o\u017conych na 6 pozycji startowych RGB osi\u0105gn\u0119\u0142o 50,0%, RGBD 43,3%. G\u0142\u0119bia pomog\u0142a znacz\u0105co w strefach, gdzie sensory mia\u0142y bezpo\u015bredni widok na obiekt, i aktywnie zaszkodzi\u0142a tam, gdzie g\u0142\u0119boko\u015bciomierze nie mog\u0142y niezawodnie odczyta\u0107 pozycji pi\u0142ki. Wniosek: dane g\u0142\u0119bi to poprawa warunkowa, a nie automatyczna.<\/p>\n<p>&nbsp;<br \/>\n&nbsp;<\/p>\n<h2>Hipoteza, kt\u00f3r\u0105 testowali\u015bmy<\/h2>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\"><span style=\"background-color: #ead1dc;color: #4c1130\"><strong>Co to jest RGBD?<\/strong> Jest to format wej\u015bciowy kamery \u0142\u0105cz\u0105cy standardowe dane RGB z kana\u0142em g\u0142\u0119bi z sensora takiego jak Intel RealSense, daj\u0105cy modelowi przestrzenn\u0105 informacj\u0119 o odleg\u0142o\u015bci dla ka\u017cdego piksela.<\/span><\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Po wytrenowaniu obu wariant\u00f3w modelu w tygodniu 2 nadszed\u0142 czas weryfikacji: czy dodatkowe dane z sensor\u00f3w naprawd\u0119 czyni\u0142y robota skuteczniejszym. Intuicja za RGBD jest przekonuj\u0105ca: strumie\u0144 g\u0142\u0119bi daje modelowi poczucie przestrzeni tr\u00f3jwymiarowej zamiast p\u0142askiego koloru, co powinno pom\u00f3c w ocenie odleg\u0142o\u015bci do chwytu i k\u0105ta podej\u015bcia. Nasze stanowisko korzysta\u0142o z dw\u00f3ch kamer Intel RealSense (D435 i D455), kt\u00f3re obok standardowego obrazu kolorowego dostarcza\u0142y mapy g\u0142\u0119bi ze wszystkich 4 kamer.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Pytanie by\u0142o proste: <b>czy bogatsze wej\u015bcie prze\u0142o\u017cy si\u0119 na lepsz\u0105 polityk\u0119 manipulacyjn\u0105?<\/b><\/p>\n<p>&nbsp;<br \/>\n&nbsp;<\/p>\n<h2>Ewaluacja na fizycznym sprz\u0119cie<\/h2>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Skoro oba modele by\u0142y wytrenowane i zapisane w HuggingFace Hub, kolejnym krokiem by\u0142a ewaluacja fizyczna na ramieniu SO-101. U\u017cyli\u015bmy <i>eval_policy.py<\/i>, skryptu ewaluacyjnego LeRobot, kt\u00f3ry \u0142aduje wytrenowan\u0105 polityk\u0119, uruchamia j\u0105 bezpo\u015brednio na robocie, rejestruje sukces lub pora\u017ck\u0119 dla ka\u017cdego epizodu i zapisuje wyniki do datasetu.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\"><i>eval_policy.py<\/i>: skrypt LeRobot do uruchamiania wytrenowanej polityki na fizycznym robocie, rejestrowania wynik\u00f3w epizod po epizodzie i przesy\u0142ania ich do datasetu na HuggingFace Hub.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Przeprowadzili\u015bmy dwie sesje ewaluacyjne: jedn\u0105 dla modelu RGBD i jedn\u0105 dla modelu wy\u0142\u0105cznie RGB. Wariant RGBD \u0142aduje wszystkie 6 strumieni kamer (4 kolorowe + 2 g\u0142\u0119boko\u015bciowe) wraz z pipeline&#8217;em filtrowania g\u0142\u0119bi (filtr decimation, disparatity, spatial, temporal i hole-filling). Wariant RGB-only u\u017cywa flagi <i>&#8211;rgb-only<\/i>, kt\u00f3ra uruchamia kamery RealSense w trybie wy\u0142\u0105cznie kolorowym, pomija inicjalizacj\u0119 pipeline&#8217;u g\u0142\u0119bi i skraca czas startu sesji.<\/p>\n<h3>Komenda ewaluacji RGBD:<\/h3>\n<div class=\"code-block\" style=\"background-color: #282c34;border-radius: 8px;padding: 16px 20px;position: relative;border-left: 3px solid #ea3752\"><button class=\"copy-code-btn\" style=\"position: absolute;top: 8px;right: 8px;background: #444;color: #fff;border: none;padding: 4px 10px;border-radius: 4px;cursor: pointer\">Copy<\/button><\/p>\n<pre style=\"color: #abb2bf;font-family: &#039;Courier New&#039;, monospace;font-size: 14px;margin: 0\">python scripts\/eval_policy.py \r\n  --policy-path=xBerry\/lerobot_act_policy \r\n  --repo-id=xBerry\/eval_lerobot_policy_rollout \r\n  --root=.\/datasets\/eval_lerobot_policy_rollout \r\n  --task=\"Pick the object and place it in the container\" \r\n  --fps=15 \r\n  --num-episodes=10 \r\n  --episode-time-s=30 \r\n  --reset-time-s=15 \r\n  --robot-port=\/dev\/ttyUSB0 \r\n  --robot-id=white_arm \r\n  --robot-calibration-dir=.\/local_calibration\/robots\/so_follower \r\n  --resume<\/pre>\n<\/div>\n<h3>Komenda ewaluacji RGB-only:<\/h3>\n<div class=\"code-block\" style=\"background-color: #282c34;border-radius: 8px;padding: 16px 20px;position: relative;border-left: 3px solid #ea3752\"><button class=\"copy-code-btn\" style=\"position: absolute;top: 8px;right: 8px;background: #444;color: #fff;border: none;padding: 4px 10px;border-radius: 4px;cursor: pointer\">Copy<\/button><\/p>\n<pre style=\"color: #abb2bf;font-family: &#039;Courier New&#039;, monospace;font-size: 14px;margin: 0\">python scripts\/eval_policy.py \r\n  --policy-path=xBerry\/lerobot_act_rgb_policy \r\n  --rgb-only \r\n  --repo-id=xBerry\/eval_lerobot_policy_rollout \r\n  --root=.\/datasets\/eval_lerobot_policy_rollout \r\n  --task=\"Pick the object and place it in the container\" \r\n  --fps=15 \r\n  --num-episodes=10 \r\n  --episode-time-s=30 \r\n  --reset-time-s=15 \r\n  --robot-port=\/dev\/ttyUSB0 \r\n  --robot-id=white_arm \r\n  --robot-calibration-dir=.\/local_calibration\/robots\/so_follower<\/pre>\n<\/div>\n<p>&nbsp;<\/p>\n<div style=\"display:flex;gap:40px;align-items:flex-start;margin:24px 0\">\n<figure style=\"flex:0 0 220px;margin:0\"><figcaption style=\"text-align: center;font-size: 13px;color: #888;margin-top: 8px\">Rami\u0119 SO-101 wykonuje pe\u0142n\u0105 pr\u00f3b\u0119 ewaluacyjn\u0105 Pick Lift Place.<\/figcaption><\/figure>\n<div style=\"flex: 1\">\n<p style=\"text-align: justify\">Flaga <i>&#8211;resume<\/i>, u\u017cyta tylko w sesji RGBD, pozwala skryptowi wykry\u0107 istniej\u0105cy lokalny dataset i kontynuowa\u0107 od ostatnio zapisanego epizodu po przerwie.<\/p>\n<p style=\"text-align: justify\">Sukces definiowali\u015bmy jako chwycenie pi\u0142ki i od\u0142o\u017cenie jej do pojemnika w ci\u0105gu 30 sekund epizodu.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Ka\u017cd\u0105 pozycj\u0119 startow\u0105 testowali\u015bmy 5 razy, co da\u0142o 30 pr\u00f3b na wariant modelu i <b>60 pr\u00f3b \u0142\u0105cznie<\/b>.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Sprawd\u017a r\u00f3wnie\u017c: <strong><a href=\"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-2-trenujemy-dwa-modele-act-rgb-i-rgbglebia\/\">Jak trenowali\u015bmy modele RGB i RGB+g\u0142\u0119bia<\/a><\/strong>.<\/p>\n<\/div>\n<\/div>\n<p>&nbsp;<br \/>\n&nbsp;<\/p>\n<h2 style=\"line-height: 1.4\">Wyniki: g\u0142\u0119bia wygrywa w jednych strefach, przegrywa dotkliwie w innych<\/h2>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Liczby zbiorcze sugeruj\u0105, \u017ce RGB wygra\u0142o. Ale rozbicie na pozycje ujawnia znacznie ciekawsz\u0105 histori\u0119.<\/p>\n<p>&nbsp;<\/p>\n<table style=\"width: 100%;border-collapse: collapse\">\n<thead>\n<tr>\n<th style=\"border: 1px solid #ccc;padding: 8px;text-align: left\">Pozycja startowa<\/th>\n<th style=\"border: 1px solid #ccc;padding: 8px;text-align: left\">RGB sukcesy<\/th>\n<th style=\"border: 1px solid #ccc;padding: 8px;text-align: left\">Skuteczno\u015b\u0107 RGB<\/th>\n<th style=\"border: 1px solid #ccc;padding: 8px;text-align: left\">RGB-D sukcesy<\/th>\n<th style=\"border: 1px solid #ccc;padding: 8px;text-align: left\">Skuteczno\u015b\u0107 RGB-D<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td style=\"border: 1px solid #ccc;padding: 8px\">Indeks 0<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">2\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">40%<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">5\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">100%<\/td>\n<\/tr>\n<tr>\n<td style=\"border: 1px solid #ccc;padding: 8px\">Indeks 1<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">2\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">40%<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">1\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">20%<\/td>\n<\/tr>\n<tr>\n<td style=\"border: 1px solid #ccc;padding: 8px\">Indeks 2<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">3\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">60%<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">4\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">80%<\/td>\n<\/tr>\n<tr>\n<td style=\"border: 1px solid #ccc;padding: 8px\">Indeks 3<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">1\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">20%<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">1\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">20%<\/td>\n<\/tr>\n<tr>\n<td style=\"border: 1px solid #ccc;padding: 8px\">Indeks 4<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">3\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">60%<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">1\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">20%<\/td>\n<\/tr>\n<tr>\n<td style=\"border: 1px solid #ccc;padding: 8px\">Indeks 5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">4\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">80%<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">1\/5<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">20%<\/td>\n<\/tr>\n<tr>\n<td style=\"border: 1px solid #ccc;padding: 8px\"><strong>\u0141\u0105cznie<\/strong><\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\"><strong>15\/30<\/strong><\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\"><strong>50.0%<\/strong><\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\">13\/30<\/td>\n<td style=\"border: 1px solid #ccc;padding: 8px\"><strong>43.3%<\/strong><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>&nbsp;<\/p>\n<figure style=\"margin: 24px 0\"><img decoding=\"async\" style=\"width: 100%;border-radius: 8px\" src=\"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/RGB_analytics.png\" alt=\"Wyniki ewaluacji polityk ACT RGB vs RGBD wed\u0142ug pozycji startowej - 60 pr\u00f3b w 6 strefach stanowiska\" \/><figcaption style=\"text-align: center;font-size: 13px;color: #888;margin-top: 8px\">Wykres s\u0142upkowy por\u00f3wnuj\u0105cy skuteczno\u015b\u0107 RGB i RGBD per pozycja startowa (indeksy 0-5), zielony\/czerwony per wariant<\/figcaption><\/figure>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Pozycje 0 i 2 le\u017c\u0105 bezpo\u015brednio w optymalnym polu widzenia Kamery 2 (RealSense D435). Na tych pozycjach <b>RGBD osi\u0105gn\u0119\u0142o odpowiednio 100% i 80%<\/b>, podczas gdy <b>RGB: 40% i 60%<\/b>. Gdy sensor g\u0142\u0119bi ma czysty, niezak\u0142\u00f3cony widok na obiekt, jego estymaty odleg\u0142o\u015bci s\u0105 precyzyjne i model korzysta z nich efektywnie.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Pozycja 5 to kraw\u0119d\u017a stanowiska roboczego, daleko od Kamery 2 i pod niekorzystnym k\u0105tem wzgl\u0119dem Kamery 3. Tam RGBD osi\u0105gn\u0119\u0142o 20%, a RGB 80%. Model z g\u0142\u0119bi\u0105 zawodzi\u0142 cztery razy cz\u0119\u015bciej.<\/p>\n<p>&nbsp;<br \/>\n&nbsp;<\/p>\n<h2>Dlaczego g\u0142\u0119bia zawiod\u0142a na kraw\u0119dzi stanowiska<\/h2>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\"><b>Okluzja:<\/b> stan, w kt\u00f3rym obiekt wypada poza bezpo\u015bredni\u0105 lini\u0119 widzenia sensora, zas\u0142oni\u0119ty przez inny element lub ustawiony pod k\u0105tem, przy kt\u00f3rym wi\u0105zka sensora nie dociera do niego skutecznie.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Pozycja 5 umieszcza\u0142a pi\u0142k\u0119 w strefie, gdzie kamery RealSense maj\u0105 problem z niezawodnym odczytem. Na tej geometrii obraz g\u0142\u0119bi jest szumowy lub niekompletny: pi\u0142ka zlewa si\u0119 z t\u0142em zamiast rejestrowa\u0107 jako wyra\u017ana powierzchnia w mierzalnej odleg\u0142o\u015bci.<\/p>\n<p>&nbsp;<\/p>\n<div style=\"display: flex;gap: 16px;margin: 24px 0\">\n<figure style=\"flex: 1;margin: 0\"><img decoding=\"async\" style=\"width: 100%;border-radius: 8px\" src=\"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/depth_1.jpg\" alt=\"Mapa g\u0142\u0119bi RealSense na pozycji 5: pi\u0142ka daleko od sensora, sygna\u0142 g\u0142\u0119bi zawodny\" \/><figcaption style=\"text-align: center;font-size: 13px;color: #888;margin-top: 8px\">Widok g\u0142\u0119bi RealSense na pi\u0142k\u0119 na pozycji 5 (daleko od sensora): powierzchnia pi\u0142ki zlewa si\u0119 z t\u0142em, brak wyra\u017anej granicy g\u0142\u0119bi<\/figcaption><\/figure>\n<figure style=\"flex: 1;margin: 0\"><img decoding=\"async\" style=\"width: 100%;border-radius: 8px\" src=\"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/depth_2.jpg\" alt=\"Mapa g\u0142\u0119bi RealSense z pi\u0142k\u0105 blisko sensora: czysty sygna\u0142 g\u0142\u0119bi, obiekt dobrze zdefiniowany\" \/><figcaption style=\"text-align: center;font-size: 13px;color: #888;margin-top: 8px\">Widok g\u0142\u0119bi RealSense na pi\u0142k\u0119 blisko sensora: wyra\u017ana granica obiektu, ostry kontrast g\u0142\u0119bi, pi\u0142ka dobrze wyodr\u0119bniona od t\u0142a<\/figcaption><\/figure>\n<\/div>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Drugim prawdopodobnym czynnikiem jest kalibracja r\u0119ka-oko. <b>Kalibracja r\u0119ka-oko<\/b> (hand-eye calibration): proces wyr\u00f3wnania uk\u0142adu wsp\u00f3\u0142rz\u0119dnych kamery z uk\u0142adem ko\u0144c\u00f3wki robota (end-effector), tak aby &#8220;to, co kamera widzi na tych wsp\u00f3\u0142rz\u0119dnych piksela&#8221; przek\u0142ada\u0142o si\u0119 poprawnie na &#8220;gdzie w przestrzeni 3D gripper powinien si\u0119 przemie\u015bci\u0107&#8221;. B\u0142\u0105d w tej kalibracji sprawia, \u017ce sygna\u0142 g\u0142\u0119bi wprowadza przestrzenny szum zamiast przestrzennej informacji. Model RGB-only nigdy nie napotyka tego szumu, bo w og\u00f3le nie konsumuje danych g\u0142\u0119bi.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\"><span style=\"background-color: #eff6ff;color: #1e40af\"><b>Dlaczego to wa\u017cne: <\/b>Dodanie wi\u0119kszej liczby sensor\u00f3w do robota nie daje automatycznie lepszej polityki. Ka\u017cdy sensor wnosi u\u017cyteczne dane wy\u0142\u0105cznie w okre\u015blonym oknie percepcyjnym wyznaczonym przez jego fizyczne umiejscowienie i jako\u015b\u0107 kalibracji. Poza tym oknem sensor mo\u017ce wprowadza\u0107 szum, z kt\u00f3rym prostszy model nigdy by si\u0119 nie spotka\u0142. <\/span><\/p>\n<p>&nbsp;<br \/>\n&nbsp;<\/p>\n<h2>Co to oznacza dla projektowania sensoryki?<\/h2>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Model RGB generalizowa\u0142 r\u00f3wnomierniej po wszystkich pozycjach w\u0142a\u015bnie dlatego, \u017ce nie mia\u0142 zlokalizowanego trybu awaryjnego. Kamera kolorowa pokrywa ca\u0142e stanowisko z mniej wi\u0119cej jednorodn\u0105 jako\u015bci\u0105. Sensor g\u0142\u0119bi ma wzorzec pokrycia zale\u017cny od geometrii i ka\u017cda strefa poza optymalnym zasi\u0119giem staje si\u0119 obci\u0105\u017ceniem dla modelu wytrenowanego na ufaniu danym g\u0142\u0119boko\u015bciowym.<\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">Dwa kierunki warte eksploracji: selektywne maskowanie g\u0142\u0119bi (dynamiczne wy\u0142\u0105czanie wej\u015bcia g\u0142\u0119boko\u015bciowego dla epizod\u00f3w, gdzie pozycja startowa wypada poza niezawodn\u0105 stref\u0119 sensora, tak aby polityka wraca\u0142a do zachowania RGB na kraw\u0119dziach) oraz <b>ukierunkowane zbieranie danych<\/b> (rejestrowanie dodatkowych epizod\u00f3w treningowych specyficznie z pozycji brzegowych i trening dedykowanej polityki na danych g\u0142\u0119bi z tych stref, zamiast stosowa\u0107 jeden model jednorodnie na ca\u0142ym stanowisku).<\/p>\n<p>&nbsp;<br \/>\n&nbsp;<\/p>\n<h2>Co dalej?<\/h2>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\"><span style=\"background-color: #ead1dc;color: #4c1130\"><strong>Co to jest IsaacSim?<\/strong> Jest to symulator fizyczny NVIDIA do robotyki, kt\u00f3ry pozwala trenowa\u0107 polityki robotyczne w \u015brodowisku wirtualnym przed przeniesieniem ich na fizyczny sprz\u0119t.<\/span><\/p>\n<p>&nbsp;<\/p>\n<p style=\"text-align: justify\">W przysz\u0142ym tygodniu przechodzimy do symulacji. Planujemy wytrenowa\u0107 polityk\u0119 w <b><a href=\"https:\/\/developer.nvidia.com\/isaac-sim\">IsaacSim<\/a><\/b>, a nast\u0119pnie podj\u0105\u0107 pr\u00f3b\u0119 transferu sim-to-real na fizyczne rami\u0119 SO-101. Otwartym pytaniem pozostaje, czy trening w symulacji pozwoli zamkn\u0105\u0107 luk\u0119 wydajno\u015bci na pozycjach brzegowych, gdzie fizyczne pokrycie sensoryczne jest niedoskona\u0142e, i jak du\u017ca cz\u0119\u015b\u0107 tego, czego robot nauczy\u0142 si\u0119 z fizycznych demonstracji, przetrwa przej\u015bcie do wirtualnego \u015brodowiska treningowego.<\/p>\n<p>&nbsp;<br \/>\n&nbsp;<\/p>\n<h2>FAQ<\/h2>\n<p>&nbsp;<\/p>\n<h3>Czym jest eval_policy.py w LeRobot?<\/h3>\n<p style=\"text-align: justify\">eval_policy.py to skrypt ewaluacyjny LeRobot, kt\u00f3ry uruchamia wytrenowan\u0105 polityk\u0119 bezpo\u015brednio na fizycznym robocie, rejestruje sukces lub pora\u017ck\u0119 w ka\u017cdym epizodzie i zapisuje wyniki do datasetu na HuggingFace.<\/p>\n<h3>Dlaczego model RGBD wypad\u0142 gorzej ni\u017c RGB?<\/h3>\n<p style=\"text-align: justify\">Model RGBD przewy\u017csza\u0142 RGB tylko na pozycjach, gdzie kamery RealSense mia\u0142y bezpo\u015bredni widok na obiekt (pozycje 0 i 2). W strefach brzegowych, gdzie odczyty g\u0142\u0119bi by\u0142y szumowe lub niekompletne, RGBD osi\u0105ga\u0142 znacz\u0105co gorsze wyniki, co obni\u017cy\u0142o jego og\u00f3ln\u0105 skuteczno\u015b\u0107 do 43,3% wobec 50,0% RGB.<\/p>\n<h3>Czym jest kalibracja r\u0119ka-oko w robotyce?<\/h3>\n<p style=\"text-align: justify\">Kalibracja r\u0119ka-oko to proces dok\u0142adnego wyr\u00f3wnania uk\u0142adu wsp\u00f3\u0142rz\u0119dnych kamery z uk\u0142adem ko\u0144c\u00f3wki robota, tak \u017ceby robot m\u00f3g\u0142 poprawnie t\u0142umaczy\u0107 to, co widzi kamera, na fizyczne cele ruchu grippera.<\/p>\n<h3>Czym jest transfer sim-to-real?<\/h3>\n<p style=\"text-align: justify\">Transfer sim-to-real to technika polegaj\u0105ca na trenowaniu polityki robotycznej w symulatorze fizycznym, a nast\u0119pnie wdro\u017ceniu jej na fizycznym robocie, co ogranicza koszty i ryzyko treningu bezpo\u015brednio na sprz\u0119cie.<\/p>\n<h3>Czy dane g\u0142\u0119bi zawsze poprawiaj\u0105 polityki manipulacyjne robota?<\/h3>\n<p style=\"text-align: justify\">Dane g\u0142\u0119bi poprawiaj\u0105 polityki manipulacyjne tylko w strefach stanowiska, gdzie sensor g\u0142\u0119bi ma niezawodn\u0105 lini\u0119 widzenia do obiektu. W strefach poza optymaln\u0105 geometri\u0105 sensora dane g\u0142\u0119bi mog\u0105 wprowadza\u0107 szum obni\u017caj\u0105cy skuteczno\u015b\u0107 w por\u00f3wnaniu do prostszych modeli RGB-only.<\/p>\n<h3>Co robi flaga &#8211;rgb-only w eval_policy.py LeRobot?<\/h3>\n<p style=\"text-align: justify\">Flaga &#8211;rgb-only w eval_policy.py LeRobot poleca skryptowi uruchomienie kamer RealSense wy\u0142\u0105cznie w trybie kolorowym, pomijaj\u0105c pipeline g\u0142\u0119bi. Skraca to czas startu i \u0142aduje tylko 4 strumienie RGB zgodne z wej\u015bciem u\u017cytym podczas treningu modelu RGB, zapewniaj\u0105c dok\u0142adne odwzorowanie warunk\u00f3w ewaluacji.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Przeprowadzili\u015bmy 60 fizycznych pr\u00f3b ewaluacyjnych, \u017ceby sprawdzi\u0107, czy dodanie danych g\u0142\u0119bi do polityki ACT faktycznie poprawia wyniki. Na pozycji 5 model z g\u0142\u0119bi\u0105 zda\u0142 egzamin raz na 5 pr\u00f3b. Model wy\u0142\u0105cznie RGB zda\u0142 4 razy na 5. &nbsp; &nbsp; TL;DR &nbsp; Por\u00f3wnali\u015bmy dwie polityki ACT na fizycznym ramieniu SO-101: jedn\u0105 wytrenowan\u0105 na 4 kamerach RGB, [&hellip;]<\/p>\n","protected":false},"author":9,"featured_media":9222,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[203],"tags":[],"class_list":["post-8131","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-robotics-pl"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v24.9 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>LeRobot Tydzie\u0144 3: ewaluacja polityk ACT RGB vs RGBD<\/title>\n<meta name=\"description\" content=\"Por\u00f3wnali\u015bmy polityki ACT RGB i RGBD w 60 pr\u00f3bach na SO-101. G\u0142\u0119bia wygra\u0142a na pozycjach w zasi\u0119gu sensora i zawiod\u0142a na kraw\u0119dziach.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/\" \/>\n<meta property=\"og:locale\" content=\"pl_PL\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"LeRobot Tydzie\u0144 3: ewaluacja polityk ACT RGB vs RGBD\" \/>\n<meta property=\"og:description\" content=\"Por\u00f3wnali\u015bmy polityki ACT RGB i RGBD w 60 pr\u00f3bach na SO-101. G\u0142\u0119bia wygra\u0142a na pozycjach w zasi\u0119gu sensora i zawiod\u0142a na kraw\u0119dziach.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/\" \/>\n<meta property=\"og:site_name\" content=\"xBerry\" \/>\n<meta property=\"article:published_time\" content=\"2026-06-29T10:00:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-09-11T11:14:20+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/rgb_rgbd_pol.png\" \/>\n\t<meta property=\"og:image:width\" content=\"810\" \/>\n\t<meta property=\"og:image:height\" content=\"486\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Klaudia Slusarczyk\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Napisane przez\" \/>\n\t<meta name=\"twitter:data1\" content=\"Klaudia Slusarczyk\" \/>\n\t<meta name=\"twitter:label2\" content=\"Szacowany czas czytania\" \/>\n\t<meta name=\"twitter:data2\" content=\"7 minut\" \/>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"LeRobot Tydzie\u0144 3: ewaluacja polityk ACT RGB vs RGBD","description":"Por\u00f3wnali\u015bmy polityki ACT RGB i RGBD w 60 pr\u00f3bach na SO-101. G\u0142\u0119bia wygra\u0142a na pozycjach w zasi\u0119gu sensora i zawiod\u0142a na kraw\u0119dziach.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/","og_locale":"pl_PL","og_type":"article","og_title":"LeRobot Tydzie\u0144 3: ewaluacja polityk ACT RGB vs RGBD","og_description":"Por\u00f3wnali\u015bmy polityki ACT RGB i RGBD w 60 pr\u00f3bach na SO-101. G\u0142\u0119bia wygra\u0142a na pozycjach w zasi\u0119gu sensora i zawiod\u0142a na kraw\u0119dziach.","og_url":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/","og_site_name":"xBerry","article_published_time":"2026-06-29T10:00:00+00:00","article_modified_time":"2026-09-11T11:14:20+00:00","og_image":[{"width":810,"height":486,"url":"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/rgb_rgbd_pol.png","type":"image\/png"}],"author":"Klaudia Slusarczyk","twitter_card":"summary_large_image","twitter_misc":{"Napisane przez":"Klaudia Slusarczyk","Szacowany czas czytania":"7 minut"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/#article","isPartOf":{"@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/"},"author":{"name":"Klaudia Slusarczyk","@id":"https:\/\/xberry.tech\/pl\/#\/schema\/person\/85c9937f32423916a153cb2388f9d482"},"headline":"xBerry Robotic Arm Project Tydzie\u0144 3: RGB vs RGBD &#8211; 60 pr\u00f3b, jeden zaskakuj\u0105cy wynik","datePublished":"2026-06-29T10:00:00+00:00","dateModified":"2026-09-11T11:14:20+00:00","mainEntityOfPage":{"@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/"},"wordCount":1521,"commentCount":0,"publisher":{"@id":"https:\/\/xberry.tech\/pl\/#organization"},"image":{"@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/#primaryimage"},"thumbnailUrl":"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/rgb_rgbd_pol.png","articleSection":["Robotyka"],"inLanguage":"pl-PL","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/","url":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/","name":"LeRobot Tydzie\u0144 3: ewaluacja polityk ACT RGB vs RGBD","isPartOf":{"@id":"https:\/\/xberry.tech\/pl\/#website"},"primaryImageOfPage":{"@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/#primaryimage"},"image":{"@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/#primaryimage"},"thumbnailUrl":"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/rgb_rgbd_pol.png","datePublished":"2026-06-29T10:00:00+00:00","dateModified":"2026-09-11T11:14:20+00:00","description":"Por\u00f3wnali\u015bmy polityki ACT RGB i RGBD w 60 pr\u00f3bach na SO-101. G\u0142\u0119bia wygra\u0142a na pozycjach w zasi\u0119gu sensora i zawiod\u0142a na kraw\u0119dziach.","breadcrumb":{"@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/#breadcrumb"},"inLanguage":"pl-PL","potentialAction":[{"@type":"ReadAction","target":["https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/"]}]},{"@type":"ImageObject","inLanguage":"pl-PL","@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/#primaryimage","url":"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/rgb_rgbd_pol.png","contentUrl":"https:\/\/xberry.tech\/wp-content\/uploads\/2026\/06\/rgb_rgbd_pol.png","width":810,"height":486},{"@type":"BreadcrumbList","@id":"https:\/\/xberry.tech\/pl\/xberry-lerobot-tydzien-3-rgb-vs-rgbd-60-prob-jeden-zaskakujacy-wynik\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/xberry.tech\/pl\/"},{"@type":"ListItem","position":2,"name":"xBerry Robotic Arm Project Tydzie\u0144 3: RGB vs RGBD &#8211; 60 pr\u00f3b, jeden zaskakuj\u0105cy wynik"}]},{"@type":"WebSite","@id":"https:\/\/xberry.tech\/pl\/#website","url":"https:\/\/xberry.tech\/pl\/","name":"xBerry","description":"R&amp;D House","publisher":{"@id":"https:\/\/xberry.tech\/pl\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/xberry.tech\/pl\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pl-PL"},{"@type":"Organization","@id":"https:\/\/xberry.tech\/pl\/#organization","name":"xBerry","url":"https:\/\/xberry.tech\/pl\/","logo":{"@type":"ImageObject","inLanguage":"pl-PL","@id":"https:\/\/xberry.tech\/pl\/#\/schema\/logo\/image\/","url":"https:\/\/xberry.tech\/wp-content\/uploads\/2022\/07\/Logo-4.png","contentUrl":"https:\/\/xberry.tech\/wp-content\/uploads\/2022\/07\/Logo-4.png","width":234,"height":67,"caption":"xBerry"},"image":{"@id":"https:\/\/xberry.tech\/pl\/#\/schema\/logo\/image\/"}},{"@type":"Person","@id":"https:\/\/xberry.tech\/pl\/#\/schema\/person\/85c9937f32423916a153cb2388f9d482","name":"Klaudia Slusarczyk","image":{"@type":"ImageObject","inLanguage":"pl-PL","@id":"https:\/\/xberry.tech\/pl\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/ba3ebda69b3934fd362d85ec5d209fa78f8277ada5583989f806a32b7dcf26d5?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/ba3ebda69b3934fd362d85ec5d209fa78f8277ada5583989f806a32b7dcf26d5?s=96&d=mm&r=g","caption":"Klaudia Slusarczyk"},"sameAs":["https:\/\/xberry.tech\/"],"url":"https:\/\/xberry.tech\/pl\/author\/klaudias\/"}]}},"_links":{"self":[{"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/posts\/8131","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/comments?post=8131"}],"version-history":[{"count":31,"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/posts\/8131\/revisions"}],"predecessor-version":[{"id":8610,"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/posts\/8131\/revisions\/8610"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/media\/9222"}],"wp:attachment":[{"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/media?parent=8131"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/categories?post=8131"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/xberry.tech\/pl\/wp-json\/wp\/v2\/tags?post=8131"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}