Konwertowanie par surogate do Emoji - Python3

Jesteś na dobrej drodze. To, co próbujesz zrobić, jest przerywane, ponieważ to, co masz w swoim "str" ​​po przeczytaniu pliku, nie jest "parami zastępczymi" - zamiast tego są zakodowanymi odwrotnymi ukośnikami punktami kodowymi dla twoich par zastępczych, zakodowanymi jako tekst.

To znaczy: sekwencja „5c 75 44 38 33 44” w twoim pliku to RZECZYWISTE znaki ascii „\uD83D” (w sumie 6 znaków), a nie zastępczy punkt kodowy 0xD83D (który po prawidłowym zdekodowaniu wraz z następnym zastępczym kodem „ \uDE0D” będzie pojedynczym znakiem w ciągu).

Część, o której powiedziałem, że jesteś na dobrej drodze, to: naprawdę musisz zakodować to w sekwencję bajtów, a następnie odkodować ją z powrotem. Błędem jest to, że musisz zakodować go za pomocą "latin1" (tylko po to, aby spróbować zachować dowolny inny znak spoza ascii, który masz w ciągu - może się on zepsuć, jeśli masz punkty kodowe, których nie można przedstawić w języku łacińskim1), i zdekoduj go z powrotem za pomocą specjalny kodek „unicode escape”. lub kodowanie charmap, które zachowuje twoje inne znaki w łańcuchu, a następnie dekoduje je z powrotem, używając tego samego kodeka. W tym momencie oba znaki zastępcze będą tekstem jako dwa znaki w łańcuchu Pythona:

In [16]: "\\uD83D\\uDE0D".encode("latin1").decode("unicode escape", "surrogatepass")                              
Out[16]: '\ud83d\ude0d'

Zła wiadomość jest taka - to nie jest bardzo poprawna STR - znaki zastępcze nie powinny istnieć same w wewnętrznej reprezentacji - zamiast tego powinny być połączone w pożądany końcowy znak. Tak więc próba wydrukowania tego zepsuje:

In [19]: a  = "\\uD83D\\uDE0D".encode("utf-8").decode("unicode escape")                                          

In [20]: print(a)                                                                                                       
---------------------------------------------------------------------------
UnicodeEncodeError                        Traceback (most recent call last)
<ipython-input-20-bca0e2660b9f> in <module>
----> 1 print(a)

UnicodeEncodeError: 'utf-8' codec can't encode characters in position 0-1: surrogates not allowed

Użycie tutaj polityki błędów "surrogatepass" nie pomoże - otrzymasz niedrukowalną sekwencję bajtów.

Dlatego po raz drugi musi to zostać "zakodowane" i "odszyfrowane" - tym razem znaki, które masz w tekście, są rzeczywistymi "zastępczymi" punktami kodowymi, które byłyby prawidłowym kodem UTF-16 do zdekodowania. Tak więc ścieżką jest teraz zakodowanie tej sekwencji, brutalne wymuszenie tych znaków za pomocą „surogatepass”, a następnie dekodowanie z powrotem z utf-16 – co w końcu zrozumie parę zastępczą jako pojedynczy znak:

In [30]: a  = "\\uD83D\\uDE0D".encode("unicode escape").decode("unicode escape")                                          

In [31]: a                                                                                                              
Out[31]: '\ud83d\ude0d'

In [32]: b = a.encode("utf-16", "surrogatepass").decode("utf-16")                                                       

In [33]: print(b)                                                                                                       
😍

Podsumowanie:

Czytasz swój plik jako tekst utf-8, aby odczytać możliwe inne znaki spoza ASCII, zakoduj wynik jako „ucieczkę unicode” i odkoduj go z powrotem - to przekonwertuje rozszerzone sekwencje „\uXXXX” czytelne dla człowieka w twoim pliku jako zastępcze punkty kodowe. Następnie konwertujesz go z powrotem do utf-16, mówiąc Pythonowi, aby zignorował surogaty i skopiował następnie "tak jak jest" i dekodował z powrotem z utf-16:

def decode_surrogate_ascii(txt):
    interm = txt.encode("latin1").decode("unicode escape")
    return interm.encode("utf-16", "surrogatepass").decode("utf-16")

Wszystko, co musisz zrobić, to zastosować powyższą funkcję w interesujących kolumnach w ramce danych:

emoticons = emoticons.apply(pd.Series(lambda row: (decode_surrogate_ascii(item) if isinstance(item,  str) else item for item in row ))