Jestem nowy w świecie Pythona, więc wybacz mi, gdybym powiem jakieś głupie rzeczy ... Mam problem z moim skryptem, mam ogromną listę stacji (zadzwonię do tego huge_list.txt), który wygląda:

1ULM MIDAS4 2003.4497 2019.1075 15.6578 5496 4984   7928 -0.013284 -0.000795    
20NA MIDAS4 2008.2355 2017.4511  9.2156 2793 2793   5010  0.031619  0.059160    
21NA MIDAS4 2008.2355 2017.4648  9.2293 3287 3287   5891  0.031598  0.059243    
25MA MIDAS4 2013.3717 2019.1075  5.7358 2007 1279   1398 -0.010216  0.016478    
299C MIDAS4 2003.0308 2007.0856  4.0548 1407 1407   2159 -0.003861 -0.021031
2TRY MIDAS4 2012.0465 2013.6564  1.6099  564  437    437  0.018726  0.054083

Pierwsza czterolista linii jest nazwą stacji (np. 25mA, 299C ...). Stworzyłem .txt z nazwą niektórych stacji (zadzwonię do tego "stacja_list.txt") i jest taka:

20NA
21NA
2TRY

Itp...

Próbuję zrobić, to utworzyć plik .txt z tymi liniami huge_list.txt, który pasuje do nazwy stacji w stacji_name.txt. Mogę to zrobić, ale tylko dla jednego elementu listy stacji w ten sposób:

with open ("station_name.txt", "r") as p:
    item='20NA'

def lines_that_start_with(string, fp):
    return [line for line in fp if line.startswith(string)]

with open ("station_line.txt", "w") as l:
    with open ("C:\huge_list.txt","r")as fp:
        for line in lines_that_start_with (item, fp):
            print line
        l.write (line)
l.close()

Jak mogę uruchomić dla każdego elementu mojego stacji_list?

0
Helena 21 luty 2019, 18:55

2 odpowiedzi

Najlepsza odpowiedź

Możesz po prostu przeczytać plik station_name.txt na listę, otwórz plik huge_list.txt i podzieli linie i sprawdzić, czy pierwszy element znajduje się na liście. Jeśli tak, napisz linię do nowego pliku.

stations = [line.rstrip("\n") for line in open("station_name.txt")]

l = open("station_line.txt", "w")
with open("huge_list.txt", "r") as fp:
    for line in fp.readlines():
        if line.split()[0] in stations:
            l.write(line)
0
trotta 21 luty 2019, 16:14


# Your huge list will be input.txt
# Your station list will be input2.txt

In [3]: inp1 = open('input.txt')                                                                                                                                                                            

In [4]: inp2 = open('input2.txt') 

# if you don't want to hold anything in memory then this will be hacky solution, memory consuption is also less
with open('input') as inp1:
   for i in inp1: 
      if any([i.startswith(j) for j in inp2]): print(i)

# Result 
25MA MIDAS4 2013.3717 2019.1075 5.7358 2007 1279 1398 -0.010216 0.016478

299C MIDAS4 2003.0308 2007.0856 4.0548 1407 1407 2159 -0.003861 -0.021031   

# if you want to do some kind of work on filtered data it is better to store it in memory
In [5]: inp1 = {i.split(' ',1)[0] :i.split(' ',1)[1] for i in inp1}

# The above lines read your huge file and convert into key-value pair dict
# result will be something like this.

In [6]: inp1                                                                                                                                                                                                
Out[6]: 
{'1ULM': 'MIDAS4 2003.4497 2019.1075 15.6578 5496 4984 7928 -0.013284 -0.000795\n',
 '20NA': 'MIDAS4 2008.2355 2017.4511 9.2156 2793 2793 5010 0.031619 0.059160\n',
 '21NA': 'MIDAS4 2008.2355 2017.4648 9.2293 3287 3287 5891 0.031598 0.059243\n',
 '25MA': 'MIDAS4 2013.3717 2019.1075 5.7358 2007 1279 1398 -0.010216 0.016478\n',
 '299C': 'MIDAS4 2003.0308 2007.0856 4.0548 1407 1407 2159 -0.003861 -0.021031\n',
 '2TRY': 'MIDAS4 2012.0465 2013.6564 1.6099 564 437 437 0.018726 0.054083'}

# similarly, we are going to do for the station file but slightly a different data structure

In [22]: inp2 = set([i.strip() for i in inp2])

# inp2 will look like 

In [23]: inp2                                                                                                                                                                                               
Out[23]: {'25MA', '299C'}

# so to get your result filter the input list based on the station set. 

In [24]: res = {k:v for k,v in inp1.items() if k in inp2}                                                                                                                                                   

In [25]: res                                                                                                                                                                                                
Out[25]: 
{'25MA': 'MIDAS4 2013.3717 2019.1075 5.7358 2007 1279 1398 -0.010216 0.016478\n',
 '299C': 'MIDAS4 2003.0308 2007.0856 4.0548 1407 1407 2159 -0.003861 -0.021031\n'}



# Hope this answer helps you
0
Abu Tahir 21 luty 2019, 16:20