আমি আমার প্রথম পাইথন স্ক্রিপ্টটি কাজ করতে সক্ষম হয়েছি যা কোন ইউআরএল থেকে .ZIP ফাইলের একটি তালিকা ডাউনলোড করে এবং তারপরে জিপ ফাইলগুলি বের করে এনে ডিস্কে লিখে দেয়।
পরবর্তী পদক্ষেপটি অর্জন করার জন্য আমি এখন ক্ষতির মধ্যে আছি।
আমার প্রাথমিক লক্ষ্যটি জিপ ফাইলটি ডাউনলোড এবং এক্সট্রাক্ট করা এবং টিসিপি স্ট্রিমের মাধ্যমে সামগ্রীগুলি (সিএসভি ডেটা) পাস করা। যদি আমি এখান থেকে দূরে সরে যেতে পারি তবে আমি আসলে জিপ বা এক্সট্রাক্ট করা ফাইলগুলিকে ডিস্কে লিখতে পছন্দ করি না।
এখানে আমার বর্তমান স্ক্রিপ্ট যা কাজ করে তবে দুর্ভাগ্যক্রমে ফাইলগুলি ডিস্কে লিখতে হয়।
import urllib, urllister
import zipfile
import urllib2
import os
import time
import pickle
# check for extraction directories existence
if not os.path.isdir('downloaded'):
os.makedirs('downloaded')
if not os.path.isdir('extracted'):
os.makedirs('extracted')
# open logfile for downloaded data and save to local variable
if os.path.isfile('downloaded.pickle'):
downloadedLog = pickle.load(open('downloaded.pickle'))
else:
downloadedLog = {'key':'value'}
# remove entries older than 5 days (to maintain speed)
# path of zip files
zipFileURL = "http://www.thewebserver.com/that/contains/a/directory/of/zip/files"
# retrieve list of URLs from the webservers
usock = urllib.urlopen(zipFileURL)
parser = urllister.URLLister()
parser.feed(usock.read())
usock.close()
parser.close()
# only parse urls
for url in parser.urls:
if "PUBLIC_P5MIN" in url:
# download the file
downloadURL = zipFileURL + url
outputFilename = "downloaded/" + url
# check if file already exists on disk
if url in downloadedLog or os.path.isfile(outputFilename):
print "Skipping " + downloadURL
continue
print "Downloading ",downloadURL
response = urllib2.urlopen(downloadURL)
zippedData = response.read()
# save data to disk
print "Saving to ",outputFilename
output = open(outputFilename,'wb')
output.write(zippedData)
output.close()
# extract the data
zfobj = zipfile.ZipFile(outputFilename)
for name in zfobj.namelist():
uncompressed = zfobj.read(name)
# save uncompressed data to disk
outputFilename = "extracted/" + name
print "Saving extracted file to ",outputFilename
output = open(outputFilename,'wb')
output.write(uncompressed)
output.close()
# send data via tcp stream
# file successfully downloaded and extracted store into local log and filesystem log
downloadedLog[url] = time.time();
pickle.dump(downloadedLog, open('downloaded.pickle', "wb" ))