milyon yıldır salladığım kendi işlerime (ept) sonunda dönebildim. ilk başladığım şey de bir web sayfası tarama paketi. XPath, regex, vs. kullanarak bir web sayfasından seçilen alanların tanım XML'inde belirtilen şekilde bir class'a doldurulmasını sağlıyor.
veritabanı işlemlerinde de linq-to-sql kullanmak işi öğrenmek bakımından çok faydalı oldu. tahmin etmediğim kadar pratik bir yöntem ve veritabanı okuma/yazma işlemlerini çok ama çok kolaylaştırıyor. kesinlikle bir başka ept işinde (mesela byblos) kullanacağım bu şıftırtıyı.
yaptığı işi temiz yapıyor ama biraz yavaş. yavaş olması beni üzen birşey değil; zaten veri toplarken terbiyeyi elden bırakmamak, taranan siteyi sağmamak lazım. neyse, bu iş bitti gibi. şimdilik ek$i datası ile test ediyorum ve her ne kadar bana ilk başta yavaş geldiyse de şu an için hızı tatminkar geldi (karar versene ço-cum...). yine de problemler yok değil. mesela bzen sayfa verisini okuma aşamasında takılıp kalıyor ve 5 dakika sonra timeout verene kadar öylece bekliyor. her türlü timeout değerini denedim, 35 milyon takla attım, bana mısın demedi. durum büyük ihtimalle evdeki çakma megabit bağlantıdan kaynaklanıyor, zira yan odada abim eMule falan kasarken bu durum zirve yapıyor. bir nevi doğa olayı mübarek. işte de denemek lazım yine de, ama şimdi kim uğraşacak veritabanını taşımakla falan...
bu arada esas tarama hedefim altivi. yüksek lisans bitirme projemi bu site ve "sistemi" üzerinde vermek istiyorum. koç mezunu bir ablamıza zamanında site datası vermiştim incelesin diye, bir sormak lazım ne yapmış, ne gibi çıkarımlarda bulunmuş.
No comments:
Post a Comment