クロールでファイルが検出されない

フォーラム TuneBrowser クロールでファイルが検出されない

  • このトピックには8件の返信、2人の参加者があり、最後にskyminにより3日、 20時間前に更新されました。
9件の投稿を表示中 - 1 - 9件目 (全9件中)
  • 投稿者
    投稿
  • #16022
    skymin
    参加者

    お世話になっております。

    音楽ファイルのフォルダーで指定したパス内にあるファイルがクロールで(手動でも)検出されません。
    ファイルはファイルサーバーに配置しておりSMB共有で利用しているのですが、サーバーのローカルにTuneBrowserをインストールして共有元のローカルフォルダーを指定しても同じ状況です。
    下記、色々試して判明した挙動です。

    • 当該フォルダーや音楽ファイルは他のサーバーから移動してきたもの
    • フォルダー内のファイルに何らかの更新があると(例えば更新日時のタイムスタンプ変更)検出されるようにな
    • 当該フォルダーをツリー構造そのまま別の場所にコピー(ファイルのタイムスタンプは変わる)してそのフォルダーを指定すると検出される
    • ファイルの移動では状況は変わらない
    • 当該フォルダー内のファイルを個別に参照して再生や追加することはできる(アクセス権の問題では無い?)

    環境

    • TuneBrowser Version 5.6.2
    • クライアント : Windows 11 Pro Version 24H2 Build 26100.3037
    • サーバー : Windows Server 2025 Standard Version 24H2 Build 26100.2894
    • 当該フォルダーが配置されているボリューム : ReFS Version 3.14 重複排除、整合性ストリーム有効(無効にしても変わらず)
    • SMBバージョン : 3.1.1

    不思議な挙動なのですが、何か原因等わかりますでしょうか。
    情報の取得や提供が必要であれば、お申し付けください。

    何卒よろしくお願いいたします。

    #16027
    Tiki
    キーマスター

    こんにちは。

    ある特定のファイルが登録されないというよりは、あるフォルダ内のファイルはすべて登録されない。という感じでしょうか…。

    以下の要領で、ログを表示することができます。TuneBrowser上部のメニューから、

    「表示」-「ドッキング ウィンドウ」-「Log View」

    と操作すると、下部にLog Viewが表示されると思います。いくつかタブがあり、そのうち

    • Crawler(Period): 定期クロール
    • Crawler(Event): イベントクロール

    にクロールの情報が表示されます。この内容から、なにかヒントになりませんでしょうか。

    このウィンドウの内容はマウス右クリックのメニューからコピーなど操作することができます。内容をテキストファイルに保存し、Attachmentsにつけていただければ、わたしのほうでも確認することはできます。

    なおログは以下の設定で、ファイルに保存させることもできます。

    • ツリー項目: 基本の設定 – 詳細の設定
    • プロパティ: 内部フォルダ/ファイル – ログファイルの出力フォルダ

    よろしくお願いします。

    #16032
    skymin
    参加者

    こんにちは。

    ご返信ありがとうございます。前回の投稿で一部誤植があり失礼いたしました。

    はい、あるフォルダー内のファイルはすべて登録されない。という感じです。
    ファイル名など色々見えていますが、ログと一部フォルダー内の実際の中身を添付させていただきます。
    ユーザー名とサーバー名だけマスクさせていただいております。

    検出されているサブフォルダーも実際に存在する数より少ないように見えます。
    ログの取得中行っている操作としては、データベースが空で当該フォルダーをクロール対象とした状態で起動 → クロールしているがデータベースが空のまま → フォルダー内の1つのファイルだけ更新して保存 → そのファイルだけ検出されてデータベースに登録される、という感じです。

    データベースから一度削除すると、手動クロールを行っても検出されなくなり上記の繰り返しです。

    よろしくお願いいたします。

    #16036
    skymin
    参加者

    すみません、一部マスクが漏れていましたがそのままで大丈夫です。

    #16037
    skymin
    参加者

    連続投稿で申し訳ございません。

    Taskのログを見ると、すべてのサブフォルダーをクロールしているようですが、ライブラリーに何も登録されないです。
    (Processed folder が全く行われない)

    #16039
    Tiki
    キーマスター

    こんにちは。ログのアップありがとうございます。

    files.txtを拝見すると、Modeのところに “l” が表示されています。これはシンボリックリンクなどのリパースポイントでしょうか。

    TuneBrowserのクロールはリパースポイントを無視するようにしています。外部のフォルダが指定された場合に、そこまで巡回する必要はないだろうという考えでした (リパースポイントとしてファイルが指定されているのは想定外だったです)。これが現象を引き起こしている可能性があります。

    おそらく “After The Crash.mp3” を更新されてそれは登録されたものと思われますが、その際には巡回時の「リパースポイントを無視する」というロジックが (フォルダを想定していたために) 適用されず、統制のとれた動作にならずに処理されたのではないかと推察します。

    動作に統制がとれていないこともあるので、リパースポイントも処理するように考えた方がいいのかもしれませんね。

    #16047
    skymin
    参加者

    こんにちは。ご確認ありがとうございます。

    これは、Windows Serverのデータ重複除去によって最適化されているファイルです。データはボリューム上のチャンクストアに格納され、ファイルはチャンクストアへのリパースポイントに置き換えられるという仕様です。
    (ご参考までに、データ重複除去についてはこちらの記事の解説がわかりやすかったです)

    最初の投稿で重複除去を無効にしても変わらなかったと記載しましたが、無効にしても最適化されたファイルが直ちに元に戻るものではないためでした。私の確認不足で申し訳ございません。

    クロールがリパースポイントを無視するようになっており、ファイルを想定されていないのであれば、この現象はデータ重複除去が原因で、ご推察のとおりだと思います。ご教示いただきありがとうございます。

    他の部分に影響が無いようであれば、私個人的にはリパースポイントも処理された方が嬉しいですが、個人でWindows Serverの重複除去機能を利用していて、そこに音楽ファイルを置いているというTuneBrowserユーザーは他にそうそういらっしゃらないでしょうし…
    (フォルダー含めてリパースポイントを処理するとCドライブ全体などを指定されたときにカオスなことになりそうなので、リパースポイントのファイルは処理するの方が良さそうな気がしますが、どうなのでしょう…)

    利用条件を理解した上で利用させていただいておりますので、修正してくれと言うつもりはございません。もし可能であれば、ご検討いただだければ幸いです。
    もし処理を変更されることになり、テスト等が必要であれば喜んで協力いたしますので、お声掛けください。

    よろしくお願いいたします。

    (追伸)
    UWP版を購入して利用させていただいておりましたが、Windows ServerではUWP版は(動作環境外なので当たり前ですが)ストアの購入機能が利用できずトライアル版のままになるので、これを機に通常版の方も購入させていただきますね。開発の一助となれば嬉しく思います。

    #16057
    Tiki
    キーマスター

    ご確認ありがとうございます。ライセンス購入もどうもありがとうございます。

    やはりリパースポイントでしたか..。あまり深く考えずに処理を入れていたので、書いていただいた内容も参考にして、どうするか考えてみます。巡回時のフォルダのみスキップするようにして、ファイルは処理するというのもアリのような気がします。

    #16059
    skymin
    参加者

    ありがとうございます。

    気になったので調べてみたのですが、OneDriveやiCloud Driveに同期しているフォルダーやファイルもリパースポイントでして、これらは普通にクロールでフォルダーとファイルが検出されました。
    (重複除去の場合フォルダーは通常でファイルはリパースポイント)
    ファイルシステム側でうまいこと処理しているのでしょうかね。

    原因が判明したので、一旦何かしら対策して利用するようにいたします。

    このスレッドはウォッチしておきますので、何かお手伝いできることがあればお申し付けください。(メールでも構いません)

    よろしくお願いいたします。

9件の投稿を表示中 - 1 - 9件目 (全9件中)
  • このトピックに返信するにはログインが必要です。